Чтобы проверить, бот Google должен сделать это:
Запустите обратный поиск DNS для доступа к IP-адресу из ваших журналов,
используя команду хоста.
Убедитесь, что доменное имя находится либо на googlebot.com, либо на google.com.
Запустите прямой поиск DNS для имени домена, полученного на шаге 1, с помощью команды host для полученного имени домена. Убедитесь, что это
так же, как исходный IP-адрес доступа из ваших журналов.
Но что я должен сделать, чтобы проверить других ботов, таких как ashref, semrush и uptime.com? Обратный домен возвращает бессмысленный хост вроде ip170.ip-54-36-149.eu
Я хочу заблокировать любого непроверенного бота. Так есть ли способ проверить это?
Задача ещё не решена.
Других решений пока нет …