Как проверить бот ashref, semrush и uptime.com (сканер)

Чтобы проверить, бот Google должен сделать это:

Запустите обратный поиск DNS для доступа к IP-адресу из ваших журналов,
используя команду хоста.
Убедитесь, что доменное имя находится либо на googlebot.com, либо на google.com.
Запустите прямой поиск DNS для имени домена, полученного на шаге 1, с помощью команды host для полученного имени домена. Убедитесь, что это
так же, как исходный IP-адрес доступа из ваших журналов.

Но что я должен сделать, чтобы проверить других ботов, таких как ashref, semrush и uptime.com? Обратный домен возвращает бессмысленный хост вроде ip170.ip-54-36-149.eu

Я хочу заблокировать любого непроверенного бота. Так есть ли способ проверить это?

0

Решение

Задача ещё не решена.

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]