В последнее время, когда я просматриваю свою веб-статистику через AWStats, я вижу несколько вещей, которые меня беспокоят. Первый — «Неизвестный робот», указанный на вкладке «Посетители-роботы / пауки». Вторая и наиболее интересная строка — это «PHP-скрипт» на той же вкладке роботов AWStats. Я запускаю на своем сайте контент, который не должен извлекаться PHP-скриптами другого сайта. Есть ли способ зарегистрировать это в журналах Apache? Другими словами, как я могу определить, вызывается ли скрипт скриптом PHP (через логи или функции PHP)? Наконец, ниже приведено изображение, которое показывает, что я описываю. Как видите, число обращений от обычного бота — робота Google — исчисляется сотнями, тогда как число обращений от «неизвестных роботов» составляет примерно 700 тысяч.
Нет 100% способа сделать это, так как независимо от того, какой тип скрипта подключается к вашему сайту, он может сделать его похожим на браузер, так что вы никогда не узнаете.
Единственное, что приходит мне в голову — они вызывают запросы «PHP script», которые содержат что-то конкретное в $_SERVER['HTTP_USER_AGENT']
например, пользовательские агенты, начинающиеся с PHP/
, лайк PHP/5.2.9
,
Других решений пока нет …