Неопределенный индекс: HTTP_USER_AGENT в журналах ошибок

У меня есть проблемы с пустым пользовательским агентом в моих журналах ошибок, большинство из которых происходит на странице 404, где я отслеживаю все ошибки для дальнейшего исправления или исключения.

Я нашел несколько решений, которые я мог бы реализовать, чтобы решить проблему с этой ошибкой, так что это не слишком большая проблема, но я предполагаю, что мой реальный вопрос заключается в том, что большинство этих ошибок пустые HTTP_USER_AGENT мне кажется, что это не настоящий пользователь, а робот, который пробует мою систему на наличие лазеек. Что я хочу сделать, так это создать какую-то ловушку для этого, но я не уверен только об одной вещи — о дружелюбных ботах, таких как googlebot или yaoo slurp или подобных, которые я предпочитаю не допускать, чтобы их блокировали при сканировании моего сайта. У этих дружелюбных ботов есть HTTP_USER_AGENT что я могу идентифицировать его, чтобы я не заблокировал его случайно? и мой второй вопрос, как правильно это сделать? любой код или указатели помогут.

Заранее спасибо и простите, если мой вопрос не совсем о получении стека и поиске решения в процессе создания кода. Я просто устал от всей этой недавней активности СПАМА на моем сайте, и мне некуда обратиться за поиском надежных решений, кроме как здесь.

Я должен отредактировать вопрос, чтобы было понятно.

Безопасно ли просто выдать 403, если HTTP_USER_AGENT пуст?

Одним из примеров является следующее на странице, которая никогда не существовала на моем сервере STATUS 301, СТРАНА Китай, ПОЛЬЗОВАТЕЛЬСКИЙ АГЕНТ Bittorrent, затем снова тот же IP с пустым пользовательским агентом.

GET /announce?info_hash=%8E%D0%80%01%B7K7%DBb%CF%83%82%B3%93%8E%A0wi%90%D4&peer_id=%2DSD0100%2D%09B%12%19%5FYi%2B%0C%00%C9Q&ip=192.168.1.101&port=14706&uploaded=880755775&downloaded=880755775&left=1101004800&numwant=200&key=26441&compact=1 HTTP/1.0