Как предотвратить ботов от сканирования папка активов со всеми картинками и другими носителями внутри?
Я делал это раньше с моим robot.txt но гугл Инструменты веб-мастера сказал мне, что было 404 Ответа по активам / IMG активов / видео и т. д. URL.
Так как же сделать это здорово?
Как сказать Google, что мой каталог ресурсов не должен учитываться при проверке моего веб-сайта на совместимость с мобильными устройствами?
Это мой robot.txt
User-agent: *
Disallow:
Disallow: /app
Disallow: /bootstrap
Disallow: /database
Disallow: /packages
Disallow: /vendor
Disallow: /public
Disallow: /assets
Disallow: /cdn-cgi
Заранее спасибо!
Задача ещё не решена.
Других решений пока нет …