Как остановить гугл индексацию URL-адресов, содержащих определенное слово?
Есть ли способ остановить индексацию Google на любой странице, содержащей limit = all, используя robots.txt
http://domain.com?brand=2058&limit=all
мой домен выглядит так
Решение
Да, вы можете использовать следующее регулярное выражение в вашем файле robots.txt;
Disallow: /*limit=all
Протестированный с помощью инструментов веб-мастера Googles, этот метод работает в их тестере robots.txt https://www.google.com/webmasters/tools/robots-testing-tool?hl=en&SiteURL = HTTP: //domain.com
Замечания: Замените domain.com своим собственным сайтом в примере URL
Другие решения
Других решений пока нет …