Запретить Googlebot индексировать другие домены на той же учетной записи хостинга
У меня есть учетная запись хостинга, которая используется для размещения 3 сайтов.
Все 3 сайта независимы друг от друга.
Аккаунт хостинга связан с основным доменом .lets, назовите его www.maindomain.com, а файлы этого сайта находятся в корне хостинга.
два других домена www.domainA.com и www.domainB.com связаны с подпапками domainA и domainB соответственно.
Google показывает www.maindomain.com/domainA и www.maindomain.com/domainB в результатах поиска maindomain.com, хотя domainA и domainB не имеют никакого отношения к этому веб-сайту, за исключением того факта, что они размещены в одной учетной записи хостинга.
Как я могу запретить googlebot индексировать подпапки domainA и domainB при сканировании maindomain.com.
Могу ли я использовать robots.txt и предотвратить сканирование подпапок (но не остановит ли Google индексацию www.domainA и www.domainB как отдельной сущности?)
Решение
Предполагая, что domainA и domainB настроены с использованием соответствующих подпапок в качестве корней документа, вы можете определить robots.txt в вашем основном домене как
User-agent: *
Disallow: /domainA/
Disallow: /domainB/
Исключить только Googlebot и разрешить все остальные
User-agent: googlebot
Disallow: /domainA/
Disallow: /domainB/
Но имейте в виду, что, кажется, домены не связаны полными URL-адресами, такими как http://domaina.com/some/path, скорее /domainA/some/path,
Вы могли бы предотвратить сканирование в первую очередь, подставив hrefс полными квалифицированными URL.
Другие решения
Других решений пока нет …