Необходимо указать / запретить субдомены в robots.txt
Доброе утро.
Итак, я попал в сложную ситуацию. Моя среда — зеркальная установка на 2 сервера. У меня есть 2 поддомена для целевого каждого сервера, когда это необходимо. Я хотел бы запретить индексацию 2 поддоменов, не затрагивая www.
Например, у меня есть sub1.domain.com/sub2.domain.com/www.domain.com. Все они указывают на один и тот же корневой веб-каталог. Простое указание запретить пользовательский агент в robots.txt не будет работать, так как удалит индексацию www.
Пожалуйста, не стесняйтесь задавать любые вопросы по мере необходимости.
Спасибо!
Решение
Вы можете поместить файл robots.txt и назвать его примерно так: no-index-robots.txt. Вы бы просто положили:
User-agent: *
Disallow: /
там. Затем в файле htaccess в корневом каталоге вашего документа добавьте следующее:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^(sub1\.|sub2\.)domain\.com$ [NC]
RewriteRule ^robots\.txt$ /no-index-robots.txt [L]
Другие решения
Доброе утро.
Итак, я попал в сложную ситуацию. Моя среда — зеркальная установка на 2 сервера. У меня есть 2 поддомена для целевого каждого сервера, когда это необходимо. Я хотел бы запретить индексацию 2 поддоменов, не затрагивая www.
Например, у меня есть sub1.domain.com/sub2.domain.com/www.domain.com. Все они указывают на один и тот же корневой веб-каталог. Простое указание запретить пользовательский агент в robots.txt не будет работать, так как удалит индексацию www.
Пожалуйста, не стесняйтесь задавать любые вопросы по мере необходимости.
Спасибо!
Вы можете поместить файл robots.txt и назвать его примерно так: no-index-robots.txt. Вы бы просто положили:
User-agent: *
Disallow: /
там. Затем в файле htaccess в корневом каталоге вашего документа добавьте следующее:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^(sub1\.|sub2\.)domain\.com$ [NC]
RewriteRule ^robots\.txt$ /no-index-robots.txt [L]