Как не индексировать конкретные URL-адреса?
Я искал, как не индексировать конкретные URL-адреса, но я не нашел какой-либо конкретной информации о следующем.
Добавив ниже
<?php if(is_single(X)): ?>
<meta name="robots" content="noindex,nofollow">
<?php endif; ?>
Я не смог бы индексировать (X), где X мог бы быть идентификатором поста, например, заголовком поста «Hello World» или порцией поста «hello-world».
Если бы можно было указать все URL, которые начинаются с того же поста slug или заголовка, например, как в примере ниже?
www.test.com/REF-123-mytest.html
www.test.com/REF-123-yourtest.html
www.test.com/REF-123-histest.html
Могу ли я оставить все URL, которые начинаются с REF-123, например?
Решение
Используя robots.txt, вы можете запретить ползком.
Используя meta—robots (или заголовок HTTP X-Robots-Tag), вы можете запретить индексирование.
Если вы намерены запретить индексацию, ты не должен запретить URL-адреса в файле robots.txt, иначе боты никогда не узнают, что вы не хотите, чтобы эти URL-адреса были проиндексированы.
В случае, если вы хотите запретить ползать, Вы можете использовать этот robots.txt:
User-agent: *
Disallow: /REF-123
Это относится ко всем URL-адресам, чьи пути начинаются с REF-123 (с учетом регистра!).
В случае, если вы хотите запретить индексирование, Вы можете добавить ко всем этим страницам meta элемент
<meta name="robots" content="noindex">
или отправьте соответствующий заголовок HTTP X-Robots-Tag:
X-Robots-Tag: noindex
Другие решения
Вы можете добавить это правило в файл robots.txt:
Disallow: www.test.com/REF-123*