Я хотел бы проверить, если список URL не имеет noindex
,
Так я уже проверю
< meta name="robots" >
с DOM, но я также хотел бы проверить X-robots-tag. Есть ли простой способ сделать это?
Единственный способ, которым я могу себе представить, это foreach()
на get_headers($url)
,
Задача ещё не решена.
Других решений пока нет …