Как я могу проверить, есть ли у страницы noindex?

Я собираюсь получить ссылку с PHP и, возможно, с Простой PHP DOM парсер (или что-то подобное) анализировать содержимое и искать теги H1-H6. Но до этого мне нужно было бы узнать, индексируется ли страница вообще.

Кроме разбора контента и поиска <meta name="robots" content="noindex"> или подобное, есть ли способ проверить, установлен ли на странице noindex также в robots.txt?