Я пытаюсь выполнить HTTP-запрос robots.txt. Для этого я использую PHP и curl. Это код, который я пробовал:
<?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "robots.txt");
curl_setopt($ch, CURLOPT_HTTPGET, true);
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Host: www.stackoverflow.com'));
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$result = curl_exec($ch);
echo $result;
Ничего не выводится на экран. Есть идеи, что мне не хватает?
В CURLOPT_URL вы должны написать полный хост и путь
Например: http://www.stackoverflow.com/robots.txt
Других решений пока нет …