PHP curl не даст правильных результатов

В настоящее время я занимаюсь чем-то вроде поискового бота, своего рода веб-сканера. Я обнаружил, что в curl есть какой-то multi-url-get-content. Вот мой код:

protected function multiRequest($data, $options = array()) {

// array of curl handles
$curly = array();
// data to be returned
$result = array();

// multi handle
$mh = curl_multi_init();

// loop through $data and create curl handles
// then add them to the multi-handle
foreach ($data as $id => $d) {

$curly[$id] = curl_init();

$url = (is_array($d) && !empty($d['url'])) ? $d['url'] : $d;
curl_setopt($curly[$id], CURLOPT_URL, $url);
curl_setopt($curly[$id], CURLOPT_HEADER, 0);
curl_setopt($curly[$id], CURLOPT_RETURNTRANSFER, 1);

curl_multi_add_handle($mh, $curly[$id]);
}

// execute the handles
$running = null;
do {
$mrc = curl_multi_exec($mh, $running);
} while ($running > 0);
//} while ($mrc == CURLM_CALL_MULTI_PERFORM);

// get content and remove handles
foreach ($curly as $id => $c) {
$result[$id] = curl_multi_getcontent($c);
curl_multi_remove_handle($mh, $c);
}

// all done
curl_multi_close($mh);

return $result;
}

Работало при передаче одного массива с одной ссылкой. Затем он возвращает массив, содержащий onr big String (содержание html).
Однако при повторном вызове со значительно большим массивом (~ 30 ссылок) он возвращает мне массив с тем же размером, полным пустых строк, как если бы сервер просто не хотел отвечать на все эти запросы. Есть ли проблема с моим кодом?

Спасибо за вашу помощь

Эрик Брендель

0

Решение

Хорошо, я нашел это. Просто немного речерче: Почему cURL возвращает пустую строку?

Похоже, эти 5 строк на самом деле сделали волшебство

curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.52 Safari/537.17');
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_VERBOSE, 1);
1

Другие решения

Других решений пока нет …

По вопросам рекламы ammmcru@yandex.ru
Adblock
detector