Мои Scrapes заканчивались один раз на 100 записях, затем на 66, 50, 50! Могу ли я как-то замедлить мой Царапины?

Я очень новичок в скрининге и хотел бы знать, может ли кто-нибудь сказать мне, как замедлить процесс очистки, чтобы мои запросы были более похожими на людей, а не очевидным ботом.

Вот что у меня есть для моего curl_setopt:

curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 180);

curl_setopt($ch, CURLOPT_TIMEOUT, 300);curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');curl_setopt ($this->ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt ($this->ch, CURLOPT_URL, $this->url);curl_setopt($this->ch, CURLOPT_FOLLOWLOCATION, true);curl_setopt($this->ch, CURLOPT_BINARYTRANSFER, $this->binary);

-1

Решение

вы можете сделать это

sleep(rand(5, 15)); // sleep between 5-15 seconds
0

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]