Я очень новичок в скрининге и хотел бы знать, может ли кто-нибудь сказать мне, как замедлить процесс очистки, чтобы мои запросы были более похожими на людей, а не очевидным ботом.
Вот что у меня есть для моего curl_setopt:
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 180);
curl_setopt($ch, CURLOPT_TIMEOUT, 300);curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');curl_setopt ($this->ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt ($this->ch, CURLOPT_URL, $this->url);curl_setopt($this->ch, CURLOPT_FOLLOWLOCATION, true);curl_setopt($this->ch, CURLOPT_BINARYTRANSFER, $this->binary);
вы можете сделать это
sleep(rand(5, 15)); // sleep between 5-15 seconds
Других решений пока нет …