Очистка динамически загружаемого сайта с помощью php curl
Я новичок в очистке и официально отказался от двух сайтов. Но проблема возникла у меня, когда я попытался очистить динамическую загрузку сайтов. Когда веб-сайт отображается с помощью JavaScript, я не могу потом очистить его содержимое.
Есть ли способ, которым я могу очистить содержимое этого сайта, используя php curl или любой другой клиент, связанный с PHP?
Это то, что я сделал до сих пор:
$link = "https://www.glassdoor.com/Job/jobs.htm?suggestCount=0&suggestChosen=false&clickSource=searchBtn&typedKeyword=android+developer&sc.keyword=android+developer&locT=N&locId=192&jobType=";
$ch = curl_init();
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch,CURLOPT_URL,$link);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.A.B.C Safari/525.13");
$data = curl_exec($ch);$document = new DOMdocument();
libxml_use_internal_errors(true);
$document->loadHTML($data);
$elements = $document->getElementsByTagName("div");
foreach($elements as $element){
echo $element->nodeValue."<br>";;
}Решение
Для этого вам нужен безголовый браузер, вы можете использовать PHP Wrapper для PhantomJS , вот ссылка http://jonnnnyw.github.io/php-phantomjs/. Это решит вашу проблему. Он имеет следующие особенности:
- Загрузка веб-страниц через браузер PhantomJS без наушников
- Просмотр подробных данных ответа, включая содержимое страницы, заголовки, код состояния и т. Д.
- Обрабатывать перенаправления
- Просмотр ошибок консоли javascript
Надеюсь это поможет.
Другие решения
Других решений пока нет …
detector