JQuery — Get All Play результаты поиска магазина с PHP Scraper (не только топ-20)

Резюме :

Я хочу получить все результаты поиска в магазине Play, проблема в том, что приложения, которые отображаются после прокрутки, не отображаются в PHP file_get_content ().

Деталь:

Я пытаюсь сделать скребок в магазине игр на основе php.

Я проверил все ответы на stackoverflow и пример github, но все они старые и не работают. Это связано с тем, что ранее Play store использует параметр «start» для большего количества приложений / следующей страницы.

Поэтому после стольких исследований я решил сделать свой собственный скребок.

Что я делаю:

file_get_contents (): чтобы получить URL-адрес запроса из магазина воспроизведения, вот так:

$result = file_get_content( "https://play.google.com/store/search?q=football" );

Это возвращает только 20 приложений в результате, я хочу 250.

Play store показывает только 20 приложений в результате запроса, больше приложений отображается только при прокрутке.

Я пытаюсь получить URL-адрес Google AJAX из «вкладки сети», но Google использует параметр токена для следующей страницы прокрутки …

Вопросы:

Как я могу получить прокручиваемый контент с помощью PHP? Если это невозможно, как я могу получить play store для всех результатов поиска?

В противном случае, как я могу получить содержимое страницы с помощью PHP, который отображается с помощью JavaScript?

-4

Решение

Загляните на сайт магазина Chrome Dev Tools. У него отличный источник данных, но у вас могут возникнуть проблемы с получением токенов. Я сомневаюсь, что они хотят, чтобы это соскребли.

генеральный:

URL запроса: https://play.google.com/store/apps?authuser=0
Метод запроса: СООБЩЕНИЕ
Код состояния: 200
Удаленный адрес: 216.58.220.142:443

Данные формы:

Начните: 20
Num: 5
numChildren: 10
pagTok: CBQQFA ==: S: ANO1ljJ62NU
IPF: 1
XHR: 1
маркер: OmILlMEkRv_FCJ1tveWI8rtELHQ: 1459318564260

0

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]