Резюме :
Я хочу получить все результаты поиска в магазине Play, проблема в том, что приложения, которые отображаются после прокрутки, не отображаются в PHP file_get_content ().
Деталь:
Я пытаюсь сделать скребок в магазине игр на основе php.
Я проверил все ответы на stackoverflow и пример github, но все они старые и не работают. Это связано с тем, что ранее Play store использует параметр «start» для большего количества приложений / следующей страницы.
Поэтому после стольких исследований я решил сделать свой собственный скребок.
Что я делаю:
file_get_contents (): чтобы получить URL-адрес запроса из магазина воспроизведения, вот так:
$result = file_get_content( "https://play.google.com/store/search?q=football" );
Это возвращает только 20 приложений в результате, я хочу 250.
Play store показывает только 20 приложений в результате запроса, больше приложений отображается только при прокрутке.
Я пытаюсь получить URL-адрес Google AJAX из «вкладки сети», но Google использует параметр токена для следующей страницы прокрутки …
Вопросы:
Как я могу получить прокручиваемый контент с помощью PHP? Если это невозможно, как я могу получить play store для всех результатов поиска?
В противном случае, как я могу получить содержимое страницы с помощью PHP, который отображается с помощью JavaScript?
Загляните на сайт магазина Chrome Dev Tools. У него отличный источник данных, но у вас могут возникнуть проблемы с получением токенов. Я сомневаюсь, что они хотят, чтобы это соскребли.
генеральный:
URL запроса: https://play.google.com/store/apps?authuser=0
Метод запроса: СООБЩЕНИЕ
Код состояния: 200
Удаленный адрес: 216.58.220.142:443
Данные формы:
Начните: 20
Num: 5
numChildren: 10
pagTok: CBQQFA ==: S: ANO1ljJ62NU
IPF: 1
XHR: 1
маркер: OmILlMEkRv_FCJ1tveWI8rtELHQ: 1459318564260
Других решений пока нет …