парсинг — парсинг нескольких URL в массиве с переполнением стека
Я кодировал PHP-код, который извлекает некоторые данные из URL. Сначала он загружает HTML, а затем анализирует некоторые данные.
Дело в том, что я должен запустить его с> 20k разных URL. Есть ли способ сделать это, запустив PHP из браузера? Как мне запустить PHP длинный процесс?
Большое спасибо!
Решение
Вы можете использовать cUrl для загрузки нескольких URL одновременно, это сделает ваш код более быстрым:
https://www.phpied.com/simultaneuos-http-requests-in-php-with-curl/
Я не уверен, что он может запросить 20k + URL одновременно, но вы можете запускать его партиями, если это необходимо. Запускать 1к раз функцию, запрашивающую 20 сайтов одновременно, быстрее, чем запрашивать 20к сайтов один за другим. 🙂
Я не понял, как запустить PHP из браузера. PHP работает только на сервере. Вы можете скачать его, установить на свой компьютер и запустить оттуда, это то, что вы хотите?
Другие решения
Ты можешь использовать PHP Командная строка :
Скажите PHP, чтобы выполнить определенный файл.
$ php my_script.php
detector