Какой самый быстрый в PHP способ проверки большого количества удаленных файлов на наличие определенного текста?

Я хочу проверить список ~ 300 тыс. Веб-страниц, если они содержат определенный текст (например, «недоступен»). Это должно быть сделано каждый день.

Что было бы лучшим способом сделать это в PHP?

Я могу использовать фред&fopen, чтобы прочитать страницу построчно, и если строка содержит текст, перейдите к следующему URL.

Другой вариант — использовать cURL, который, предположительно, работает быстрее, чем fread, но я не уверен, возможно ли открыть поток и прочитать страницу построчно, или мне нужно загрузить весь файл, а затем проверьте это для текста.

Есть ли другие (лучшие) варианты?

Что будет лучше всего работать на скорости?

0

Решение

У меня есть скрипт, который делает то же самое, что вы упомянули, я нашел, что fread более надежен и быстрее, чем процесс curl, особенно если на странице есть медиа. Я бы порекомендовал фред.

0

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]