Я хочу проверить список ~ 300 тыс. Веб-страниц, если они содержат определенный текст (например, «недоступен»). Это должно быть сделано каждый день.
Что было бы лучшим способом сделать это в PHP?
Я могу использовать фред&fopen, чтобы прочитать страницу построчно, и если строка содержит текст, перейдите к следующему URL.
Другой вариант — использовать cURL, который, предположительно, работает быстрее, чем fread, но я не уверен, возможно ли открыть поток и прочитать страницу построчно, или мне нужно загрузить весь файл, а затем проверьте это для текста.
Есть ли другие (лучшие) варианты?
Что будет лучше всего работать на скорости?
У меня есть скрипт, который делает то же самое, что вы упомянули, я нашел, что fread более надежен и быстрее, чем процесс curl, особенно если на странице есть медиа. Я бы порекомендовал фред.
Других решений пока нет …