Я знаю, что мы можем использовать селен с Chrome Driver в качестве инструмента взаимодействия с веб-сайтом высокого уровня, мы можем ускорить его с помощью Phantomjs. Тогда мы можем использовать модуль запросов, чтобы быть еще быстрее. Но на этом мои знания останавливаются.
Каков самый быстрый способ в Python, чтобы кто-то мог отправлять и получать запросы? Я предполагаю, что есть библиотека более низкого уровня, чем запросы? мы используем сокеты и пакеты?
«Выполнить запрос как можно быстрее»
Если lib запросов Python — самый быстрый, есть ли другие библиотеки в других языках программирования, таких как c ++, на которые стоит обратить внимание?
Это действительно зависит от задачи, для веб-скрапинга 1000 страниц это хорошо, но когда вам нужно request.post 1000000+, он складывается. Я также изучил многопроцессорную библиотеку. Это очень помогает, используя все вычислительные ресурсы, которые у меня есть, но обход сети и ожидание ответа — вещь, которая занимает больше всего времени. Я бы подумал, что лучший способ увеличить скорость — отправлять и получать меньше данных. допустим, получим только 5 входных параметров и отправим только эти 5 в качестве поста назад и ждем ответа 200. Любые идеи, как я могу сделать это без получения всего исходного кода?
Спасибо!
Задача ещё не решена.
Других решений пока нет …