самый быстрый способ взаимодействия с сайтом в Python

Я знаю, что мы можем использовать селен с Chrome Driver в качестве инструмента взаимодействия с веб-сайтом высокого уровня, мы можем ускорить его с помощью Phantomjs. Тогда мы можем использовать модуль запросов, чтобы быть еще быстрее. Но на этом мои знания останавливаются.

Каков самый быстрый способ в Python, чтобы кто-то мог отправлять и получать запросы? Я предполагаю, что есть библиотека более низкого уровня, чем запросы? мы используем сокеты и пакеты?

«Выполнить запрос как можно быстрее»

Если lib запросов Python — самый быстрый, есть ли другие библиотеки в других языках программирования, таких как c ++, на которые стоит обратить внимание?

Это действительно зависит от задачи, для веб-скрапинга 1000 страниц это хорошо, но когда вам нужно request.post 1000000+, он складывается. Я также изучил многопроцессорную библиотеку. Это очень помогает, используя все вычислительные ресурсы, которые у меня есть, но обход сети и ожидание ответа — вещь, которая занимает больше всего времени. Я бы подумал, что лучший способ увеличить скорость — отправлять и получать меньше данных. допустим, получим только 5 входных параметров и отправим только эти 5 в качестве поста назад и ждем ответа 200. Любые идеи, как я могу сделать это без получения всего исходного кода?

Спасибо!

0

Решение

Задача ещё не решена.

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]