Я играю со скриптами очистки данных. Сейчас я начинаю с PHP / cURL. Причина, по которой я заинтересован в том, чтобы узнать это, состоит в том, чтобы узнать, как они предназначены для защиты моих собственных веб-сайтов от этих коварных вредоносных. Вторая причина заключается в том, чтобы спроектировать их так, чтобы они действовали как люди, чтобы избежать чрезмерной нагрузки на сервер владельцев веб-сайтов.
Если я использую это в реальной жизни, было бы просто использовать это для автоматизации того, что я в настоящее время уже делаю вручную, но я не хочу злоупотреблять этим процессом, однако, я немного ленив, поэтому лучше не делать это вручную.
Чтобы действовать как человек:
1) Отправить заголовок, похожий на браузер.
2) Отправить реферер, который представляет источник ссылки (последовательность страниц).
3) Создайте случайные задержки, похожие на то, как человек будет искать на странице.
4) Очистите куки, когда закончите. (Нужно узнать больше об этом, не уверен, как cookie-файлы функционируют в среде веб-скребка)
Если используемые выше инструменты выполнены правильно, необходимо ли переключение IP-прокси? Есть ли другие соображения, которые я должен знать? Все еще учусь об этом, поэтому просто любопытно на данный момент.
Задача ещё не решена.
Других решений пока нет …