Мне нужно загружать файлы оптом каждые 0-2,5 МБ с URL-адреса на мой сервер (Linux CentOS / может быть любым другим).
Я хотел бы использовать wget (если у вас есть другое решение, пожалуйста, опубликуйте его):
Мой первый подход — протестировать его только с одним файлом:
wget -U --load-cookies=cookies.txt "url"
Это ответ Shell:
Проблема в том, что он не загружает файл, а только пустой HTML. Необходимый файл cookie сохраняется в нужном формате в файле, и загрузка работает в браузере.
Если он работает для загрузки файла 1, я хочу использовать txt со всеми URL-адресами (например, urls.txt), где URL-адреса аналогичны приведенным выше, но изменяется только один параметр. Тогда я хочу также, чтобы он загружал, возможно, 10-100 файлов одновременно.
Если у вас есть решение на PHP или Python для этого, оно мне тоже поможет.
Спасибо за помощь!
Я решил это сейчас с aria2. Это отличный инструмент для таких вещей.
В принципе:
for i in foo bar 42 baz; do
wget -other -options -here "http://blah/blah?param=$i" -O $i.txt
done
Обратите внимание -O
параметр, который позволяет установить имя выходного файла. foo.txt" is a little easier to use than
Формат данных вывода? = blahblahblah`.