Массовая загрузка файлов с URL

Мне нужно загружать файлы оптом каждые 0-2,5 МБ с URL-адреса на мой сервер (Linux CentOS / может быть любым другим).

Я хотел бы использовать wget (если у вас есть другое решение, пожалуйста, опубликуйте его):

Мой первый подход — протестировать его только с одним файлом:

wget -U --load-cookies=cookies.txt "url"

Это ответ Shell:

Проблема в том, что он не загружает файл, а только пустой HTML. Необходимый файл cookie сохраняется в нужном формате в файле, и загрузка работает в браузере.

Если он работает для загрузки файла 1, я хочу использовать txt со всеми URL-адресами (например, urls.txt), где URL-адреса аналогичны приведенным выше, но изменяется только один параметр. Тогда я хочу также, чтобы он загружал, возможно, 10-100 файлов одновременно.
Если у вас есть решение на PHP или Python для этого, оно мне тоже поможет.

Спасибо за помощь!

0

Решение

Я решил это сейчас с aria2. Это отличный инструмент для таких вещей.

1

Другие решения

В принципе:

for i in foo bar 42 baz; do
wget -other -options -here "http://blah/blah?param=$i" -O $i.txt
done

Обратите внимание -O параметр, который позволяет установить имя выходного файла. foo.txt" is a little easier to use thanФормат данных вывода? = blahblahblah`.

0

По вопросам рекламы [email protected]