Мы настраиваем сервер LAMP для получения миллиона http ответов (простой дамп html) и сохраняем его в базе данных. Каждый запрос занимает около 10-15 секунд. Мы можем масштабировать сервер по вертикали, но не можем добавить больше серверов. Какой самый быстрый способ сделать так много HTTP-запросов.
Выполнение этого последовательно потребовало бы около 100 дней для выполнения всех запросов, поэтому какой тип параллельной архитектуры вы предлагаете. Некоторая многопоточная система порождает 500 или более запросов параллельно или что-то подобное.
Также я хотел бы знать о твиках на сервере ответов (Apache), чтобы обрабатывать эти многочисленные запросы одновременно.
Задача ещё не решена.
Других решений пока нет …