Какой самый эффективный способ записи большого количества данных в DynamoDB

В настоящее время я перевожу систему с использования MongoDB на DynamoDB.
Последняя проблема, с которой я столкнулся, заключается в том, как ускорить импорт данных из MongoDB в DynamoDB.

На данный момент у нас есть PHP-скрипт, который считывает данные из MongoDB, а затем BulkWrites записывает данные по 25 записей за раз в DynamoDB. Запись данных очень медленная, и при текущих скоростях (даже после установки емкости записи на 10000) для передачи потребуется 24 дня.

Например, чтение 12904 записей из MongoDB занимает 3 секунды.
Запись этих же записей в DynamoDB занимает 100 секунд.

Как я могу сделать это более эффективным?
Я собираюсь разобраться с многопоточностью, чтобы я мог гораздо более параллельной записи, но будет ли она более эффективной в Node или Python, а не в PHP?

Спасибо!

0

Решение

Задача ещё не решена.

Другие решения

Других решений пока нет …

По вопросам рекламы ammmcru@yandex.ru
Adblock
detector