Из Crunchbase я загружаю файл .tar.gz размером около 350 МБ, который содержит 16 csv размером более 1,5 ГБ, который мне нужно вставить в таблицы базы данных.
ссылка на документацию crunchbase:
Ежедневный экспорт CSV
Я создал файл cron на PHP, который работает и работает для меня.
У меня проблема, когда я запускаю этот скрипт на сервере, он выдает ошибку 504.
Как я могу устранить эту ошибку и хорошо ли обрабатывать эти большие данные на сервере с помощью cron-job?
Задача ещё не решена.
Других решений пока нет …