Какой из них лучше CSV или JSON для импорта больших данных (PHP)
Я пытаюсь получить большое количество данных (около 3 миллионов строк), и у меня есть только два варианта сделать это.
- Вызовите API, а затем восстановите объекты 3M JSON.
- Импортируйте файл CSV, содержащий строки 3M.
Я еще не тестировал ни одно из этих решений, чтобы сказать, какое из них лучше с точки зрения скорости.
Решение
Если вы хотите получить простые данные в качестве списков или строк с некоторыми столбцами, вариант № 2 является хорошим, вы можете прочитать ниже ряд преимуществ и недостатков:
Pros
- Меньшая пропускная способность необходимо, потому что json нужно больше синтаксических символов, чтобы сохранить формат, в то время как CSV так же просто, как использовать разделитель символов
- Данные обрабатываются быстрее потому что нужно разделить только символом разделителя, в то время как JSON должен интерпретировать синтаксис
- Технология больших данных как Hadoop имеет встроенный анализ для формата CSV в то время как нужна определенная функция для разбора Json (например, с использованием языка Hive).
Cons
- Неструктурированные данные и более трудные для чтения людьми
- Вы должны позаботиться о том, чтобы символ разделителя не появлялся в полях данных.
Если данные будут содержать сложные данные Так как Tupla, массивы и структуры лучше JSON, потому что:
- Держит четкое и структурированный формат
- Не повторяет данные ссылаться на него, потому что одна метка может содержать несколько данных.
Другие решения
Других решений пока нет …
detector