программе записи parquet-cpp не удалось создать читаемый файл паркета, если слишком много двоичных столбцов

Я пытаюсь использовать пример писателя в parquet-cpp для преобразования файлов CSV с примерно 36 столбцами, все они являются строковыми столбцами, поэтому установите тип столбца как байтовый массив переменной длины. Я установил размер группы строк в 1024.
Он может успешно написать схему, и я могу прочитать мета / заголовок, используя parquet-tools, но часть данных всегда терпит неудачу.
зависит от исходных данных, я получаю следующие ошибки
can not read class parquet.format.PageHeader: don't know what type: 14
Can not read value at 0 in block -1 in file
Кто-нибудь может поделиться светом о том, как правильно использовать parquet-cpp для этих случаев?

0

Решение

Задача ещё не решена.

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]