FlatBuffers: как писать гигантские файлы
Я экспериментирую с FlatBuffers для хранения данных OpenStreetMap. Итак, это будет 50 ГБ.
Поскольку обычно все хранится в памяти, как можно (если вообще возможно) последовательно записывать данные в файл?
У меня есть ощущение, что это не совсем то, для чего FlatBuffers хорош.
Решение
В настоящее время нет способа создать один FlatBuffer без одновременного хранения всего в памяти. Единственный способ сделать это — записать цепочку (с префиксом длины) меньших независимых FlatBuffers.
Другие решения
Других решений пока нет …