Прочитайте большое количество чисел ASCII и запишите в двоичном виде

У меня есть файлы данных с числами с плавающей точкой около 1,5 Гб, которые хранятся в виде текста ASCII, разделенного пробелами, например, 1.2334 2.3456 3.4567 и так далее.

Перед обработкой таких чисел я сначала перевожу исходный файл в двоичный формат. Это полезно, потому что я могу выбрать, использовать ли float или же doubleуменьшите размер файла (до 800 МБ для double и 400 МБ для float) и прочитайте кусками соответствующего размера после обработки данных.

Я написал следующую функцию, чтобы сделать ASCII-двоичный перевод:

template<typename RealType=float>
void ascii_to_binary(const std::string& fsrc, const std::string& fdst){
RealType value;
std::fstream src(fsrc.c_str(), std::fstream::in | std::fstream::binary);
std::fstream dst(fdst.c_str(), std::fstream::out | std::fstream::binary);

while(src >> value){
dst.write((char*)&value, sizeof(RealType));
}
// RAII closes both files
}

Я хотел бы ускорить acii_to_binaryКажется, я ничего не могу придумать. Я попытался прочитать файл кусками по 8192 байта, а затем попытаться обработать буфер в другой подпрограмме. Это кажется очень сложным, потому что последние несколько символов в буфере могут быть пробелом (в этом случае все хорошо) или усеченным числом (что очень плохо) — логика для обработки возможного усечения вряд ли стоит.

Что бы вы сделали, чтобы ускорить эту функцию? Я предпочел бы полагаться на стандарт C ++ (C ++ 11 в порядке) без дополнительных зависимостей, таких как boost.

Спасибо.

@DavidSchwarts:

Я попытался реализовать ваше предложение следующим образом:

 template<typename RealType=float>
void ascii_to_binary(const std::string& fsrc, const std::string& fdst{
std::vector<RealType> buffer;
typedef typename std::vector<RealType>::iterator VectorIterator;
buffer.reserve(65536);

std::fstream src(fsrc, std::fstream::in | std::fstream::binary);
std::fstream dst(fdst, std::fstream::out | std::fstream::binary);

while(true){
size_t k = 0;
while(k<65536 && src >> buffer[k]) k++;
dst.write((char*)&buffer[0], buffer.size());
if(k<65536){
break;
}
}
}

Но, похоже, данные не пишутся! Я работаю над этим…