Я пытаюсь использовать fasttext для классификации текста, и я тренируюсь на корпусе 850 МБ текстов в Windows, но продолжаю получать следующую ошибку:
assertion "counts.size() == osz_" failed: file "src/model.cc", line 206, function: void fasttext::Model::setTargetCounts(const std::vector<long int>&) Aborted (core dumped)
Я проверил значения counts.size()
а также osz_
и обнаружил, что counts.size = 2515626
а также osz_ = 300
, Когда я звоню in.good()
на входном потоке в FastText::loadModel
я получаю 0, in.fail()=1
а также in.eof()=1
,
Я использую следующие команды для обучения и тестирования моей модели:
./fasttext supervised -input fasttextinput -output fasttextmodel -dim 300 -epoch 5 -minCount 5 -wordNgrams 2
./fasttext test fasttextmodel.bin fasttextinput
Мои входные данные должным образом отформатированы в соответствии со страницей быстрого текста github, поэтому мне интересно, является ли это моей ошибкой или ошибкой.
Спасибо за любую поддержку в этом!
Чтобы закрыть эту тему:
Как отметил @Sixhobbits, ошибка была связана с https://github.com/facebookresearch/fastText/issues/73 (не хватает дискового пространства при сохранении модели под наблюдением fastText)
Других решений пока нет …