Я хочу конвертировать этот проект C ++ (Facebook FastText)
├── args.cc
├── args.h
├── dictionary.cc
├── dictionary.h
├── fasttext.cc
├── fasttext.h
├── main.cc
├── matrix.cc
├── matrix.h
├── model.cc
├── model.h
├── productquantizer.cc
├── productquantizer.h
├── qmatrix.cc
├── qmatrix.h
├── real.h
├── utils.cc
├── utils.h
├── vector.cc
└── vector.h
Я хочу вбежать node.js
, Я сначала построил это как проект с emmake make
и у меня есть связанные объектные файлы LLVM:
-rw-r--r-- 1 loretoparisi staff 27536 30 Lug 10:20 args.o
-rw-r--r-- 1 loretoparisi staff 78632 30 Lug 10:20 dictionary.o
-rw-r--r-- 1 loretoparisi staff 23864 30 Lug 10:20 productquantizer.o
-rw-r--r-- 1 loretoparisi staff 12120 30 Lug 10:20 matrix.o
-rw-r--r-- 1 loretoparisi staff 9132 30 Lug 10:20 qmatrix.o
-rw-r--r-- 1 loretoparisi staff 10532 30 Lug 10:20 vector.o
-rw-r--r-- 1 loretoparisi staff 30036 30 Lug 10:20 model.o
-rw-r--r-- 1 loretoparisi staff 1616 30 Lug 10:20 utils.o
-rw-r--r-- 1 loretoparisi staff 118404 30 Lug 10:20 fasttext.o
-rwxr-xr-x 1 loretoparisi staff 270940 30 Lug 10:20 fasttext
но ясно, что это не битовый код! Я тогда скомпилировал с emmake make VERBOSE=1
и оказывается, что он не использовал em++
компилятор, поэтому я попробовал cmake
:
emconfigure cmake
emmake make VERBOSE=1
На данный момент я вижу em++
Бег
/usr/local/Cellar/cmake/3.11.1/bin/cmake -E cmake_link_script CMakeFiles/fasttext-shared.dir/link.txt --verbose=1
/Users/loretoparisi/Documents/MyProjects/emsdk/emscripten/1.38.10/em++ -fPIC -pthread -std=c++11 -funroll-loops -O3 -march=native -shared -Wl,-soname,libfasttext.so -o libfasttext.so @CMakeFiles/fasttext-shared.dir/objects1.rsp
поэтому я получаю следующий вывод:
-rw-r--r-- 1 loretoparisi staff 870544 30 Lug 10:40 libfasttext.a
-rw-r--r-- 1 loretoparisi staff 306646 30 Lug 10:40 fasttext.wasm
-rw-r--r-- 1 loretoparisi wheel 114099 30 Lug 10:40 fasttext.js
-rw-r--r-- 1 loretoparisi staff 870504 30 Lug 10:40 libfasttext_pic.a
-rw-r--r-- 1 loretoparisi staff 663728 30 Lug 10:40 libfasttext.so
Это оказывается допустимый файл JavaScript, но это вызывает исключение при его запуске
$ node fasttext.js predict-prob /root/lang_id.bin - 2
exception thrown: 5280232 - Exception catching is disabled, this exception cannot be caught. Compile with -s DISABLE_EXCEPTION_CATCHING=0 or DISABLE_EXCEPTION_CATCHING=2 to catch.
в то время как это должно получить от stdin
лайк
./fasttext predict-prob /root/lang_id.bin - 2
ja das is seher gut heute
__label__deu 0.999483 __label__bar 4.1711e-05
Может эта ошибка из-за stdin
в node.js? Команда like вроде бы подходит, так как она правильно принимает и анализирует параметры:
$ node fasttext.js predict-prob
usage: fasttext predict[-prob] <model> <test-data> [<k>] [<th>]
<model> model filename
<test-data> test data filename (if -, read from stdin)
<k> (optional; 1 by default) predict top k labels
<th> (optional; 0.0 by default) probability threshold
Я тогда модульно это как emcc -s MODULARIZE=1 -s LEGACY_VM_SUPPORT=1 -s WASM=0 -O1 libfasttext.so -o libfasttext.js
и вызывается в модуле узла, например:
let FastTextModule = require('./fasttext-module.js');
let Module = null;
if (Module) {
return;
}
Module = {
noExitRuntime: true,
noInitialRun: false,
preInit: [],
preRun: [],
postRun: [function () {
console.log(`Loaded Javascript Module OK`);
}],
locateFile: "./",
arguments: ['predict-prob', '/root/lang_id.bin', '-', 2]
};
Module['locateFile'] = function (path, prefix) {
return prefix + path;
}
FastTextModule(Module);
Но я получаю ту же ошибку: exception thrown: 5278216 - Exception catching is disabled, this exception cannot be caught. Compile with -s DISABLE_EXCEPTION_CATCHING=0 or DISABLE_EXCEPTION_CATCHING=2 to catch.
Таким же образом я могу запустить его настройки noInitialRun:true
а затем делать
Module.callMain(['predict-prob', '/root/ft_lang_model.bin', 'test.csv', '2']);
но с этой ошибкой все равно.
Задача ещё не решена.
Других решений пока нет …