Как позвонить загруженному пользователю в файл main.cc?
https://github.com/tensorflow/serving/blob/master/tensorflow_serving/model_servers/main.cc
Я загрузил https://github.com/yaroslavvb/memory_probe_ops (зонд памяти ops) или https://github.com/tensorflow/tensorflow/commit/ccf9a752 используя tf_loadLibrary, но не могу понять, как вызвать загруженный оператор.
Вариант использования в этом случае состоит в том, чтобы пытаться вызывать op проверки памяти перед каждым запросом на предсказание, чтобы выяснить, достаточно ли памяти, прежде чем выполнить запрос.
Я пытался сделать что-то с
bundle-> session-> бежать
но не могу понять правильный синтаксис для создания тензора с оп. Не уверен, что я иду в правильном направлении.
Задача ещё не решена.
Других решений пока нет …