Tensorflow Serving Как вызвать пользовательские операции в коде модели сервера

Как позвонить загруженному пользователю в файл main.cc?

https://github.com/tensorflow/serving/blob/master/tensorflow_serving/model_servers/main.cc

Я загрузил https://github.com/yaroslavvb/memory_probe_ops (зонд памяти ops) или https://github.com/tensorflow/tensorflow/commit/ccf9a752 используя tf_loadLibrary, но не могу понять, как вызвать загруженный оператор.

Вариант использования в этом случае состоит в том, чтобы пытаться вызывать op проверки памяти перед каждым запросом на предсказание, чтобы выяснить, достаточно ли памяти, прежде чем выполнить запрос.

Я пытался сделать что-то с
bundle-> session-> бежать
но не могу понять правильный синтаксис для создания тензора с оп. Не уверен, что я иду в правильном направлении.

0

Решение

Задача ещё не решена.

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]