Куренто: невозможно получить обратный вызов от элемента GStreamer «резак»

Я пытаюсь применить некоторые плагины GStreamer на куренто mediapipelineздесь я ожидаю, что код Gstreamer, который отлично работает в автономной программе для отправки сообщений обратного вызова, связанных с cutter,

Вот мой код:

namespace kurento
{
namespace module
{
namespace vadcustomfilter
{
std::string Id = "";

void VADCustomFilterImpl::busMessage(GstMessage * message)
{
GST_ERROR("***In BusMessage***");

if (message->type == GST_MESSAGE_EOS)
{
g_object_set(G_OBJECT(valve), "drop", FALSE, NULL);
}

const GstStructure *s = gst_message_get_structure(message);
const gchar *name = gst_structure_get_name(s);
GST_INFO("Name: %s\n", name);

if (message->type == GST_MESSAGE_ELEMENT)
{
if (strcmp(name, "cutter") == 0)
{
GstClockTime time = 0;
GstClockTime prevsilencetime = 0;

if (!gst_structure_get_boolean(s, "above", &above))
{
GST_ERROR("could not parse above");
}

GST_INFO("above: %d", above);

if (above)
{
if (isSpeaking == 0)
{
revsilencetime = time;
g_object_set(G_OBJECT(valve), "drop", FALSE, NULL);
}
/*Send Voice Detected Event */
try
{
GST_ERROR("Sending Event: VoiceDetected");
VoiceDetected event(shared_from_this(), "voice-detected", Id.c_str());
signalVoiceDetected(event);
GST_ERROR("Sent Event: VoiceDetected");
}
catch (std::bad_weak_ptr & e)
{
GST_ERROR("EXCEPTION: Voice activity detected ");
}
isSpeaking = 1;
}
else
{
if (isSpeaking == 1)
{
g_object_set(G_OBJECT(valve), "drop", TRUE, NULL);
}
isSpeaking = 0;
}
}
}
}VADCustomFilterImpl::VADCustomFilterImpl(const boost::property_tree::
ptree & config,
std::shared_ptr <
MediaPipeline > mediaPipeline,
const std::string &pipelineId) :FilterImpl
(config,
std::dynamic_pointer_cast <MediaObjectImpl> (mediaPipeline))
{
-->Edit Start

g_object_set (element, "filter-factory", "audioconvert", NULL);
g_object_get (G_OBJECT (element), "filter", &audioconvertfilter, NULL);

if (audioconvertfilter == NULL) {
throw KurentoException (MEDIA_OBJECT_NOT_FOUND, "MediaObject not found: audioconvertfilter");
}

g_object_set (element, "filter-factory", "cutter", NULL);
g_object_get (G_OBJECT (element), "filter", &cutterfilter, NULL);

if (cutterfilter == NULL) {
throw KurentoException (MEDIA_OBJECT_NOT_FOUND, "MediaObject not found: cutterfilter");
}

g_object_set (G_OBJECT (cutterfilter), "threshold-dB", -39.0, NULL);
g_object_set (G_OBJECT (cutterfilter), "run-length", 400000000, NULL);g_object_set (element, "filter-factory", "vadcustomfilter", NULL);

g_object_get (G_OBJECT (element), "filter", &vadCustomFilter, NULL);

bus_handler_id = 0;
GST_ERROR("PipelineId: constructor %s",pipelineId.c_str());
Id = pipelineId;
-->Edit End

}void VADCustomFilterImpl::postConstructor()
{
GstBus *bus;

std::shared_ptr < MediaPipelineImpl > pipe;

FilterImpl::postConstructor();

pipe =
std::dynamic_pointer_cast <MediaPipelineImpl>
(getMediaPipeline());
g_assert(pipe);

/* #1. Add cutter filter here */
create_gst_cutter_filter(pipe);bus = gst_pipeline_get_bus(GST_PIPELINE(pipe->getPipeline()));
g_assert(bus);
bus_handler_id = register_signal_handler(G_OBJECT(bus),
"message",
std::function <
void(GstElement *,
GstMessage *) >
(std::bind
(&VADCustomFilterImpl::
busMessage, this,
std::placeholders::_2)),
std::dynamic_pointer_cast <
VADCustomFilterImpl>
(shared_from_this()));GST_ERROR("busMessage added successfully.");

g_object_unref(bus);
}

VADCustomFilterImpl::~VADCustomFilterImpl()
{
std::shared_ptr < MediaPipelineImpl > pipe;

if (bus_handler_id > 0)
{
pipe =
std::dynamic_pointer_cast <MediaPipelineImpl>
(getMediaPipeline());
GstBus *bus =
gst_pipeline_get_bus(GST_PIPELINE(pipe->getPipeline()));
unregister_signal_handler(bus, bus_handler_id);
g_object_unref(bus);
}
}

MediaObjectImpl *VADCustomFilterImplFactory::createObject(const boost::
property_tree::
ptree &
config,
std::
shared_ptr <
MediaPipeline
>
mediaPipeline,
const std::string &pipelineId)
const
{
GST_ERROR("Pipeline Id createObject %s", pipelineId.c_str());
return new VADCustomFilterImpl(config, mediaPipeline, pipelineId.c_str());
}VADCustomFilterImpl::StaticConstructor VADCustomFilterImpl::
staticConstructor;

VADCustomFilterImpl::StaticConstructor::StaticConstructor()
{
GST_DEBUG_CATEGORY_INIT(GST_CAT_DEFAULT, GST_DEFAULT_NAME, 0,
GST_DEFAULT_NAME);
}
}/* vadcustomfilter */
}/* module */
}/* kurento */

В целом я добавил комментарии к вопросам, которые у меня есть в коде.

Я получаю ответный звонок для GstMessageTag который я напечатал в журнале, используя gst_structure_get_name(name) но я не получаю никаких обратных вызовов для cutter

Есть ли что-то пропущенное / неправильное в потоке кода?

Редактировать: Убрал gstreamer способ добавления фильтров плагинов, пробовал добавлять audioconvert cutter на element

но я получаю ошибку на addIceCandidate:

Req-> {"id":13,"method":"invoke","params":{"object":"ff394885-ff7b-4cd2-ac83-190ab58056c3_kurento.MediaPipeline/4911aa60-27e4-461e-86c0-10532bc30d4f_kurento.WebRtcEndpoint","operation":"addIceCandidate","operationParams":{"candidate":{"sdpMid":"audio","__module__":"kurento","sdpMLineIndex":0,"__type__":"IceCandidate","candidate":"candidate:1226269011 1 udp 2122260223 172.24.9.207 62808 typ host generation 0 ufrag nSC45+9JNTCJm+yr"}},"sessionId":"15daae09-de86-4293-a3de-28f33f2d0b16"},"jsonrpc":"2.0"}Res {"id":13,"error":{"code":40401,"message":"Error adding candidate","data":{"type":"ICE_ADD_CANDIDATE_ERROR"}},"jsonrpc":"2.0"}

2

Решение

Кажется, что то, как вы создаете элементы gstreamer, совсем не то, чего ожидает Куренто. В основном вы создаете элементы в функции create_gst_cutter_filter которые не связаны правильно.

Если вы создаете фильтр, все вещи gstreamer (создавайте элементы и соединяйте их) должны выполняться в вызываемом вами элементе gstreamer vadcustomfilter этот элемент нуждается только в одной раковине и одной колодке src.

Если вы хотите создать элемент другого типа, как это происходит из-за того, что вы добавляете mulltifilesink, вам нужно выйти из MediaElement и создать элемент gstreamer, расширяющийся от KmsElement, Вы можете увидеть примеры этого в проект kms-elements.

Редактировать:

Об ошибке, возвращенной сервером. Кажется, это связано не с проблемой, а с проблемой зависимости. Возвращайтесь этот вопрос и проверьте, есть ли у вас такая же проблема

2

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]