Использование qtgstreamer с Qt и Raspberry Pi
У меня проблема с декодированием видеопотока с моего raspberry pi на ноутбук с графическим интерфейсом Qt.
Мой конвейер для пи (с использованием камеры adafruit raspberry pi):
raspivid -t 999999 -h 480 -w 640 -fps 25 -hf -b 2000000 -o - | gst-launch-1.0 -v fdsrc ! h264parse ! rtph264pay config-interval=1 pt=96 ! gdppay ! tcpserversink host=10.0.0.128 port=5000
Просто с помощью программы просмотра на ноутбуке с конвейером:
gst-launch-1.0 -v tcpclientsrc host=10.0.0.128 port=5000 ! gdpdepay ! rtph264depay ! avdec_h264 ! videoconvert ! autovideosink sync=false
Дает очень хорошее цветное видео с довольно приличной скоростью, хотя я не измерял частоту кадров.
Когда я использую qtgstreamer в своем приложении с графическим интерфейсом (с шириной источника = 640, высотой = 480 и я предполагаю 8-битное RGB-изображение), я получаю размер буфера в приведенном ниже коде 460800, и я ожидаю, что он будет 921600. Если я использую QImage :: Format_RGB888, программа завершится сбоем, потому что буфер изображения слишком мал. Если я использую QImage :: Format_Index8, он будет работать нормально, показывать видео в моем графическом интерфейсе и все, кроме черно-белого изображения. У кого-нибудь есть идеи? Вот мой соответствующий код:
bool CameraStreamer::initStreamer()
{
gst_init (NULL, NULL);
//gst-launch-1.0 -v tcpclientsrc host=10.0.0.128 port=5000 ! gdpdepay ! rtph264depay ! avdec_h264 ! videoconvert ! autovideosink sync=false
pipeline = gst_pipeline_new("Camera");
source = gst_element_factory_make ("tcpclientsrc", "cam-source");
depay = gst_element_factory_make("gdpdepay", "depay");
rtpdepay = gst_element_factory_make("rtph264depay","rtp-depay");
decoder = gst_element_factory_make ("avdec_h264", "videodecoder");
videoconvert = gst_element_factory_make("videoconvert","video-convert");
sink = gst_element_factory_make ("appsink", "video-output");
if (!pipeline || !source || !depay || !rtpdepay || !decoder || !videoconvert || !sink ) {
qDebug() << "One element could not be created. Exiting.\n";
return false;
}
callbacks.eos = NULL;
callbacks.new_sample = newBufferCallback;
callbacks.new_preroll = NULL;
gst_app_sink_set_callbacks((GstAppSink *) sink, &callbacks, this, NULL);
g_object_set (G_OBJECT(source), "port", 5001, NULL);
g_object_set (G_OBJECT(source),"host","10.0.0.128",NULL);
gst_bin_add_many (GST_BIN (pipeline),
source, depay,rtpdepay,decoder, videoconvert,sink, NULL);
if (!gst_element_link_many (source, depay,rtpdepay,decoder, videoconvert,sink, NULL))
g_warning ("Main pipeline link Fail...");
ret = gst_element_set_state (pipeline, GST_STATE_PLAYING);
if (ret == GST_STATE_CHANGE_FAILURE)
{
g_printerr ("Unable to set the pipeline to the playing state.");
gst_object_unref (pipeline);
return false;
}
return true;
}
GstFlowReturn CameraStreamer::newBufferCallback(GstAppSink *app_sink, void *obj)
{
if(app_sink == NULL)
{
qDebug() << "app_sink is NULL";
return GST_FLOW_ERROR;
}
GstSample* sample = gst_app_sink_pull_sample(app_sink);
if(!sample)
{
qDebug() << "Error retreiving buffer...";
return GST_FLOW_ERROR;
}
GstCaps* caps = gst_sample_get_caps (sample);
if (!caps) {
qDebug() << "could not get snapshot format\n";
exit (-1);
}
gint width, height;
GstStructure* s = gst_caps_get_structure (caps, 0);
int res = gst_structure_get_int (s, "width", &width)
| gst_structure_get_int (s, "height", &height);
if (!res) {
qDebug() << "could not get snapshot dimension\n";
exit (-1);
}
GstMapInfo map;
GstBuffer *buffer = gst_sample_get_buffer (sample);
qDebug() << "size: " << gst_buffer_get_size(buffer);
gst_buffer_map (buffer, &map, GST_MAP_READ);
QImage img(map.data,width,height, QImage::Format_RGB888);
img = img.copy();
((CameraStreamer*)obj)->emitNewImage(img);
gst_buffer_unmap (buffer, &map);
gst_sample_unref (sample);
return GST_FLOW_OK;
}
Решение
Если это I420, то макет:
460800 = 640 * 480 + 320 * 240 + 320 * 240
У равнины Luma Y — 640 * 480, у цветных равнин U и V — 320 * 240. Таким образом, у UV-равнин меньше разрешение, учитывайте это при циклической обработке этих массивов.
Формула преобразования цвета из Википедии:
R = Y + 1.140 * V
G = Y - 0.395 * U - 0.581 * V
B = Y + 2.032 * U
Другие решения
Так что после смехотворного количества времени и поиска в Google я нашел ответ. В итоге я использовал opencv для преобразования цветов. Вот мой метод (продолжение сверху):
GstBuffer *buffer = gst_sample_get_buffer (sample);
gst_buffer_map (buffer, &map, GST_MAP_READ);
cv::Mat temp_mat = cv::Mat(cv::Size(width, height+height/2), CV_8UC1, (char*)map.data);
cv::Mat result(height,width,3);
cv::cvtColor(temp_mat,result,CV_YUV2RGB_I420,3);
QImage rgb(result.size().width,result.size().height,QImage::Format_RGB888);
memcpy(rgb.scanLine(0), (unsigned char*)result.data, rgb.width() * rgb.height() * result.channels());
((CameraStreamer*)obj)->emitNewImage(rgb);
gst_buffer_unmap (buffer, &map);
gst_sample_unref (sample);
Я опубликую больше информации о моем приложении git repo, но я подумал, что это может помочь другим людям.
Вот ссылка: пример камеры стримера