Использование QAbstractVideoSurface

QAbstractVideoSurface является интерфейсом между производителем и потребителем видеокадров.
Для начала вам нужно реализовать только две функции:

1. supportedPixelFormats чтобы производитель мог выбрать подходящий формат для QVideoFrame
2. подарок что является более общей формулировкой для показа \ отображения этого кадра

Допустим, вы хотите использовать классический QWidget для отображения. В этом случае вы можете использовать QImage рисовать на виджете.

Первый Qt гарантированно нарисовать QImage который является RGB24 (или BGR24) на большинстве платформ. Так

QList<QVideoFrame::PixelFormat> LabelBasedVideoSurface::supportedPixelFormats(
QAbstractVideoBuffer::HandleType handleType) const
{
if (handleType == QAbstractVideoBuffer::NoHandle) {
return QList<QVideoFrame::PixelFormat>()
<< QVideoFrame::Format_RGB24;
} else {
return QList<QVideoFrame::PixelFormat>();
}
}

Теперь, чтобы представить QVideoFrame, вы отображаете его данные в QImage и рисуете QImage для виджета. Для простоты я буду использовать QLabel, что я получаю доступ напрямую (нет сигнала нет слота).

bool LabelBasedVideoSurface::present(const QVideoFrame &frame)
{
if (notMyFormat(frame.pixelFormat())) {
setError(IncorrectFormatError);
return false;
} else {

QVideoFrame frametodraw(frame);

if(!frametodraw.map(QAbstractVideoBuffer::ReadOnly))
{
setError(ResourceError);
return false;
}

//this is a shallow operation. it just refer the frame buffer
QImage image(
frametodraw.bits(),
frametodraw.width(),
frametodraw.height(),
frametodraw.bytesPerLine(),
QImage::Format_RGB444);

mylabel->resize(image.size());

//QPixmap::fromImage create a new buffer for the pixmap
mylabel->setPixmap(QPixmap::fromImage(image));

//we can release the data
frametodraw.unmap();

mylabel->update();

return true;
}
}

Этот пример явно не оптимален.

1. Это не берет деньги на тот факт, что QVideoFrame может храниться в видеопамяти, потому что мы рисуем с использованием растрового изображения.
2. Преобразование из изображения в растровое изображение является ненужным хитом.

Вы можете написать свой собственный виджет и реализовать paintEvent для лучшей производительности. Кроме того, у вас есть несколько свобод дизайна как present() вести себя. Например :

• Является ли неблокирующая поверхность, то есть рамка уже показана, когда заканчивается. Выше это будет означать использование mylabel->repaint() вместо mylabel->update()
• Что происходит, когда вы не можете завершить презентацию. Вы можете нарисовать пустую рамку, а не возвращать ошибку, которая может остановить музыку.