Я пытаюсь сделать обработку камеры в реальном времени с OpenCV.
В didOutputSampleBuffer-метод AVCaptureVideoDataOutputSampleBufferDelegate я создаю матрицу из sampleBuffer (который работает без каких-либо проблем). Но при выполнении определенных методов, таких как cv :: GaussianBlur, приложение вылетает из-за «exc_bad_access code = 1, address = 0x10 ……». Ты знаешь почему?
cv::Mat matrix(bufferHeight, bufferWidth, CV_8UC4, baseAddress);
cv::GaussianBlur(matrix, matrix, cvSize(5,5), 0); // Crahes here
__ Редактировать:
Базовый адрес рассчитывается, как показано ниже (это делается в Swift в didOutputSampleBuffer-Method перед передачей этих переменных в target-c ++)
var pixelBuffer: CVImageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)!
CVPixelBufferLockBaseAddress(pixelBuffer, CVPixelBufferLockFlags(rawValue: 0))
var baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer)
____ Edit2:
Ценность baseAddress
:
0x0000000107790000
Ценность pixelBuffer
:
<CVPixelBuffer 0x17413aae0 width=1920 height=1080 pixelFormat=420v iosurface=0x1700039e0 planes=2>
<Plane 0 width=1920 height=1080 bytesPerRow=1920>
<Plane 1 width=960 height=540 bytesPerRow=1920>
<attributes=<CFBasicHash 0x17426e640 [0x1b8d18bb8]>{type = immutable dict, count = 5,
entries =>
0 : <CFString 0x1b300de28 [0x1b8d18bb8]>{contents = "PixelFormatDescription"} = <CFBasicHash 0x17426a080 [0x1b8d18bb8]>{type = immutable dict, count = 10,
entries =>
0 : <CFString 0x1b300e088 [0x1b8d18bb8]>{contents = "Planes"} = (
{
BitsPerBlock = 8;
BlackBlock = <10>;
FillExtendedPixelsCallback = <00000000 00000000 b840aa95 01000000 00000000 00000000>;
},
{
BitsPerBlock = 16;
BlackBlock = <8080>;
FillExtendedPixelsCallback = <00000000 00000000 443faa95 01000000 00000000 00000000>;
HorizontalSubsampling = 2;
VerticalSubsampling = 2;
}
)
2 : <CFString 0x1b300dd68 [0x1b8d18bb8]>{contents = "IOSurfaceOpenGLESFBOCompatibility"} = <CFBoolean 0x1b8d19110 [0x1b8d18bb8]>{value = true}
3 : <CFString 0x1b300e228 [0x1b8d18bb8]>{contents = "ContainsYCbCr"} = <CFBoolean 0x1b8d19110 [0x1b8d18bb8]>{value = true}
4 : <CFString 0x1b300dd48 [0x1b8d18bb8]>{contents = "IOSurfaceOpenGLESTextureCompatibility"} = <CFBoolean 0x1b8d19110 [0x1b8d18bb8]>{value = true}
5 : <CFString 0x1b300e288 [0x1b8d18bb8]>{contents = "ComponentRange"} = <CFString 0x1b300e2a8 [0x1b8d18bb8]>{contents = "VideoRange"}
6 : <CFString 0x1b300e008 [0x1b8d18bb8]>{contents = "PixelFormat"} = <CFNumber 0xb000000343230762 [0x1b8d18bb8]>{value = +875704438, type = kCFNumberSInt32Type}
7 : <CFString 0x1b300dd28 [0x1b8d18bb8]>{contents = "IOSurfaceCoreAnimationCompatibility"} = <CFBoolean 0x1b8d19110 [0x1b8d18bb8]>{value = true}
9 : <CFString 0x1b300e068 [0x1b8d18bb8]>{contents = "ContainsAlpha"} = <CFBoolean 0x1b8d19120 [0x1b8d18bb8]>{value = false}
10 : <CFString 0x1b300e248 [0x1b8d18bb8]>{contents = "ContainsRGB"} = <CFBoolean 0x1b8d19120 [0x1b8d18bb8]>{value = false}
11 : <CFString 0x1b300dd88 [0x1b8d18bb8]>{contents = "OpenGLESCompatibility"} = <CFBoolean 0x1b8d19110 [0x1b8d18bb8]>{value = true}
}
2 : <CFString 0x1b300dbe8 [0x1b8d18bb8]>{contents = "ExtendedPixelsRight"} = <CFNumber 0xb000000000000002 [0x1b8d18bb8]>{value = +0, type = kCFNumberSInt32Type}
3 : <CFString 0x1b300dbc8 [0x1b8d18bb8]>{contents = "ExtendedPixelsTop"} = <CFNumber 0xb000000000000002 [0x1b8d18bb8]>{value = +0, type = kCFNumberSInt32Type}
4 : <CFString 0x1b300dba8 [0x1b8d18bb8]>{contents = "ExtendedPixelsLeft"} = <CFNumber 0xb000000000000002 [0x1b8d18bb8]>{value = +0, type = kCFNumberSInt32Type}
5 : <CFString 0x1b300dc08 [0x1b8d18bb8]>{contents = "ExtendedPixelsBottom"} = <CFNumber 0xb000000000000082 [0x1b8d18bb8]>{value = +8, type = kCFNumberSInt32Type}
}
propagatedAttachments=<CFBasicHash 0x17426e900 [0x1b8d18bb8]>{type = mutable dict, count = 4,
entries =>
0 : <CFString 0x1b300d7c8 [0x1b8d18bb8]>{contents = "CVImageBufferYCbCrMatrix"} = <CFString 0x1b300d7e8 [0x1b8d18bb8]>{contents = "ITU_R_709_2"}
1 : <CFString 0x1b300d928 [0x1b8d18bb8]>{contents = "CVImageBufferTransferFunction"} = <CFString 0x1b300d7e8 [0x1b8d18bb8]>{contents = "ITU_R_709_2"}
2 : <CFString 0x1b3044fa0 [0x1b8d18bb8]>{contents = "MetadataDictionary"} = <CFBasicHash 0x170077840 [0x1b8d18bb8]>{type = mutable dict, count = 3,
entries =>
0 : <CFString 0x1b304d100 [0x1b8d18bb8]>{contents = "SNR"} = <CFNumber 0x170036300 [0x1b8d18bb8]>{value = +28.30700356903138370512, type = kCFNumberFloat64Type}
1 : <CFString 0x1b304b2e0 [0x1b8d18bb8]>{contents = "ExposureTime"} = <CFNumber 0x170033d00 [0x1b8d18bb8]>{value = +0.01000000000000000021, type = kCFNumberFloat64Type}
2 : <CFString 0x1b304d0e0 [0x1b8d18bb8]>{contents = "SensorID"} = <CFNumber 0xb000000000002472 [0x1b8d18bb8]>{value = +583, type = kCFNumberSInt32Type}
}
5 : <CFString 0x1b300d8a8 [0x1b8d18bb8]>{contents = "CVImageBufferColorPrimaries"} = <CFString 0x1b300d7e8 [0x1b8d18bb8]>{contents = "ITU_R_709_2"}
}
nonPropagatedAttachments=<CFBasicHash 0x17426e8c0 [0x1b8d18bb8]>{type = mutable dict, count = 0,
entries =>
}
Ах, ваши видеоданные — это не 4-компонентный RGBA (или что-то еще), а «1,5» компонентный YUV. Вам следует либо выполнить размытие в YUV, либо, возможно, более просто переключить сеанс захвата на RGBA.
YUV является форматом по умолчанию & у вас есть два «самолета» в нем.
Плоскость 0 — это «Y», 8-битное растровое изображение 1920×1080, а плоскость 1 — «UV», 16-битное растровое изображение 960×540 (фактически два 8-битных растровых изображения 960×540 рядом, U & V, не уверен, почему они не разделены на 3 плоскости на самом деле).
В любом случае ваш код ожидает 32-битное растровое изображение 1920×1080 и выходит за пределы памяти Y-канала.
Если вы хотите переключиться на RGBA, сделайте (я думаю — я никогда не смогу вспомнить, какой 4-компонентный формат использует iOS):
output.videoSettings = [kCVPixelBufferPixelFormatTypeKey as AnyHashable: kCVPixelFormatType_32BGRA]
Если вы любите приключения, сделайте размытие на данных yuv — это в 2,66666667 раз меньше, и ваш код мог Быть в 2.666667 раз быстрее.
Других решений пока нет …