Как выровнять RGB и глубину изображения Kinect в OpenCV?

По сути, вам необходимо изменить 3D-систему координат, чтобы преобразовать 3D-точки, видимые камерой глубины, в 3D-точки, видимые камерой RGB.

Вы не можете использовать функцию reprojectImageTo3D() потому что он ожидает матрицу Q, которой у вас нет. Вместо этого вы должны преобразовать свою карту диспаратности в карту глубины, используя функцию raw_depth_to_meters на странице, на которую вы ссылаетесь.

Затем для каждого пикселя карты глубины необходимо вычислить связанную трехмерную точку, обозначенную как P3D на странице, на которую вы ссылаетесь (см. § «Отображение пикселей глубины с цветными пикселями»). Затем необходимо применить предоставленную матрицу 3D-поворота R и вектор 3D-трансляции T, которые представляют преобразование от камеры глубины до камеры RGB, к каждой точке 3D P3D для того, чтобы получить связанную новую 3D-точку P3D', Наконец, используя калибровочную матрицу камеры RGB, вы можете проецировать новые 3D-точки в изображение RGB и назначить связанную глубину полученному пикселю, чтобы сгенерировать новую карту глубины, выровненную по изображению RGB.

Обратите внимание, что вы обязательно теряете точность в процессе, поскольку вам необходимо обрабатывать окклюзии (сохраняя только минимальную глубину, видимую каждым пикселем) и интерполяцию изображения (поскольку в общем случае проецируемые 3D-точки не будут связаны с целочисленными пиксельными координатами в изображении RGB). Что касается интерполяции изображений, я рекомендую вам использовать подход ближайшего соседа, в противном случае вы можете столкнуться со странным поведением на границах глубины.

Изменить после обновления вопроса

Вот модель того, что вы должны делать, чтобы переназначить карту глубины Kinect в точку зрения RGB-камеры:

cv::Mat_<float> pt(3,1), R(3,3), t(3,1);
// Initialize R & t here

depthmap_rgbcam = cv::Mat::zeros(height,width,CV_32FC1); // Initialize the depthmap to all zeros
float *depthmap_rgbcam_buffer = (float*)depthmap_rgbcam.data;
for(int row=0; row<height; ++row)
{
for(int col=0; col<width; ++col)
{
// Convert kinect raw disparity to depth
float raw_disparity = kinect_disparity_map_buffer[width*row+col];
float depth_depthcam = disparity_to_depth(raw_disparity);

// Map depthcam depth to 3D point
pt(0) = depth*(col-cx_depthcam)/fx_depthcam;  // No need for a 3D point buffer
pt(1) = depth*(row-cy_depthcam)/fy_depthcam;  // here, unless you need one.
pt(2) = depth;

// Rotate and translate 3D point
pt = R*pt+t;

// If required, apply rgbcam lens distortion to X, Y and Z here.

// Project 3D point to rgbcam
float x_rgbcam = fx_rgbcam*pt(0)/pt(2)+cx_rgbcam;
float y_rgbcam = fy_rgbcam*pt(1)/pt(2)+cy_rgbcam;

// "Interpolate" pixel coordinates (Nearest Neighbors, as discussed above)
int px_rgbcam = cvRound(x_rgbcam);
int py_rgbcam = cvRound(y_rgbcam);

// Handle 3D occlusions
float &depth_rgbcam = depthmap_rgbcam_buffer[width*py_rgbcam+px_rgbcam];
if(depth_rgbcam==0 || depth_depthcam<depth_rgbcam)
depth_rgbcam = depth_depthcam;
}
}

Это идея, по модулю возможных опечаток. Вы также можете изменить последовательно тип данных, как вам нравится. Что касается вашего комментария, я не думаю, что есть какая-либо встроенная функция OpenCV для этой цели.