Структура OpenCV из проблемы перепроектирования движения

В настоящее время у меня возникла проблема с моей программой Structure from Motion, основанной на OpenCv.
Я постараюсь изобразить вам, что он делает, и что он должен делать.

Эта программа основана на классическом методе «структура из движения».

Основная идея состоит в том, чтобы взять пару изображений, определить их ключевые точки и вычислить дескрипторы этих ключевых точек. Затем выполняется сопоставление ключевых точек с определенным количеством тестов, чтобы убедиться, что результат хороший. Эта часть работает отлично.

После того, как это сделано, выполняются следующие вычисления: фундаментальная матрица, существенная матрица, SVD-разложение существенной матрицы, вычисление матрицы камеры и, наконец, триангуляция.

Результатом для пары изображений является набор трехмерных координат, дающий нам точки, которые нужно нарисовать в 3D-вьюере. Это отлично работает для пары.

Действительно, вот моя проблема: для пары изображений трехмерные координаты точек вычисляются в системе координат первого изображения пары изображений, в качестве эталонного изображения. При работе с более чем двумя изображениями, что является целью моей программы, Я должен перепроектировать трехмерные точки, вычисленные в системе координат самого первого изображения, для того, чтобы получить последовательный результат.

Мой вопрос: Как мне перепроецировать координату 3D-точек, заданную в системе, связанной с камерой, в другую систему, связанную с камерой? С матрицами камеры?

Моя идея состояла в том, чтобы взять трехмерные координаты точки и умножить их на число, обратное каждой матрице камеры.

Я уточняю:

Предположим, я работаю над третьим и четвертым изображением (следовательно, с третьей парой изображений, потому что я работаю как 1-2 / 2-3 / 3-4 и так далее).

Я получаю свои точечные 3D-координаты в системе координат третьего изображения. Как мне правильно их перепроецировать в самой первой системе координат изображения?

Я бы сделал следующее:

Получите матрицу координат трехмерных точек, примените обратную матрицу камеры для изображения 2–3, а затем примените обратную матрицу камеры для изображения 1–2.
Это даже правильно?

Потому что эти матрицы камер не квадратные, и я не могу их инвертировать.

Я, конечно, где-то ошибаюсь, и я был бы признателен, если бы кто-то мог просветить меня, я почти уверен, что это относительно легко, но я явно что-то упускаю …

Большое спасибо за чтение 🙂