OpenCV: работа с векторной индексацией контуров

С помощью функции выпуклостиDefects берет двоичный объект из двоичного изображения и создает вектор со всеми точками, окружающими мою руку. Этот вектор всегда начинается с Точки в самом высоком месте Y на моем объекте BLOB-объекта, что мешает моей способности выполнять K-Кривизну на каждом пальце, чтобы определить точное положение пальца.

Я думал о перестановке вектора так, чтобы начало вектора начиналось вдали от пальцев моей руки. Проблема в том, что это трудно реализовать, потому что у меня нет эффективного способа выбрать точку на руке, чтобы начать переупорядочение точек. Есть ли у вас какие-либо предложения, которые могли бы предоставить простые способы исправить это? Моя цель состоит в том, чтобы ни один из кончиков пальцев не находился в пределах ~ 30 точек от начала этого массива.