OpenCV Sift / Surf / Orb: функция drawMatch работает плохо
Я использую Sift / Surf и ORB, но иногда у меня возникают проблемы с функцией drawMatch.
Здесь ошибка:
Ошибка OpenCV: утверждение не выполнено (i2> = 0 && i2 < static_cast (keypoints2.size ())) в drawMatches, файл /home/opencv-2.4.6.1/modules/features2d/src/draw.cpp, строка 208
прекращение вызова после создания экземпляра cv :: Exception
what (): /home/opencv-2.4.6.1/modules/features2d/src/draw.cpp:208: ошибка: (-215) i2> = 0 && i2 < static_cast (keypoints2.size ()) в функции drawMatche
Код :
drawMatchPoints(img1,keypoints_img1,img2,keypoints_img2,matches);
Я попытался инвертировать img 1, keypoints_img1 с img2 и keypoints_img2 так:
drawMatchPoints(img2,keypoints_img2,img1,keypoints_img1,matches);
В соответствии с моей функцией, кто делает омографию:
void drawMatchPoints(cv::Mat image1,std::vector<KeyPoint> keypoints_img1,
cv::Mat image2,std::vector<KeyPoint> keypoints_img2,std::vector<cv::DMatch> matches){
cv::Mat img_matches;
drawMatches( image1, keypoints_img1, image2, keypoints_img2,
matches, img_matches, Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
std::cout << "Number of good matching " << (int)matches.size() << "\n" << endl;//-- Localize the object
std::vector<Point2f> obj;
std::vector<Point2f> scene;
for( int i = 0; i < matches.size(); i++ )
{
//-- Get the keypoints from the good matches
obj.push_back( keypoints_img1[ matches[i].queryIdx ].pt );
scene.push_back( keypoints_img2[matches[i].trainIdx ].pt );
}
Mat H = findHomography( obj, scene, CV_RANSAC );
std::cout << "Size of homography " << *H.size << std::endl ;
//-- Get the corners from the image_1 ( the object to be "detected" )
std::vector<Point2f> obj_corners(4);
obj_corners[0] = cvPoint(0,0); obj_corners[1] = cvPoint( image1.cols, 0 );
obj_corners[2] = cvPoint( image1.cols, image1.rows ); obj_corners[3] = cvPoint( 0, image1.rows );
std::vector<Point2f> scene_corners(4);perspectiveTransform( obj_corners, scene_corners, H);//-- Draw lines between the corners (the mapped object in the scene - image_2 )
line( img_matches, scene_corners[0] + Point2f( image1.cols, 0), scene_corners[1] + Point2f( image1.cols, 0), Scalar(0, 255, 0), 4 );
line( img_matches, scene_corners[1] + Point2f( image1.cols, 0), scene_corners[2] + Point2f( image1.cols, 0), Scalar( 0, 255, 0), 4 );
line( img_matches, scene_corners[2] + Point2f( image1.cols, 0), scene_corners[3] + Point2f( image1.cols, 0), Scalar( 0, 255, 0), 4 );
line( img_matches, scene_corners[3] + Point2f( image1.cols, 0), scene_corners[0] + Point2f( image1.cols, 0), Scalar( 0, 255, 0), 4 );
//-- Show detected matches
cv::imshow( "Good Matches & Object detection", img_matches );
cv::waitKey(5000);
}
Но у меня все еще есть ошибка!
Я заметил, что ошибка произошла, когда размер моего keypoints_img1 ниже чем размер моего keypoints_img2:
Размер keyPoint1: 244
— Размер keyPoint2: 400
Так что, если я инвертирую загрузку двух моих картинок, это работает, но я не могу заранее, если у моей первой картинки будет больше точек, чем у моей второй картинки …
Мой код (самый важный шаг) для создания функций:
init_Sift(400,5,0.04,25,1.6);
void init_Sift(int nf,int nOctaveL,double contrastThresh, double edgeThresh,double sigma){
this->nfeatureSift=nf;
this->nOctaveLayerSift=nOctaveL;
this->contrastThresholdSift=contrastThresh;
this->edgeThresholdSift=edgeThresh;
this->sigmaSift=sigma;}cv::FeatureDetector* detector=new SiftFeatureDetector(nfeatureSift,nOctaveLayerSift,contrastThresholdSift,edgeThresholdSift,sigmaSift);
cv::DescriptorExtractor* extractor=new SiftDescriptorExtractor
extractor->compute( image, keypoints, descriptors );
Соответствующая часть:
std::cout << "Type of matcher : " << type_of_matcher << std::endl;
if (type_of_matcher=="FLANN" || type_of_matcher=="BF"){
std::vector<KeyPoint> keypoints_img1 = keyfeatures.compute_Keypoints(img1);
std::vector<KeyPoint> keypoints_img2 = keyfeatures.compute_Keypoints(img2);
cv::Mat descriptor_img1 = keyfeatures.compute_Descriptors(img1);
cv::Mat descriptor_img2 = keyfeatures.compute_Descriptors(img2);
std::cout << "Size keyPoint1 " << keypoints_img1.size() << "\n" << std::endl;
std::cout << "Size keyPoint2 " << keypoints_img2.size() << "\n" << std::endl;
//Flann with sift or surf
if (type_of_matcher=="FLANN"){
Debug::info("USING Matcher FLANN");
fLmatcher.match(descriptor_img1,descriptor_img2,matches);
double max_dist = 0; double min_dist = 100;
//-- Quick calculation of max and min distances between keypoints
for( int i = 0; i < descriptor_img1.rows; i++ ){
double dist = matches[i].distance;
if( dist < min_dist ) min_dist = dist;
if( dist > max_dist ) max_dist = dist;
}
std::vector< DMatch > good_matches;
for( int i = 0; i < descriptor_img1.rows; i++ )
{ if( matches[i].distance <= max(2*min_dist, 0.02) )
{ good_matches.push_back( matches[i]); }
}
std::cout << "Size of good match : " << (int)good_matches.size() << std::endl;
//-- Draw only "good" matches
if (!good_matches.empty()){
drawMatchPoints(img1,keypoints_img1,img2,keypoints_img2,good_matches);
}
else {
Debug::error("Flann Matcher : Pas de match");
cv::Mat img_matches;
drawMatches( img1, keypoints_img1, img2, keypoints_img2,
matches, img_matches, Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
cv::imshow( "No match", img_matches );
cv::waitKey(5000);
}
}
//BruteForce with sift or surf
else if (type_of_matcher=="BF"){
Debug::info("USING Matcher Brute Force");
bFmatcher.match(descriptor_img1,descriptor_img2,matches);
if (!matches.empty()){
std::nth_element(matches.begin(),//Initial position
matches.begin()+24, //Position of the sorted element
matches.end());//End position
matches.erase(matches.begin()+25,matches.end());
drawMatchPoints(img1,keypoints_img1,img2,keypoints_img2,matches);
//drawMatchPoints(img2,keypoints_img2,img1,keypoints_img1,matches);
}
else {
Debug::error("Brute Force matcher : Pas de match");
cv::Mat img_matches;
drawMatches( img1, keypoints_img1, img2, keypoints_img2,
matches, img_matches, Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
cv::imshow( "No match", img_matches );
cv::waitKey(5000);
}
}
Есть ли у вас какие-либо предложения или советы?
РЕДАКТИРОВАТЬ : я решил свою проблему
У меня была проблема с ++, потому что у меня было два класса. Один о сопоставлении, а другой о поиске keyFeature. Я написал на моем .h std :: vector и то же самое для дескрипторов.
class keyFeatures{
public:
...
std::vector<keyPoint> keypoints;
...
Я удалил этот атрибут и сделал функцию, принимающую аргумент std :: vector keypoints
cv::Mat descriptor_img1 = keyfeatures.compute_Descriptors(img1,keypoints_img1);
вместо
cv::Mat descriptor_img1 = keyfeatures.compute_Descriptors(img1);
Я думаю, что был конфликт, когда я сделал сопоставление …
Но я не знаю, почему мне не нужно было писать это в моем .h и делать локальный параметр в моей функции.
Спасибо !
Решение
Для кого-то вроде меня, который искал это, но не мог найти решение.
Утверждение не выполнено (i2> = 0 && i2 < static_cast (keypoints2.size ()))
Это означает, что утверждение не удалось из-за того, что i2 меньше 0 или i2 меньше размера ключевых точек2. Но что такое i2?
По ссылке, которую предоставил rbaleksandar в комментарии
int i2 = match1to2 [m] .trainIdx;
trainIdx — это индекс ключевых точек2. Чек i2 < static_cast (keypoints2.size ()) гарантирует, что индекс меньше, чем keypoints2.size ().
Для меня это произошло потому, что я отбросил некоторые ключевые точки до вызова drawMatches, но после того, как дескрипторы были вычислены, т.е. был вызван DescriptorExtractor # compute. Это означало, что drawMatches ссылался на старые ключевые точки через дескрипторы, пока я менял эти ключевые точки. Конечный результат состоял в том, что у некоторых ключевых точек был большой idx, но размер ключевых точек был маленьким, следовательно ошибка.
Другие решения