Я использую OpenCV и C ++. Я хочу проверить, является ли изображение частью другого изображения, и уже нашел функцию под названием matchTemplate
который работает. Но что, если изображение шаблона немного отличается? Есть ли функция или способ, как matchTemplate
проверяет, является ли шаблон частью исходного изображения, но с такими параметрами допуска, как позиция, угол, размер и может быть даже деформация? Или мне нужен совершенно другой подход, чем сопоставление с шаблоном?
Вот мой код, который находит шаблонное изображение в исходном изображении, но без (или почти без) допуска.
#include <opencv2\core\core.hpp>
#include <opencv2\highgui\highgui.hpp>
#include <opencv2\imgproc\imgproc.hpp>
#include <opencv2\highgui\highgui.hpp>
#include <iostream>
#include <stdio.h>
using namespace cv;
using namespace std;
/// Global Variables
Mat img; Mat templ; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";
int match_method;
int max_Trackbar = 5;
/// Function Headers
void MatchingMethod( int, void* );
/**
* @function main
*/
int main( int, char** argv )
{
/// Load image and template
img = imread( "a1.jpg", 1 );
templ = imread( "a2.jpg", 1 );
/// Create windows
namedWindow( image_window, WINDOW_AUTOSIZE );
namedWindow( result_window, WINDOW_AUTOSIZE );
/// Create Trackbar
const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
MatchingMethod( 0, 0 );
waitKey(0);
return 0;
}
/**
* @function MatchingMethod
* @brief Trackbar callback
*/
void MatchingMethod( int, void* )
{
/// Source image to display
Mat img_display;
img.copyTo( img_display );
/// Create the result matrix
int result_cols = img.cols - templ.cols + 1;
int result_rows = img.rows - templ.rows + 1;
result.create( result_cols, result_rows, CV_32FC1 );
/// Do the Matching and Normalize
matchTemplate( img, templ, result, match_method );
normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
/// Localizing the best match with minMaxLoc
double minVal; double maxVal; Point minLoc; Point maxLoc;
Point matchLoc;
minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );/// For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better
if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED )
{ matchLoc = minLoc; }
else
{ matchLoc = maxLoc; }
/// Show me what you got
rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
imshow( image_window, img_display );
imshow( result_window, result );
return;
}
Изображения, которые я использую в своем коде:
Вы определили главное ограничение при сопоставлении с шаблоном. Это очень хрупкий к любой деформации изображения. Сопоставление с шаблоном осуществляется путем перемещения рамки размера шаблона вокруг изображения и проверки сходства между шаблоном и областью внутри блока. Он проверяет сходство, используя метод попиксельного сравнения, такой как нормализованная взаимная корреляция. Если вы хотите разрешить разные размеры и повороты, вам нужно написать цикл, который масштабирует исходный шаблон вверх или вниз или поворачивает его. Это становится действительно неэффективным.
Если вы хотите разрешить деформацию, а также выполнить более эффективный поиск при разных масштабах и поворотах, стандартным методом является SURF. Это очень эффективно и достаточно точно, если ваши изображения имеют хорошее разрешение, как у вас. Вы можете найти учебники Google и найти пример кода для поиска объектов с использованием SURF. В основном SURF определяет ключевые точки (отличительные области изображения) в шаблоне и изображении. Затем вы найдете регион на изображении с наибольшим количеством ключевых точек, которые соответствуют шаблону. (Если вы уже делаете это, и это то, что вы имели в виду под «сопоставлением функций», тогда я думаю, что вы на правильном пути.)
Других решений пока нет …