Отслеживание объектов по форме из прямой трансляции камеры, а не изображения

#include <opencv2\opencv.hpp>
#include <opencv2\highgui\highgui.hpp>

int main()
{

IplImage* img = cvLoadImage("C:/Users/Ayush/Desktop/FindingContours.png");

//show the original image
cvNamedWindow("Raw");
cvShowImage("Raw", img);

//converting the original image into grayscale
IplImage* imgGrayScale = cvCreateImage(cvGetSize(img), 8, 1);
cvCvtColor(img, imgGrayScale, CV_BGR2GRAY);

//thresholding the grayscale image to get better results
cvThreshold(imgGrayScale, imgGrayScale, 128, 255, CV_THRESH_BINARY);

CvSeq* contours;  //hold the pointer to a contour in the memory block
CvSeq* result;   //hold sequence of points of a contour
CvMemStorage *storage = cvCreateMemStorage(0); //storage area for all contours

//finding all contours in the image
cvFindContours(imgGrayScale, storage, &contours, sizeof(CvContour), CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));

//iterating through each contour
while (contours) {
//obtain a sequence of points of contour, pointed by the variable 'contour'
result = cvApproxPoly(contours, sizeof(CvContour), storage, CV_POLY_APPROX_DP, cvContourPerimeter(contours)*0.02, 0);

//if there are 3  vertices  in the contour(It should be a triangle)
if (result->total == 3) {
//iterating through each point
CvPoint *pt[3];
for (int i = 0; i < 3; i++) {
pt[i] = (CvPoint*)cvGetSeqElem(result, i);
}

//drawing lines around the triangle
cvLine(img, *pt[0], *pt[1], cvScalar(255, 0, 0), 4);
cvLine(img, *pt[1], *pt[2], cvScalar(255, 0, 0), 4);
cvLine(img, *pt[2], *pt[0], cvScalar(255, 0, 0), 4);

}

//if there are 4 vertices in the contour(It should be a quadrilateral)
else if (result->total == 4) {
//iterating through each point
CvPoint *pt[4];
for (int i = 0; i < 4; i++) {
pt[i] = (CvPoint*)cvGetSeqElem(result, i);
}

//drawing lines around the quadrilateral
cvLine(img, *pt[0], *pt[1], cvScalar(0, 255, 0), 4);
cvLine(img, *pt[1], *pt[2], cvScalar(0, 255, 0), 4);
cvLine(img, *pt[2], *pt[3], cvScalar(0, 255, 0), 4);
cvLine(img, *pt[3], *pt[0], cvScalar(0, 255, 0), 4);
}

//if there are 7  vertices  in the contour(It should be a heptagon)
else if (result->total == 7) {
//iterating through each point
CvPoint *pt[7];
for (int i = 0; i < 7; i++) {
pt[i] = (CvPoint*)cvGetSeqElem(result, i);
}

//drawing lines around the heptagon
cvLine(img, *pt[0], *pt[1], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[1], *pt[2], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[2], *pt[3], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[3], *pt[4], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[4], *pt[5], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[5], *pt[6], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[6], *pt[0], cvScalar(0, 0, 255), 4);
}

//obtain the next contour
contours = contours->h_next;
}

//show the image in which identified shapes are marked
cvNamedWindow("Tracked");
cvShowImage("Tracked", img);

cvWaitKey(0); //wait for a key press

//cleaning up
cvDestroyAllWindows();
cvReleaseMemStorage(&storage);
cvReleaseImage(&img);
cvReleaseImage(&imgGrayScale);

return 0;
}

Если вы используете C ++, я бы начал с того, чтобы переписать его, чтобы использовать API C ++ OpenCV вместо старого C — ИМХО это проще в использовании. В процессе, реорганизуйте код в более мелкие функции и отделите обработку от ввода / вывода. Наконец, учтите, что видео — это просто последовательность изображений. Если вы можете обработать одно изображение, то вы можете обрабатывать видео по одному кадру за раз.

---

Итак, как этого добиться. Давайте начнем с вершины и напишем main() функция.

Для чтения видеопотока мы будем использовать cv::VideoCapture. Мы начнем с инициализации (и проверки того, что это сработало) и подготовки некоторых именованные окна для отображения входных и выходных кадров.

Затем мы начнем обрабатывать отдельные кадры в бесконечном цикле, выходя из него только в случае сбоя при получении кадра или при нажатии пользователем управляющей клавиши. На каждой итерации мы будем:

• Читать кадр из видеопотока (и убедитесь, что это удалось)
• Обработка кадра (мы напишем функцию для этого позже)
• дисплей необработанные и обработанные кадры в наших именованных окнах
• Подожди немного, и проверьте, нажал ли пользователь клавишу escape, обрабатывая это соответствующим образом

Код:

int main()
{
cv::VideoCapture cap(0); // open the video camera no. 0

if (!cap.isOpened())  // if not success, exit program
{
std::cout << "Cannot open the video cam\n";
return -1;
}

cv::namedWindow("Original", CV_WINDOW_AUTOSIZE);
cv::namedWindow("Tracked", CV_WINDOW_AUTOSIZE);

// Process frames from the video stream...
for(;;) {
cv::Mat frame, result_frame;

// read a new frame from video
if (!cap.read(frame)) {
std::cout << "Cannot read a frame from video stream\n";
break;
}

process_frame(frame, result_frame);

cv::imshow("Original", frame);
cv::imshow("Tracked", result_frame);
if (cv::waitKey(20) == 27) { // Quit on ESC
break;
}
}

return 0;
}

NB: Использование cv::waitKey в надлежащее время необходимо, чтобы графический интерфейс работал. Внимательно прочитайте документацию.

---

После этого пришло время реализовать process_frame функция, но сначала давайте сделаем несколько полезных глобальных typedefs.

В C ++ API контур является std::vector из cv::Point объекты, и так как может быть обнаружено более одного контура, нам также нужно std::vector контуров. Точно так же иерархия представлена ​​в виде std::vector из cv::Vec4i объекты. («is» — это ложь детям, так как это могут быть и другие типы данных, но это сейчас не важно).

typedef std::vector<cv::Point> contour_t;
typedef std::vector<contour_t> contour_vector_t;
typedef std::vector<cv::Vec4i> hierarchy_t;

Давайте поработаем над функцией — для этого нужно принять два параметра:

• Входной кадр (cv::Mat) которую мы не хотим изменять, мы просто анализируем это.
• Выходной кадр, в который мы рисуем результат обработки.

Мы должны:

• Скопируйте исходный кадр в результат, чтобы мы могли позже нарисовать его.
• Сделайте версию в градациях серого, используя cv::cvtColor, то что мы можем
• cv::threshold это, бинаризация изображения
• cv::findContours на двоичном изображении
• Наконец, обработайте каждый обнаруженный контур (возможно, рисуя в результирующем кадре).

Код:

void process_frame(cv::Mat const& frame, cv::Mat& result_frame)
{
frame.copyTo(result_frame);

cv::Mat feedGrayScale;
cv::cvtColor(frame, feedGrayScale, cv::COLOR_BGR2GRAY);

//thresholding the grayscale image to get better results
cv::threshold(feedGrayScale, feedGrayScale, 128, 255, cv::THRESH_BINARY);

contour_vector_t contours;
hierarchy_t hierarchy;
cv::findContours(feedGrayScale, contours, hierarchy, cv::RETR_LIST, cv::CHAIN_APPROX_SIMPLE);
for (size_t k(0); k < contours.size(); ++k) {
process_contour(result_frame, contours[k]);
}
}

---

Последний шаг, функция для обработки одного контура. Это необходимо:

• Картинка (cv::Mat) рисовать на
• Контур для работы с

Во-первых, мы хотим аппроксимировать многоугольник, используя долю длины периметра (мы можем использовать cv::arcLength рассчитать это) в качестве параметра. Мы продолжим обработку этого приблизительного контура.

Далее мы хотим рассмотреть 3 конкретных случая: треугольники, четырехугольники и семиугольники. Мы хотим нарисовать контур каждого из них, используя другой цвет, иначе мы ничего не делаем. Чтобы нарисовать последовательность линий, составляющих контур, мы можем использовать cv::polylines.

Код:

void process_contour(cv::Mat& frame, contour_t const& contour)
{
contour_t approx_contour;
cv::approxPolyDP(contour, approx_contour, cv::arcLength(contour, true) * 0.02, true);

cv::Scalar TRIANGLE_COLOR(255, 0, 0);
cv::Scalar QUADRILATERAL_COLOR(0, 255, 0);
cv::Scalar HEPTAGON_COLOR(0, 0, 255);

cv::Scalar colour;
if (approx_contour.size() == 3) {
colour = TRIANGLE_COLOR;
} else if (approx_contour.size() == 4) {
colour = QUADRILATERAL_COLOR;
} else if (approx_contour.size() == 7) {
colour = HEPTAGON_COLOR;
} else {
return;
}

cv::Point const* points(&approx_contour[0]);
int n_points(static_cast<int>(approx_contour.size()));

polylines(frame, &points, &n_points, 1, true, colour, 4);
}

NB: std::vector гарантированно будет непрерывным. Вот почему мы можем смело брать указатель, получая адрес первого элемента (&approx_contour[0]).

---

NB: Избегать использования

using namespace std;
using namespace cv;

Для получения дополнительной информации см. Почему «использование пространства имен std» считается плохой практикой?