opencv — изображение, скопированное в ROI, не соответствует камере c ++. Как это исправить?

Я работаю на Windows7 x64 с opencv и Visual Studio 2010 на языке c ++.

Я создал проект, в котором я показываю своей камере прямоугольную область (вызов squared_surface). Эта область распознается по трассировке прямоугольника с findSquare () а также drawSquares () файла opencv squares.cpp,
На этом прямоугольнике я создаю ROI, и там я копирую изображение (давайте назовем copied_image)

Моя проблема в том, что когда я вращаюсь squared_surface (перед камерой), copied_image не следует за этим.

Я думаю, что мне нужно использовать функции getPerpective () а также warpPerspective (), Но я не знаю как. Может кто-нибудь мне помочь?

Вот код:

int main(){
vector<vector<Point> > squares;

cv::VideoCapture cap(0);
for (;;) {
cv::Mat image;
cap >> image;
findSquares(image, squares);
for (size_t i = 0; i < squares.size(); i++) {
Rect rectangle = boundingRect(Mat(squares[i]));

if((rectangle.width<=630)&& (rectangle.width >= 420) && (rectangle.height<= 490) &&(rectangle.height >= 250 )) {
cv::Size dsize = Size(rectangle.width, rectangle.height);
Mat img1 = imread("scacchiera.jpg");
cv::resize(img1,img1,dsize,0,0, INTER_LINEAR);
Rect roi (rectangle.x, rectangle.y,rectangle.width, rectangle.height);

Mat imageRoi(image, roi);
img1.copyTo(imageRoi);
}
}
drawSquares(image, squares);
imshow("camera",image);
if(waitKey(30) >= 0) break;
}
return 0;
}

Спасибо!

РЕДАКТИРОВАТЬ.
Я думал о вращении Copied_image, так следует Squared_surface, но мне нужно вычислить угол поворота прямоугольника, идентифицированного камерой (нарисовано красным на изображениях выше). Есть ли способ рассчитать этот угол?

Или как я могу сделать так, чтобы Copied_image следует Squared_surface когда я поверну squared_surface?

Помоги мне, пожалуйста!