很多時(shí)候我們獲得的圖像并不是正位的（比如我們拍攝的照片，由于手持姿勢的不同，很難拍出剛好是正位的照片），而不是正位的圖片要進(jìn)行布局分析與文字識別是比較不方便的。所以在布局分析和文字識別之前我們需要對圖像進(jìn)行矯正。接下來的這篇文章我們就來介紹一下OpenCV的圖像矯正算法并將其用于實(shí)戰(zhàn)。
摘要
在機(jī)器視覺中，對于圖像的處理有時(shí)候因?yàn)榉胖玫脑驅(qū)е翿OI區(qū)域傾斜，這個(gè)時(shí)候我們會(huì)想辦法把它糾正為正確的角度視角來，方便下一步的布局分析與文字識別，這個(gè)時(shí)候通過透視變換就可以取得比較好的裁剪效果。
本次實(shí)戰(zhàn)，對于圖像的矯正使用了兩種矯正思路：
- 針對邊緣比較明顯的圖像，使用基于輪廓提取的矯正算法。
- 針對邊緣不明顯，但是排列整齊的文本圖像，使用了基于霍夫直線探測的矯正算法。
基于輪廓提取的矯正算法
整體思路：
- 圖片灰度化，二值化
- 檢測輪廓,并篩選出目標(biāo)輪廓（通過橫縱比或面積去除干擾輪廓)
- 獲取目標(biāo)輪廓的最小外接矩形
- 獲取最小外接矩形的四頂點(diǎn)，并定義矯正圖像后的四頂點(diǎn)
- 透視變換（四點(diǎn)變換）
opencv實(shí)現(xiàn)（分解步驟）：
（一）圖片灰度化，二值化（開運(yùn)算，消除噪點(diǎn)）
Mat src = imread("D:/opencv練習(xí)圖片/圖片矯正.png");
imshow("原圖片", src);
// 二值圖像
Mat gray, binary;
cvtColor(src, gray, COLOR_BGR2GRAY);
threshold(gray, binary, 0, 255, THRESH_BINARY_INV| THRESH_OTSU);
imshow("二值化", binary);
// 定義結(jié)構(gòu)元素
Mat se = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
morphologyEx(binary, binary, MORPH_OPEN, se);
imshow("開運(yùn)算", binary);
注意：由于原圖像背景是白色，因此二值化時(shí)候要用THRESH_BINARY_INV
（二）提取輪廓，篩選輪廓
// 尋找最大輪廓
vector<vector<Point>> contours;
findContours(binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE);
int index = -1;
int max = 0;
for (size_t i = 0; i < contours.size(); i++)
{
double area = contourArea(contours[i]);
if (area > max)
{
max = area;
index = i;
}
}（三）求取最小外接矩形以及四頂點(diǎn)坐標(biāo)，并定義變換后的四頂點(diǎn)坐標(biāo)
// 尋找最小外接矩形
RotatedRect rect = minAreaRect(contours[index]);
Point2f srcpoint[4];//存放變換前四頂點(diǎn)
Point2f dstpoint[4];//存放變換后四頂點(diǎn)
rect.points(srcpoint);//獲取最小外接矩形四頂點(diǎn)坐標(biāo)
//顯示頂點(diǎn)
for (size_t i = 0; i < 4; i++)
{
circle(src, srcpoint[i], 5, Scalar(0, 0, 255),-1);//-1表示填充
}
imshow("頂點(diǎn)坐標(biāo)", src);
//獲取外接矩形寬高
float width = rect.size.width;
float height = rect.size.height;
//定義矯正后四頂點(diǎn)
dstpoint[0]= Point2f(0, height);
dstpoint[1] = Point2f(0, 0);
dstpoint[2] = Point2f(width, 0);
dstpoint[3] = Point2f(width, height); ?? 這里需要注意的是：
RotatedRect 類的矩形返回的是矩形的中心坐標(biāo)，傾斜角度。
Rect類的矩形返回的是矩形的左上角坐標(biāo)，寬，高。因此要獲取RotatedRect 類的矩形的寬，高就要用：
//獲取外接矩形寬高
float width = rect.size.width;
float height = rect.size.height;獲取RotatedRect 類四頂點(diǎn)坐標(biāo)的順序依次是：左下-左上-右上-右下（可通過顯示頂點(diǎn)依次查看）
對應(yīng)矯正后的四頂點(diǎn)就是：(0，height)-(0，0)-(width，0)-(width，height）
（四）透視變換
// 透視變換
Mat M = getPerspectiveTransform(srcpoint, dstpoint);
Mat result = Mat::zeros(Size(width, height), CV_8UC3);
warpPerspective(src, result, M, result.size());
imshow("矯正結(jié)果", result);
基于霍夫直線探測的矯正算法
對于文本圖像（如圖），它沒有明顯的輪廓邊緣去求四頂點(diǎn)。但是經(jīng)過深入分析，可以發(fā)現(xiàn)：文本的每一行文字都是呈一條直線，而且這些直線都是平行的！
利用這個(gè)特征就可以實(shí)現(xiàn)基于霍夫直線探測的矯正算法：
用霍夫線變換探測出圖像中的所有直線計(jì)算出每條直線的傾斜角，求他們的平均值根據(jù)傾斜角旋轉(zhuǎn)矯正
??先來看看什么是霍夫變換：
霍夫變換在檢測各種形狀的的技術(shù)中非常流行，如果你要檢測的形狀可以用數(shù)學(xué)表達(dá)式寫出，你就可以是使用霍夫變換檢測它。
霍夫變換的直線檢測簡單來說就是在空間坐標(biāo)系和映射到另外一個(gè)參數(shù)空間，將空間坐標(biāo)系中的每一個(gè)點(diǎn)映射到另外一個(gè)參數(shù)空間中的線，通過該參數(shù)空間中所有線的交叉次數(shù)得到實(shí)際空間坐標(biāo)系中的直線。
在OpenCV中，使用Hough變換的直線檢測在函數(shù)HoughLines和HoughLinesP中實(shí)現(xiàn)。
HoughLines函數(shù)（標(biāo)準(zhǔn)霍夫變換）
從平面坐標(biāo)轉(zhuǎn)換到霍夫空間，最終輸出是找到直線的極坐標(biāo)（r，θ）
HoughLines(
InputArray src, // 輸入圖像，必須CV_8U的二值圖像（常用canny處理后的二值圖像）
OutputArray lines, // 輸出的極坐標(biāo)來表示直線
double rho, // 步長(常為1）
double theta, //角度，（一般是CV_PI/180）
int threshold, // 閾值，只有獲得足夠交點(diǎn)的極坐標(biāo)點(diǎn)才被看成是直線
double min_theta=0， // 表示角度掃描范圍 0 ~180之間， 默認(rèn)即可
double max_theta=CV_PI)
// 一般情況是有經(jīng)驗(yàn)的開發(fā)者使用，需要自己反變換到平面空間HoughLinesP函數(shù)（霍夫變換直線概率)
從平面坐標(biāo)轉(zhuǎn)換到霍夫空間，最終輸出是找到直線的起點(diǎn)和終點(diǎn)（直角坐標(biāo)系）
HoughLinesP(
InputArray src, // 輸入圖像，必須CV_8U的二值圖像
OutputArray lines, // 輸出找到直線的兩點(diǎn)
double rho, // 步長（半徑，常設(shè)為1）
double theta, //角度，一般取值CV_PI/180
Int threshold, // 閾值，累計(jì)次數(shù)必須達(dá)到的值,一般為150
double minLineLength=0，// 最小直線長度，一般為50
double maxLineGap=0）// 最大間隔，一般為10opencv實(shí)現(xiàn)（分解步驟）：
（一）圖片灰度化，Canny邊緣提取
Mat src, src_edge, src_gray,src_rotate;
double angle;
src = imread("D:/opencv練習(xí)圖片/文本矯正.png");
imshow("文本圖片", src);
cvtColor(src, src_gray, COLOR_RGB2GRAY);
Canny(src_gray, src_edge, 50, 200, 3);
imshow("canny", src_edge);
（二） 霍夫直線檢測（HoughLines函數(shù)）并顯示
//通過霍夫變換檢測直線
vector<Vec2f> plines;
//第5個(gè)參數(shù)就是閾值，閾值越大，檢測精度越高
HoughLines(src_edge, plines, 1, CV_PI / 180, 200, 0, 0);
cout << plines.size() << endl;
//由于圖像不同，閾值不好設(shè)定，因?yàn)殚撝翟O(shè)定過高導(dǎo)致無法檢測直線，閾值過低直線太多，速度很慢
//所以根據(jù)閾值由大到小設(shè)置了三個(gè)閾值，如果經(jīng)過大量試驗(yàn)后，可以固定一個(gè)適合的閾值。
float sum = 0;
//依次畫出每條線段
for (size_t i = 0; i < plines.size(); i++)
{
float rho = plines[i][0];
float theta = plines[i][1];
Point pt1, pt2;
double a = cos(theta), b = sin(theta);
double x0 = a * rho, y0 = b * rho;
pt1.x = cvRound(x0 + 1000 * (-b));//cvRound四舍五入
pt1.y = cvRound(y0 + 1000 * (a));
pt2.x = cvRound(x0 - 1000 * (-b));
pt2.y = cvRound(y0 - 1000 * (a));
sum += theta;
line(src_gray, pt1, pt2, Scalar(55, 100, 195), 1, LINE_AA);//Scalar函數(shù)用于調(diào)節(jié)線段顏色
imshow("直線探測效果圖", src_gray);
float average = sum / plines.size(); //對所有角度求平均，這樣做旋轉(zhuǎn)效果會(huì)更好
angle = DegreeTrans(average) - 90;
}
??核心代碼分析：
由于需要求解直線的傾斜角度，因此這里使用了HoughLines函數(shù)，返回的是直線的步長和弧度（極坐標(biāo)系下）
通過極坐標(biāo)系下的步長和弧度，可以轉(zhuǎn)換到直接坐標(biāo)系下的兩點(diǎn)坐標(biāo)，然后顯示。（原理如圖）
（三）根據(jù)傾斜角度，進(jìn)行放射變換（逆時(shí)針旋轉(zhuǎn)矯正）
//旋轉(zhuǎn)中心為圖像中心
Point2f center;
center.x = float(src.cols / 2.0);
center.y = float(src.rows / 2.0);
int length = 0;
length = sqrt(src.cols*src.cols + src.rows*src.rows);
Mat M = getRotationMatrix2D(center, angle, 1);
warpAffine(src, src_rotate, M, Size(length, length), 1, 0, Scalar(255, 255, 255));//仿射變換，背景色填充為白色
imshow("矯正后", src_rotate);
到此這篇基于opencv的圖像矯正算法實(shí)戰(zhàn)的文章就介紹到這了,更多相關(guān)opencv圖像矯正內(nèi)容請搜索W3Cschool以前的文章或繼續(xù)瀏覽下面的相關(guān)文章。
