第七章車牌檢測(cè)1項(xiàng)目需求分析目錄背景與挖掘目標(biāo)2定位車牌3車牌字符分割4結(jié)果分析5

進(jìn)入21世紀(jì)以來(lái)，隨著我國(guó)經(jīng)濟(jì)的發(fā)展，私人車輛日漸成為人們的生活必需品之一，這也使得私人車輛的數(shù)目急劇增加。大量私人車輛的出現(xiàn)雖然給人們生活或工作的出行帶來(lái)了極大便利，但同時(shí)也增加了公路系統(tǒng)管理上的負(fù)擔(dān)。能夠有效地對(duì)道路上過(guò)往車輛進(jìn)行有效地識(shí)別跟蹤顯然會(huì)有助于各類交通事件的處理，也會(huì)有助于交通設(shè)施的規(guī)劃與預(yù)防性治理。車輛外形特征單一，尤其是存在相同款式型號(hào)的現(xiàn)象，導(dǎo)致單純依靠外形圖像來(lái)對(duì)車輛進(jìn)行準(zhǔn)確的追蹤識(shí)別難度極高，因此對(duì)車牌信息的利用成為了獲得車輛“唯一碼”的必備條件。由于車牌號(hào)碼具有唯一性，在一些簡(jiǎn)單場(chǎng)景如卡口相機(jī)拍攝條件下，單用車牌識(shí)別即可完成對(duì)車輛的識(shí)別追蹤，比如在收費(fèi)站常用卡口相機(jī)拍攝車牌以實(shí)現(xiàn)車輛的識(shí)別管理。本項(xiàng)目主要研究在開放環(huán)境下獲取的車輛視頻圖像完成對(duì)車牌的定位及車牌號(hào)的字符分割工作，以作為感興趣的同學(xué)或軟件開發(fā)工程師提供學(xué)習(xí)與參考的資料。背景與挖掘目標(biāo)1.

項(xiàng)目背景了解車牌檢測(cè)的背景、數(shù)據(jù)和目標(biāo)熟悉車牌檢測(cè)的整體流程掌握使用RGB轉(zhuǎn)HSV、HSV閾值法和形態(tài)學(xué)方法獲得車牌圖像粗略定位方法掌握使用霍夫變換、形態(tài)學(xué)方法和垂直投影法獲得車牌圖像精細(xì)定位方法掌握使用垂直投影法分割車牌字符方法背景與挖掘目標(biāo)1.

目標(biāo)1項(xiàng)目需求分析目錄背景與挖掘目標(biāo)2定位車牌3車牌字符分割4結(jié)果分析5項(xiàng)目需求分析1．?dāng)?shù)據(jù)說(shuō)明

開發(fā)場(chǎng)景中的車牌圖像數(shù)據(jù)來(lái)自于手機(jī)或其他移動(dòng)設(shè)備，由于拍攝遠(yuǎn)近不同及拍攝角度差異，使得不同車牌圖像數(shù)據(jù)中的車牌區(qū)域在圖像中所占比例相比卡口相機(jī)拍攝差異較大，同時(shí)也具有相對(duì)較為復(fù)雜的光線條件及背景如圖1所示，因此在車牌檢測(cè)過(guò)程中對(duì)技術(shù)要求相對(duì)更高。從圖2中的車牌特寫圖像可看出，本項(xiàng)目中所需檢測(cè)的車牌圖像在大小及拍攝視角上存在著差異性，車牌圖像并非相對(duì)規(guī)則的矩形，因此在進(jìn)行字符分割前需要對(duì)車牌圖像進(jìn)行幾何變換。

開放場(chǎng)景中車輛圖像及車牌特寫卡口相機(jī)所采集的車輛圖像及車牌項(xiàng)目需求分析2．項(xiàng)目目標(biāo)本項(xiàng)目以開放環(huán)境中的車牌圖像為研究對(duì)象，主要利用形態(tài)學(xué)圖像處理、霍夫變換及垂直投影等算法來(lái)實(shí)現(xiàn)以下目標(biāo)。

通過(guò)車牌粗略定位得到無(wú)背景干擾的車牌圖像獲取矯正后且去除車牌邊框的車牌圖像對(duì)車牌圖像進(jìn)行分割，得到單個(gè)的車牌字符圖像，便于進(jìn)一步進(jìn)行車牌識(shí)別項(xiàng)目需求分析3．車牌檢測(cè)流程受限于攝像頭成像機(jī)理，開放環(huán)境中所采集的車牌圖像經(jīng)常會(huì)存在一定程度的畸變，畸變后的車牌圖像會(huì)干擾車牌圖像字符的分割，因此在開放環(huán)境車牌檢測(cè)任務(wù)中須先對(duì)車牌圖像進(jìn)行矯正。車牌檢測(cè)的流程圖如圖所示：車牌檢測(cè)的流程圖1分析方法與過(guò)程目錄背景與挖掘目標(biāo)2定位車牌3車牌字符分割4結(jié)果分析5車牌定位是車牌檢測(cè)的首要步驟，在車牌檢測(cè)工作中具有重要作用。車牌定位效果的好壞會(huì)直接影響后續(xù)的分割工作。在傳統(tǒng)機(jī)器學(xué)習(xí)領(lǐng)域常用的車牌定位方法主要包括基于邊緣定位法，基于形態(tài)學(xué)定位法，基于紋理特征定位法及基于顏色劃分定位法等。在實(shí)際應(yīng)用中，由于環(huán)境背景的復(fù)雜性僅依靠一種方法來(lái)對(duì)車牌定位具有一定局限性，往往需要在多種定位方法協(xié)同作用下來(lái)實(shí)現(xiàn)對(duì)車牌的定位。本章的車牌定位包括車牌粗略定位與車牌精細(xì)定位兩個(gè)步驟。車牌粗略定位：輸入為壓縮到一定尺寸的原始圖像，輸出為出壓縮圖像中切割出的粗略定位車牌框圖像車牌精細(xì)定位：輸入為粗略定位車牌框圖像，輸出則為經(jīng)過(guò)矯正且去除邊框后車牌圖像定位車牌定位車牌1．車牌粗略定位通過(guò)車牌粗略定位可獲得無(wú)背景干擾且?guī)в熊嚺瓶虻能嚺茍D像，而車牌框線可用于霍夫變換來(lái)對(duì)車牌進(jìn)行矯正，以獲得矩形形狀的車牌圖像，便于后期對(duì)車牌中的字符進(jìn)行分割。車牌粗略定位主要包括:RGB圖像轉(zhuǎn)HSV使用HSV閾值法篩選車牌像素使用形態(tài)學(xué)圖像處理獲得車牌圖像定位車牌RGB圖像轉(zhuǎn)HSV常見到的圖像大多為RGB格式，HSV則是一種將RGB色彩空間的點(diǎn)映射至倒圓錐體中表示的形式，HSV顏色空間在第2章中已介紹過(guò)。通常認(rèn)為基于HSV顏色空間閾值法分割圖像像素點(diǎn)可以降低光線等因素的影響，因此在本項(xiàng)目根據(jù)顏色來(lái)提取車牌像素時(shí)先將RGB圖像轉(zhuǎn)為HSV圖像。

RGB（右）轉(zhuǎn)HSV（左）后的效果圖定位車牌使用HSV閾值法篩選車牌像素以藍(lán)色車牌檢測(cè)為例子，預(yù)先給出HSV顏色空間中各分量藍(lán)色的范圍作為閾值，利用獲得滿足閾值條件像素點(diǎn)的mask，使用OpenCV庫(kù)中的inRange函數(shù)可完成某一顏色空間像素點(diǎn)的獲取，inRange函數(shù)的語(yǔ)法格式如下。參數(shù)名稱說(shuō)明src接收Mat類型。表示輸圖像。無(wú)默認(rèn)值lowerb接收數(shù)組類型或標(biāo)量類型。表示閾值下邊界，無(wú)默認(rèn)值upperb接收數(shù)組類型或標(biāo)量類型。表示閾值上邊界，無(wú)默認(rèn)值cv.inRange(src,lowerb,upperb[,dst])定位車牌使用HSV閾值法篩選車牌像素HSV篩選掩模mask（左）、mask跟RGB圖與運(yùn)算（中）及mask與HSV圖與運(yùn)算（右）結(jié)果定位車牌使用形態(tài)學(xué)圖像處理獲得車牌圖像經(jīng)過(guò)上步閾值法獲取得到車牌的侯選像素點(diǎn)，這些像素點(diǎn)是以二維掩模mask數(shù)組的形式給出，對(duì)車牌mask進(jìn)行形態(tài)學(xué)處理即可獲得粗略定位車牌圖像。處理過(guò)程中用到的形態(tài)學(xué)方法包括腐蝕、閉操作及開操作。由于光照問(wèn)題和車牌本身字體顏色不為藍(lán)色，利用閾值法獲取到的車牌框像素點(diǎn)并不是完整的區(qū)塊，膨脹操作可以在一定程度上填補(bǔ)車牌圖像上的空隙，閉操作可進(jìn)一步填補(bǔ)空隙，而開操作可以去除一些噪音。定位車牌使用形態(tài)學(xué)圖像處理獲得車牌圖像

erode函數(shù)及morphologyEx函數(shù)對(duì)mask做形態(tài)學(xué)圖像處理結(jié)果定位車牌1．車牌粗略定位車牌粗略定位主要包括RGB圖像轉(zhuǎn)HSV、使用HSV閾值法篩選車牌像素和使用形態(tài)學(xué)圖像處理獲得車牌圖像。車牌圖像裁切HSV色域變換HSV閾值法像素篩選

形態(tài)學(xué)圖像處理

車牌粗定位處理過(guò)程圖定位車牌2.車牌精細(xì)定位車牌精細(xì)定位目的有二個(gè)：一是對(duì)車牌圖像進(jìn)行矯正，消除車牌圖像的畸變得到標(biāo)準(zhǔn)的車牌圖像；二是去除車牌框和車牌圖像中含有的少量背景圖像。車牌精細(xì)定位的過(guò)程包括通過(guò)霍夫變換來(lái)實(shí)現(xiàn)車牌圖像的矩形矯正，使用水平及豎直方向的垂直投影法除去車牌圖像上下及左右的邊框。使用霍夫變換對(duì)車牌圖像傾斜矯正形態(tài)學(xué)圖像處理法精細(xì)定位車牌垂直投影法去除車牌邊框定位車牌使用霍夫變換對(duì)車牌圖像傾斜矯正采集開放環(huán)境中車牌圖像時(shí)，由于拍攝視角及拍攝距離多樣化，獲得的車牌圖像呈不同程度的傾斜狀，因此需要對(duì)車牌圖像做傾斜矯正?；舴蜃儞Q是數(shù)字圖像處理領(lǐng)域用于圖像幾何形狀檢測(cè)的一種經(jīng)典的基礎(chǔ)算法，被廣泛用于直線的檢測(cè)。利用檢測(cè)出直線的傾斜角對(duì)車牌進(jìn)行傾斜矯正。粗定位車牌圖像霍夫變換后車牌圖像

車牌霍夫變換定位車牌形態(tài)學(xué)圖像處理法精細(xì)定位車牌精細(xì)定位車牌過(guò)程跟粗略定位車牌過(guò)程類似，首先將RGB圖轉(zhuǎn)為HSV圖像用于提取藍(lán)色像素mask，在形態(tài)學(xué)方法處理mask時(shí)引入Canny算子檢測(cè)對(duì)車牌框進(jìn)行邊緣檢測(cè)以獲得車牌字符的輪廓，再對(duì)這些輪廓進(jìn)行閉操作獲得字符輪廓構(gòu)成的連通域作為車牌區(qū)域。霍夫變換后帶黑邊車牌圖像形態(tài)學(xué)處理后精定位車牌圖像

車牌霍夫變換后車牌精定位結(jié)果定位車牌垂直投影法去除車牌邊框車牌邊框的存在會(huì)影響垂直投影法分割車牌字符的效果，車牌上下邊框的存在會(huì)導(dǎo)致字符分割時(shí)分割點(diǎn)選取位置受到干擾，車牌左右邊框的存在則會(huì)影響字符分割后，車牌最左側(cè)及最右側(cè)兩個(gè)字符的識(shí)別，因此需要在車牌字符分割前將車牌圖像中的上下及左右車牌邊框去除。首先將RGB車牌轉(zhuǎn)為灰度圖，進(jìn)而利用閾值法將其為二值化圖像，最后使用垂直投影法去除車牌框。水平方向垂直投影結(jié)果圖

車牌水平方向垂直投影去水平邊框

定位車牌垂直投影法去除車牌邊框豎直方向垂直投影去除水平方向邊框車牌圖去除水平、豎直方向邊框車牌圖根據(jù)車牌框在車牌圖像中的相對(duì)位置利用垂直投影法分別去除車牌的上下及左右邊框，得到的二值化車牌圖像在水平方向垂直投影圖像，利用豎直方向垂直投影、去除上下邊框及左右邊框后得到去掉車牌框圖像。豎直方向垂直投影去除豎直方向車牌框

定位車牌2．車牌精細(xì)定位車牌精細(xì)定位目的有二個(gè)：一是對(duì)車牌圖像進(jìn)行矯正，消除車牌圖像的畸變得到標(biāo)準(zhǔn)的車牌圖像；二是去除車牌框和車牌圖像中含有的少量背景圖像。車牌精細(xì)定位的過(guò)程包括通過(guò)霍夫變換來(lái)實(shí)現(xiàn)車牌圖像的矩形矯正，使用水平及豎直方向的垂直投影法除去車牌圖像上下及左右的邊框。粗定位車牌圖像霍夫變換車牌圖像精定位車牌圖像車牌精定位過(guò)程

1分析方法與過(guò)程目錄背景與挖掘目標(biāo)2定位車牌3車牌字符分割4結(jié)果分析5車牌字符分割經(jīng)過(guò)粗略定位、精細(xì)定位并去除車牌框后得到了理想的車牌圖像用于車牌字符分割。與分割車牌框的思路一樣，也使用垂直投影法實(shí)現(xiàn)車牌字符的分割?？紤]到車牌中字符連接符僅為一個(gè)小點(diǎn)，且在垂直投影法字符分割中可忽略不計(jì)，因此不再單獨(dú)去除字符連接符。一個(gè)典型的車牌框及各字符在車牌框上相對(duì)位置如下圖所示。

車牌框及各字符在車牌框上相對(duì)位置圖車牌字符分割除去一些特例，通常車牌中的字符個(gè)數(shù)為7且字符在車牌中的相對(duì)位置是固定的，即各個(gè)車牌字符間的最佳分割位置在車牌中的相對(duì)位置也固定，考慮到拍攝角度及車牌定位偏差，因此在最佳相對(duì)分割位置上加上允許誤差既可得到有效分割位置范圍。在這種思路下，可在包涵7個(gè)車牌字符的車牌圖像上確定6個(gè)車牌分割范圍，將這些范圍區(qū)間與經(jīng)篩選后的垂直投影位置結(jié)果集合做與運(yùn)算來(lái)確定車牌分割位置。去除水平、豎直方向邊框車牌圖車牌字符垂直投影圖車牌圖分割結(jié)果圖車牌字符分割過(guò)程

1分析方法與過(guò)程目錄背景與挖掘目標(biāo)2定位車牌3車牌字符分割4結(jié)果分析5結(jié)果分析通過(guò)使用HSV顏色閾值法，形態(tài)學(xué)圖像處理及霍夫變換等技術(shù)實(shí)現(xiàn)了對(duì)車牌字符的有效分割，在試驗(yàn)的20張圖像中，除光線異常，車牌相似背景干擾或車牌字符過(guò)于模糊的情況外，多數(shù)車牌能夠有效地定位及字符分割，且分割出的字符可被直接應(yīng)用于下一步的字符識(shí)別。該案例中涉及到一些需要手動(dòng)調(diào)參的算法，如膨脹、腐蝕及開閉運(yùn)算等，這些參數(shù)的選擇跟車牌圖像的像素個(gè)數(shù)及長(zhǎng)寬比均有一定的關(guān)系，對(duì)這些參數(shù)選擇策略的優(yōu)化可進(jìn)一步提升車牌圖像的定位精度。本章根據(jù)現(xiàn)有的數(shù)據(jù)集以