摘 要：針對復(fù)雜道路背景中車牌檢測精度低的問題，提出一種基于深度學(xué)習(xí)的車牌檢測方法。該方法首先采用快速的基于區(qū)域卷積網(wǎng)絡(luò)方法(Faster R-CNN)在圖像中檢測出車輛區(qū)域，然后對每個(gè)車輛區(qū)域采用分層抽樣方法獲取該車輛區(qū)域中的車牌候選區(qū)域，最后采用訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)過濾非平板候選項(xiàng)，定位車牌區(qū)域位置。這種基于車輛區(qū)域檢測的方法為車牌檢測提供尺度信息，限制搜索范圍，使車牌檢測更加可靠。文章利用Caltech和AOLP圖像數(shù)據(jù)集進(jìn)行評估算法的性能，實(shí)驗(yàn)表明，這種方法在準(zhǔn)確率、召回率、F-score性能方法都高于其他算法，可以應(yīng)用于不同場合下的車牌檢測問題。

　　關(guān)鍵詞：車牌檢測;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);條件約束

　　1 引言

　　隨著現(xiàn)代城市對智能交通方面的需求，車牌檢測在車流監(jiān)控、交通管理等許多實(shí)際領(lǐng)域中的應(yīng)用越來越廣泛，研究人員幾十年來提出了多種車牌檢測方法[1，2]?，F(xiàn)有的許多算法在簡單的場景中性能表現(xiàn)良好，但是在開放、復(fù)雜的工作環(huán)境中，因?yàn)榈缆穲鼍皥D像受到拍攝條件(扭曲、模糊、光照、遮擋等)的影響和圖像中背景雜波(如植物、建筑、行人、道路指示牌等)的干擾，加上車牌區(qū)域面積在整個(gè)圖像中占比相對較小，使得車牌檢測仍是一個(gè)難題。

　　傳統(tǒng)的車牌檢測方法大致可分為邊緣檢測、顏色檢測、區(qū)域檢測和字符檢測四大類。首先，基于邊緣的方法[3，4]是利用車牌字符的重復(fù)垂直邊緣模式。這種方法可以有效地檢測到車牌位置，但對背景雜波和圖像模糊敏感，容易受到干擾導(dǎo)致精確度降低。其次，基于顏色的方法是將給定的圖像分割成顏色均勻的區(qū)域，利用車牌的幾何特性選取其中的車牌區(qū)域。該方法對視角畸變具有較強(qiáng)的魯棒性，但對光照變化特別敏感。第三，基于區(qū)域的方法通過提取紋理特征，對候選區(qū)域進(jìn)行分類。該方法可以處理許多道路場景的車牌檢測問題。最后，基于字符的方法是利用字符檢測器檢測車牌區(qū)域。由于近年來機(jī)器學(xué)習(xí)(例如CNNs)的發(fā)展，該方法表現(xiàn)出良好的性能，但由于道路場景圖像中人員、字符較多，仍存在誤報(bào)問題。

　　2 車牌檢測方法

　　車牌檢測就是在一張圖像中利用合適的矩形框定位出圖像內(nèi)所有的車牌位置。因此，本文提出的車牌檢測方法可以分解成三步：首先對輸入圖像進(jìn)行車輛檢測，其次利用分層抽樣方法獲取車牌候選區(qū)，最后過濾非平板候選項(xiàng)，定位車牌位置。本文提出的車牌檢測方法流程圖如圖1所示。圖1a表示輸入圖像，1b和1c是檢測車輛區(qū)域，排除背景雜波信息干擾，1d是在車輛區(qū)域內(nèi)進(jìn)行車牌搜索、檢測和定位。

　　2.1 車牌區(qū)域檢測

　　為了生成候選區(qū)域，本文采用了分層抽樣的方法，通過采用貪婪匹配融合程序，獲取一個(gè)全局區(qū)域。分層抽樣是一個(gè)對總體進(jìn)行抽樣的方法，首先將總體按照某種特征劃分為若干次級總體(層)，然后再從每一層內(nèi)對次級總體進(jìn)行單純地隨機(jī)抽樣，組成新的樣本。分層抽樣可以將一個(gè)內(nèi)部變異很大的層分成一些內(nèi)部變異較小的層，從而提高總體指標(biāo)估計(jì)值的精確度。

　　車牌區(qū)域檢測首先使用基于圖形的分割方法生成初始區(qū)域，采用貪心算法對區(qū)域進(jìn)行迭代分組：利用基于顏色、紋理、大小和填充(合并區(qū)域形狀的特征)等特征計(jì)算所有相鄰區(qū)域之間的相似度，將兩個(gè)最相似的區(qū)域組合在一起;然后計(jì)算得到的區(qū)域與其他相鄰區(qū)域之間的新相似度;最后將相似區(qū)域分組合并的過程重復(fù)進(jìn)行，直到整個(gè)圖像變成一個(gè)單獨(dú)的區(qū)域。具體算法如下所示。

　　1)輸入圖像;

　　2)利用圖像分割算法生成初始區(qū)域，初始化相似度S=0;

　　3)選擇相鄰區(qū)域?qū)?，?jì)算兩者的相似度，;

　　4)若，令，合并相鄰區(qū)域?qū)?，去除關(guān)于和的相似度：和;

　　5)迭代第三步和第四步，直到S=0;

　　6)從R中的所有區(qū)域中提取車牌位置框L。

　　由于綜合考慮了區(qū)域之間的差異性和區(qū)域內(nèi)部的相似度問題，并且采用聚類方式對圖形中的頂點(diǎn)進(jìn)行分割，因此可以獲取邊界保持良好的車牌候選區(qū)域：

　　其中，表示第i個(gè)區(qū)域的邊界框，N為候選區(qū)域的個(gè)數(shù)。在合并過程后出現(xiàn)的區(qū)域均可認(rèn)為是候選區(qū)域，如圖2所示。

　　2.2 車牌分類

　　給定一個(gè)車輛區(qū)域和R(該區(qū)域中的一組候選區(qū)域)，利用該車輛區(qū)域的尺度信息可以有效地去除誤報(bào)現(xiàn)象。假定車輛區(qū)域的寬度和高度分別為和，考慮到車牌的相對大小和寬高比尺寸，本文施加兩個(gè)約束，對不滿足約束條件的車牌候選區(qū)域進(jìn)行過濾：

　　經(jīng)過預(yù)過濾后，獲取了可能被認(rèn)為是車牌的各種邊界框。為了從多個(gè)邊界框中判斷車牌位置，本文應(yīng)用一個(gè)基于CNN的分類器來過濾剩余的非板塊候選。本文采用的CNN模型為TensorFlow框架，TensorFlow框架包含用于特征提取的兩個(gè)卷積層和兩個(gè)全連接層，模型配置如表1所示。

　　由于每個(gè)車輛區(qū)域中至多存在一個(gè)車牌，因此本文選取該區(qū)域內(nèi)響應(yīng)最大的一個(gè)候選區(qū)域作為車牌，當(dāng)存在車輛誤檢或車牌遮擋情況時(shí)，通過設(shè)置閾值M降低錯(cuò)誤率。如果響應(yīng)值滿足M>0.8，分類器將給出檢測過程最終結(jié)果，定位出車牌位置。

　　3 實(shí)驗(yàn)結(jié)果與分析

　　采用Caltech數(shù)據(jù)集(1999)和AOLP數(shù)據(jù)集兩個(gè)數(shù)據(jù)集對本文提出的方法進(jìn)行性能評估，并與其他方法進(jìn)行比較。Caltech數(shù)據(jù)集(1999)包括126個(gè)圖像集，分辨率為896×592，數(shù)據(jù)集部分圖像如圖1和圖2所示，由于背景雜亂、車牌顏色不同、車輛遮擋、各種拍攝環(huán)境(如光照變化、失焦模糊等)等原因，該數(shù)據(jù)集中的許多圖像對車牌檢測算法都具有很大的挑戰(zhàn)性。

　　從精確度(Precision)、召回率(Recall)和F-score三項(xiàng)指標(biāo)對本文提出的車牌檢測方法進(jìn)行評估，其中F-score定義：

　　推薦閱讀：圖像增強(qiáng)方向論文投稿期刊