1、一種應(yīng)用于電視機(jī)圖像處理的膚色增強(qiáng)算法的設(shè)計與實現(xiàn)學(xué)生姓名 蔡圣豪 學(xué) 號 1121470 指導(dǎo)教師 向偉 學(xué) 院 機(jī)電學(xué)院專 業(yè) 電子科學(xué)與技術(shù)摘要圖像處理就是數(shù)字圖像處理，數(shù)字化后的圖像可以堪稱是存儲起來的有序數(shù)據(jù)，可以通過對數(shù)字圖像進(jìn)行處理。我們把利用計算機(jī)對圖像進(jìn)行去除、增強(qiáng)、復(fù)原等方法技術(shù)成為數(shù)字圖像處理。圖像處理技術(shù)擁有處理精度高，再現(xiàn)性好，處理的多樣性，圖像處理技術(shù)綜合性強(qiáng)等特點(diǎn)。通過圖像處理技術(shù)，可以提高圖像的視感質(zhì)量，以達(dá)到賞心悅目的；提取圖像中所包含的某些特征信息；對圖像數(shù)據(jù)進(jìn)行變換、編碼、壓縮等方法，以便圖像的存儲和運(yùn)輸，來幫助我們滿足視覺、心理或應(yīng)用上的需求。本文以一套

2、算法為核心，通過識別人臉并調(diào)整皮膚顏色的CbCr值來實現(xiàn)電視機(jī)里圖像處理使膚色增強(qiáng)。緒論電視機(jī)的發(fā)展現(xiàn)狀目前數(shù)字電視占據(jù)著市場的主要地位，所謂數(shù)字電視(Digital TV)指從電視節(jié)目采集、制作、存儲、播出到發(fā)射、傳輸、接收全部采用數(shù)字編碼與數(shù)字傳輸技術(shù)的新一代電視系統(tǒng)。由此可見，數(shù)字電視不僅僅指我們?nèi)粘Ｋ玫碾娨暀C(jī)，數(shù)字電視機(jī)只是數(shù)字電視的終端接收設(shè)備。數(shù)字電視技術(shù)與原有的模擬電視相比，有著其無法比擬的優(yōu)點(diǎn)，數(shù)字設(shè)備輸出信號穩(wěn)定可靠，易于實現(xiàn)信號的存儲，便于數(shù)字處理和計算機(jī)處理，并且可以合理地利用各種類型的頻譜資源，實現(xiàn)各種設(shè)備的自動化和多樣化操作等等。緒論膚色增強(qiáng)的影響評價數(shù)字圖像的優(yōu)劣

3、的參考依據(jù)是由人眼主觀判斷和經(jīng)驗知識作用為主導(dǎo)，并不是一個通用客觀的標(biāo)準(zhǔn)。人們在看電視時，一方面希望顯示器能夠還原自然界的真實色彩，但真實的色彩并不一定滿足人們的需求，另一方面由希望顯示的色彩符合心理的色彩喜好。特別是電視劇中人們的膚色問題，每個人對于膚色的喜好度是不同的，有的人喜歡更白一些的膚色，有些偏好稍微偏深一些的膚色，另外的則忠于原來的膚色。通過圖像中膚色檢測和增強(qiáng)，使圖像中人物的皮膚變得圓潤有光澤。另外，對圖像亮度、色度、對比度、飽和度的調(diào)整也可以使圖像的質(zhì)量更高，看起來畫面更加舒服，人們可以根據(jù)自己的喜好來調(diào)整皮膚顏色。增強(qiáng)膚色不僅可以在視覺上使人愉悅，也可以在心理上影響人們。視頻

4、信號基礎(chǔ)視頻信號制式目前世界上主流的彩色信號制式可分三種，分別為NTSC制式、PAL制式和SECAM制式。它們具有不同的編碼方式、傳送頻率和刷新速度。PAL制式是我國所采用的標(biāo)準(zhǔn)。PAL制式電視信號由圖像信號、復(fù)合同步信號、復(fù)合消隱信號構(gòu)成。復(fù)合消隱信號的作用是消除顯像管在行、場掃描逆過程中產(chǎn)生的回掃線，避免干擾圖像信號。復(fù)合同步信號分為行同步信號和場同步信號，確保接收和發(fā)送兩端掃描的同步。這三種信號復(fù)合構(gòu)成一個完整的電視信號。PAL制式中采用的掃描方式是隔行掃描，即一幀圖像分兩次掃描，得到的兩幅圖像分別稱作奇數(shù)場和偶數(shù)場。PAL制式采用了YUV的色彩空間。視頻信號基礎(chǔ) YUV和YCbCr色彩

5、空間YUV 是被歐洲電視系統(tǒng)所采用的一種顏色空間（即一種彩色編碼方法）。在現(xiàn)代彩色電視系統(tǒng)中，通常采用紅綠藍(lán)三管彩色攝影機(jī)進(jìn)行取像，然后把獲得的模擬彩色圖像信號經(jīng)分色、信號放大、校正后得到 RGB，再經(jīng)過矩陣變換電路得到亮度信號 Y 和兩個色差信號 U 和 V（U=RY、V=BY），最后將亮度 Y 和色差 U、V 三個信號分別進(jìn)行編碼，轉(zhuǎn)換成數(shù)字信號后從同一信道發(fā)送出去。視頻信號基礎(chǔ)YUV和YCbCr色彩空間YCbCr 和 RGB 是可以相互轉(zhuǎn)換的，轉(zhuǎn)換公式如下：視頻信號基礎(chǔ)ITU-R BT.656協(xié)議簡介ITU-R Recommendation BT.656 是一種簡單的數(shù)字視頻協(xié)議，用于將

6、未壓縮的PAL 或 NTSC 制式（625 行或者 525 行）的信號進(jìn)行編碼。ITU-R BT.656 協(xié)議定義了一個并行的硬件接口，用來傳送一路 4:2:2 的 YCbCr 的數(shù)字視頻流數(shù)據(jù)。視頻流數(shù)據(jù)的分辨率為 720576 像素的 d1 格式，行、場同步信號嵌入在數(shù)據(jù)流中。ITU-R BT.656 有 8 位或 10 位的數(shù)據(jù)傳輸格式，目前主要使用的是 8 位的數(shù)據(jù)傳輸格式。但是在本文設(shè)計中所采用的是10位數(shù)據(jù)傳輸格式。圖像增強(qiáng)技術(shù)數(shù)字亮度瞬態(tài)增強(qiáng)DLTI由于信號在傳輸過程中有噪聲的存在，會造成一定的損失，除了圖像中、高頻分量減弱外，還會降低圖像質(zhì)量的表現(xiàn)，例如圖像輪廓模糊、層次不清邊

7、界過度不明顯。如圖所示。圖像增強(qiáng)技術(shù)數(shù)字色度瞬態(tài)增強(qiáng)DCTI數(shù)字色度瞬態(tài)增強(qiáng)(Digital Color Transient Improvement，簡稱DCTI)就是對色差信號(Cb、Cr)進(jìn)行瞬態(tài)特性改良，使色度信號的過渡帶變窄、邊緣變陡，從而增加彩色的清晰度。DCTI的原理與DLTI一樣，所不同的只是DLTI對亮度分量進(jìn)行處理，而DCTI是對色度分量進(jìn)行處理。在YCbCr空間中，DCTI是使Cb、Cr信號的邊緣變陡。DCTI也可通過移位替代法或疊加勾邊法實現(xiàn)。圖像增強(qiáng)技術(shù)圖像邊緣銳化ES視頻信號傳輸中由于多種多樣的原因，肯定會造成不同程度的中頻和高頻信號的衰減，進(jìn)而視頻圖像的清晰度都會有

8、所降低，視頻圖像也變得比原始的圖像糊糊。而邊緣銳化的主要目的是檢測視頻圖像中的中高頻信號，并夸張突出它們，進(jìn)而使視頻圖像的細(xì)節(jié)更突出，當(dāng)然也就是使圖像更清晰。在圖像銳化這一塊所要做的主要工作就是帶通和高通濾波的構(gòu)造，以及對中頻和高頻信號的增益系數(shù)的設(shè)計，這也是算法成功與否的關(guān)鍵。圖像增強(qiáng)技術(shù)白電平擴(kuò)展WLE白電平擴(kuò)展(White1evel Expansion，簡稱WLE)與黑電平擴(kuò)展相似，不同的是它擴(kuò)展的是白電平部分。它的作用是增強(qiáng)亮度的“淺白”信號，保持黑電平不變，使“淺白”變得更白，從面提高圖像的對比度，傳輸函數(shù)如下：圖像增強(qiáng)技術(shù)膚色補(bǔ)償FTC人對人體的膚色區(qū)域比較敏感，當(dāng)色調(diào)調(diào)整對其他顏

9、色調(diào)整得效果比較好時，仍容易覺得膚色區(qū)域色彩不自然。膚色校正(Flesh Tone Correction，F(xiàn)TC)的功能便是專門針對膚色對色度信號進(jìn)一步的調(diào)整，使人體皮膚看起來更加自然。因此，膚色校正包含兩個步驟：膚色區(qū)域分割及膚色校正。研究表明，盡管不同種族、不同年齡、不同性別的人體膚色看上去不同，但是這種不同主要集中在亮度上，在去除亮度的色度空間中，不同人的膚色都集中分布在一定的范圍內(nèi)。這個區(qū)域范圍與所采用的色彩空間有關(guān)。大量研究數(shù)據(jù)表明，在YUV（YCbCr）色彩空間中當(dāng)77Cb127且133Cr173時，為膚色區(qū)間。當(dāng)確定膚色區(qū)間后，根據(jù)設(shè)定的參數(shù)，對Cb和Cr的值進(jìn)行補(bǔ)償，即可完成膚

10、色校正。圖像增強(qiáng)技術(shù)亮度、對比度調(diào)整BCA在YCbCr色彩空間中，亮度、對比度調(diào)整對亮度分量Y進(jìn)行處理。圖像的對比度是指圖像中最亮區(qū)域與最暗區(qū)域的亮度比值。對比度越高，能夠表現(xiàn)的灰度層次和色彩層次越豐富，圖像越清晰醒目，而對比度小，會讓整個畫面都灰蒙蒙的。對比度拉伸的思想是提高圖像處理時灰度級的動態(tài)范圍，常用的調(diào)整對比度的方法有冪次變換、分段線性變換、直方圖處理等。圖像增強(qiáng)技術(shù)色度、飽和度調(diào)整HAS色調(diào)和飽和度只處理色度信號，對于YCbCr信號，只針對輸入的Cb、Cr信號進(jìn)行色調(diào)和飽和度調(diào)整。色調(diào)由光的波長決定，不同波長的光代表不同的色調(diào)，它們之間也可能互相配合而產(chǎn)生新的色調(diào)。色飽和度是指顏色

11、的深淺程度。它與彩色光中所含白色的比例有關(guān)。白色的比例越多，色飽和度越低；白光的比例越小，色飽和度越高。通過分別在Cb、Cr信號上乘以一個可調(diào)的常數(shù)來控制調(diào)整色度和飽和度。FPGA設(shè)計方法層次化設(shè)計中自頂向下的結(jié)構(gòu)示意圖FPGA設(shè)計方法FPGA開發(fā)流程圖像增強(qiáng)模塊整體設(shè)計設(shè)計環(huán)境整個模塊的設(shè)計是在Altera公司的Quartus II 14.0下進(jìn)行的，模塊的仿真驗證是在Mentor公司的ModelSim SE 10.2c下進(jìn)行的。本設(shè)計選用Altera公司的Cyclone IV E系列的EP4CE10F17C8來完成參考設(shè)計。該芯片采用65nm的工藝結(jié)構(gòu)，包含10320的邏輯單元（Logic

12、 Element，LE），共256個引腳，其中用戶引腳（User I/Os）為180個，Block RAM大小為423936bit，即46個M9K資源，2個PLL鎖相環(huán)，10個全局時鐘管腳，速度等級為8。最后通過Quartus II 14.0完成邏輯的編譯和綜合以及布線布局，生成了靜態(tài)時序分析報告和系統(tǒng)整體設(shè)計報告。圖像增強(qiáng)模塊整體設(shè)計功能框圖圖像增強(qiáng)模塊整體設(shè)計輸入接口時序圖像增強(qiáng)模塊整體設(shè)計輸出接口時序膚色增強(qiáng)的FPGA實現(xiàn)電路架構(gòu)膚色增強(qiáng)的FPGA實現(xiàn)模塊框圖膚色增強(qiáng)的FPGA實現(xiàn)引腳列表信號名稱類型位寬功能描述ie_clkI1系統(tǒng)時鐘信號ie_rst_nI1系統(tǒng)復(fù)位信號ie_vsync

13、_inI1垂直同步信號輸入信號，指示幀啟始。ie_hsync_inI1水平同步信號輸入信號，指示行啟始ie_datavaild_inI1數(shù)據(jù)有效輸入信號，表明當(dāng)前輸入數(shù)據(jù)有效。ie_ftc_disI1膚色增強(qiáng)模塊使能信號，低電平有效，高電平不調(diào)整ftc_cb_adjI6調(diào)整Cb色差信號的幅度，用6bit表示，共64級ftc_cb_maxI10設(shè)定Cb色差信號的膚色范圍的最大值，用于判斷膚色區(qū)域ftc_cb_minI10設(shè)定Cb色差信號的膚色范圍的最小值，用于判斷膚色區(qū)域ftc_cr_adjI6調(diào)整Cr色差信號的幅度，用6bit表示，共64級ftc_cr_maxI10設(shè)定Cr色差信號的膚色范圍的

14、最大值，用于判斷膚色區(qū)域ftc_cr_minI10設(shè)定Cr色差信號的膚色范圍的最小值，用于判斷膚色區(qū)域ftc_cbcr_inI10CbCr信號輸入，分離Y信號后，CbCr信號交替出現(xiàn)ftc_cbcr_outO10CbCr信號輸出ie_vsync_outO1垂直同步信號輸出信號ie_hsync_outO1水平同步信號輸出信號ie_datavalid_outO1輸出數(shù)據(jù)有效信號膚色增強(qiáng)的仿真結(jié)果分析激勵信號信號名稱激勵ie_clk50Hz時鐘信號，周期為20nsie_rst_n復(fù)位信號，初始值為0，執(zhí)行復(fù)位，延遲200ns復(fù)位撤銷ie_vsync_in周期信號，由兩個計數(shù)器控制，間隔出現(xiàn)一個時鐘的

15、高電平ie_hsync_in周期信號，由一個計數(shù)器控制，每512個時鐘周期出現(xiàn)一個時鐘的高電平ie_datavaild_in數(shù)據(jù)輸入有效信號，行同步信號有效后，拉高并持續(xù)500個周期后拉低，等待下一個行同步有效信號ie_ftc_dis膚色增強(qiáng)使能，初始值為1，即不進(jìn)行膚色增強(qiáng)運(yùn)算，延遲20us后拉低，使能膚色增強(qiáng)ftc_cb_adjCb調(diào)整設(shè)置為5ftc_cb_max確定膚色范圍的Cb最大值為127ftc_cb_min確定膚色范圍的Cb最小值為77ftc_cr_adjCr調(diào)整設(shè)置為11ftc_cr_max確定膚色范圍的Cr最大值為173ftc_cr_min確定膚色范圍的Cr最小值為133ftc

16、_cbcr_in間隔輸入CbCr的值，Cb的初始值為0，并且按1遞增，Cr的初始值為55，并且按1遞增。仿真結(jié)果分析仿真結(jié)果圖仿真結(jié)果分析可以看出，ie_hsync_in周期出現(xiàn)，ie_ftc_dic在延遲一段時間后拉低，Count2為行計數(shù)器，設(shè)定的ftc_cb_adj為5，ftc_cb_max為127， ftc_cb_min為77，ftc_cr_adj為11，ftc_cr_max為173，ftc_cr_min為133。仿真結(jié)果分析仿真結(jié)果圖仿真結(jié)果分析當(dāng)輸入的Cb和Cr的值滿足膚色范圍時，但ie_ftc_dis為高電平，即膚色增強(qiáng)模塊未使能，ftc_cbcr_out和ftc_cbcr_in相同，ftc_cbcr_out在ftc_cbcr_in輸入5個時鐘周期后輸出，如上圖兩根黃線所示，105和160在延遲5個周期后輸出。仿真結(jié)果分析仿真結(jié)果圖仿真結(jié)果分析可知，當(dāng)ie_ftc_dis低電平時，膚色增強(qiáng)使能，在上圖兩根黃線位置處，根據(jù)ftc_cbcr_in可知Cb值為90，Cr值為145，判斷在膚色范圍內(nèi)，所以延遲5個時鐘周期后ftc_cbcr_out輸出為95、156，即Cb為95=90+5，Cr為156=145+11。報告分析綜合報告分析報告分析膚色增強(qiáng)模塊