[17]。經(jīng)研究發(fā)現(xiàn)，使用仿射變換和平面透視變換的塊匹配比最大領(lǐng)域塊匹配算法下的圖像塊的匹配誤差更低，對于高頻信息的預(yù)測更加準(zhǔn)確，一般情況下，圖像塊的幾何變換可高達(dá)8個維度（即投影變換）。評估圖像塊幾何變換的方法，一般用檢索除了平移以外的附加圖像空間，然而投射變換僅僅只是依照仿射變換進(jìn)行縮放。因此仿射變換在人為制造的圖像（如樓房建筑）和結(jié)構(gòu)化場景（如規(guī)則的草坪）中的形態(tài)變化效果較差。該算法需要盡可能的估算所有重疊目標(biāo)圖像塊上多個不同維度的最近鄰域匹配。與一般的匹配方法相比，由平面難以檢索導(dǎo)致本方法解空間，于是優(yōu)化了塊匹配算法。為了彌補(bǔ)外部數(shù)據(jù)庫對重建圖像的誘導(dǎo)影響問題，采用輸入圖像本身生成具有強(qiáng)相似性對的圖像塊對進(jìn)行訓(xùn)練找到高、低分辨率之間的關(guān)系模型。簡而言之，外部數(shù)據(jù)庫匹配的高分辨率圖像塊不一定適合重建，本章采用自身生成圖像塊對。讓低分辨率圖像I經(jīng)歷退化模型，以獲得其n層的下采樣層，該部分這里設(shè)置n為6。為了通俗易懂地描述匹配算法，這里只用2層結(jié)構(gòu)來表述，假設(shè)下采樣的兩層分別為。使用I，，獲得高分辨率圖像的算法由以下過程組成：1）計算目標(biāo)圖像塊P的變換矩陣T（單應(yīng)矩陣），并采用措施縮減P，對其進(jìn)行下采樣操作從而得到圖像中的相應(yīng)匹配圖像塊（原圖像塊）。2）隨后，算法從圖像I中提取，這是原圖像塊相對應(yīng)的HR版本。3）采用變換矩陣T的逆矩陣來“逆轉(zhuǎn)換”高分辨率圖像塊，以獲得自我估計的值，這是算法估計的目標(biāo)圖像塊P的HR版本。4）對所有目標(biāo)圖像塊重復(fù)上述步驟以獲得高分辨率圖像的圖像塊。生成高分辨率圖像可能產(chǎn)生大量噪聲，于是這里采用圖像塊之間的組稀疏來進(jìn)一步完善，增強(qiáng)抗噪性。組稀疏方法使用所有的高、低分辨率圖像塊對學(xué)習(xí)一個有組稀疏性的字典，以便清楚不同分辨率圖像塊之間的關(guān)系。訓(xùn)練組稀疏字典首先要形成向量基而不是直接使用像素值，畢竟要用特征向量進(jìn)行訓(xùn)練，在圖像塊中提取向量基。對低分辨率圖像塊進(jìn)行提取一階梯度以及二階梯度作為特征，由此得到一個級聯(lián)特征向量。針對高、低分辨率圖像塊特征的尺度差異，分別對二者進(jìn)行獨(dú)立歸一化，使其成為單一向量，以達(dá)到均衡其矩陣尺寸的目的。為了方便基于組稀疏性約束的字典學(xué)習(xí)，算法首先對多個層次的特征向量進(jìn)行單位模向量歸一化。由于特征向量的設(shè)定是任意的，所以有可能所有的特征向量可能都為零，而一般為零的特征向量則會被舍棄。緊接著發(fā)現(xiàn)傳統(tǒng)稀疏學(xué)習(xí)沒法很好的結(jié)合結(jié)構(gòu)特征，然后通過K均值聚類法。聚類法是一種根據(jù)數(shù)據(jù)間的相似性特點(diǎn)對數(shù)據(jù)進(jìn)行不同程度的劃分的經(jīng)典算法。該方法的基本思路是首先隨機(jī)選擇K個集聚中心，根據(jù)計算樣本與各中心之間的間距，從而獲得不同的K個簇，從而獲取新的集聚中心（直至簇不再發(fā)生變化或達(dá)到最大迭代次數(shù)停止迭代）的方式結(jié)構(gòu)特征以分組的形式具有了強(qiáng)相似性。另外形變塊特征也能很好的融入，產(chǎn)生了結(jié)構(gòu)化。另外，在進(jìn)行分組聚類時選取低分辨率圖像塊的梯度特征作為特征向量，用給定的高、低分辨率塊組合字典D，計算組稀疏系數(shù)REF_Ref163661566\r\h[18]。利用K-SVD算法對字典D進(jìn)行更新，并利用該特征向量來生成輸出較高的高分辨率圖像。圖3.6算法流程圖

第4章實驗結(jié)果與分析4.1彩色圖像的處理彩色三要素為亮度、色調(diào)和飽和度，由于人眼對于亮度的敏感度高于顏色細(xì)節(jié)的敏感度。在處理彩色圖像的時候，通常對其進(jìn)行空間變化，將其從RGB變換到Y(jié)IQ，從而促使亮度信息與色度信息分離開來。這里，Y表示圖像的灰度，亦稱為色彩的明視度，也就是亮度分量；I是人眼敏感的色彩信號，Q是不敏感的色彩色差信號。傳統(tǒng)的超分辨率重建算法主要針對亮度分量Y處理，而對于IQ分量通常采用簡單、快捷的插值法獲得。4.2圖像特征的提取通常要對圖像進(jìn)行特征提取操作，特征存在差異性對應(yīng)超分辨率的重建的效果也是同樣存在差異。有的直接使用圖像塊自身的灰度信息或者減去特征圖像的均值，或者是對特征圖像做變換處理。本文對于分辨率不同的圖像，提取及處理方式也存在差異。在對高分辨率的圖像進(jìn)行處理時需要消除其中的低頻信成分，提高信號的信噪比與清晰度。反之，則對低分辨率目標(biāo)提取圖像的一階梯度與二階梯度。4.3實驗結(jié)果對比創(chuàng)建一個包含現(xiàn)實世界結(jié)構(gòu)圖像的數(shù)據(jù)集Urban100和BSD100，對此評估2x，3x及4x的超分辨率因子，顯示了每種方法的兩個定量評估指標(biāo)：PSNR和SSIM。如下表：表4.1數(shù)據(jù)集定量結(jié)果我們比較了以下最先進(jìn)的單圖像超分辨率算法對來自Urban100數(shù)據(jù)集的樣本比較。下面顯示了SR因子4X的結(jié)果，并將本文的方法與ScSR、Kim、SRCNN、A+、Sub-band、Glasner、Bicubic和Scale進(jìn)行了比較，如圖4.1—圖4.5。Glasner(22.67,0.6387)Sub-band(22.95,0.6739)A+(23.25,0.6963)SRCNN(23.22,0.6868)Kim(23.06,0.6817)ScSR(22.98,0.6774)Ours(23.81,0.7189)Bicubicinterpolation(22.13,0.6236)HR(PSNRGlasner(22.67,0.6387)Sub-band(22.95,0.6739)A+(23.25,0.6963)SRCNN(23.22,0.6868)Kim(23.06,0.6817)ScSR(22.98,0.6774)Ours(23.81,0.7189)Bicubicinterpolation(22.13,0.6236)HR(PSNR,SSIM)圖4.SEQ圖4-\*ARABIC1Glasner(29.60,0.8493)Sub-band(29.60,0.8448)A+(29.64,0.8424)SRCNN(29.55,0.8342)Kim(29.45,0.8387)ScSR(29.29,0.8311)Ours(30.83,0.3711)Bicubicinterpolation(28.41,0.8099)HR(PSNR,Glasner(29.60,0.8493)Sub-band(29.60,0.8448)A+(29.64,0.8424)SRCNN(29.55,0.8342)Kim(29.45,0.8387)ScSR(29.29,0.8311)Ours(30.83,0.3711)Bicubicinterpolation(28.41,0.8099)HR(PSNR,SSIM)圖4.SEQ圖4-\*ARABIC2Glasner(25.38,0.7811)Sub-band(26.13,0.7981)A+(26.59,0.8021)SRCNN(26.16,0.7798)Kim(26.34,0.7912)ScSR(25.99,0.7798)Ours(26.85,0.8137)Bicubicinterpolation(24.67,0.7229)HR(PSNR,SSIM)Glasner(25.38,0.7811)Sub-band(26.13,0.7981)A+(26.59,0.8021)SRCNN(26.16,0.7798)Kim(26.34,0.7912)ScSR(25.99,0.7798)Ours(26.85,0.8137)Bicubicinterpolation(24.67,0.7229)HR(PSNR,SSIM)圖4.SEQ圖4-\*ARABIC3ScSR(28.81,0.7891)Kim(29.02,0.7933)SRCNN(29.13,0.7996Glasner(25.83,0.6969)Sub-band(27.89,0.7719)A+(29.67,0.8079)Ours(29.80,0.8201)Bicubicinterpolation(26.90,0.7237)HR(PSNR,SSIM)ScSR(28.81,0.7891)Kim(29.02,0.7933)SRCNN(29.13,0.7996Glasner(25.83,0.6969)Sub-band(27.89,0.7719)A+(29.67,0.8079)Ours(29.80,0.8201)Bicubicinterpolation(26.90,0.7237)HR(PSNR,SSIM)圖4.SEQ圖4-\*ARABIC4Glasner(23.24,0.6540)Sub-band(23.66,0.6902)A+(23.67,0.6881)SRCNN(23.57,0.6741)Kim(23.51,0.6749)ScSR(23.47,0.6725)Ours(23.76,0.6931)Bicubicinterpolation(22.88,0.6289)HR(PSNR,Glasner(23.24,0.6540)Sub-band(23.66,0.6902)A+(23.67,0.6881)SRCNN(23.57,0.6741)Kim(23.51,0.6749)ScSR(23.47,0.6725)Ours(23.76,0.6931)Bicubicinterpolation(22.88,0.6289)HR(PSNR,SSIM)圖4.SEQ圖4-\*ARABIC5最佳性能由紅色數(shù)字顯示，次佳性能通過藍(lán)色數(shù)字表示。與其他方法相比，我們的算法能夠更好地利用城市場景中存在的規(guī)律性，產(chǎn)生更清晰的邊緣。我們的算法為該數(shù)據(jù)集產(chǎn)生了最好的定量結(jié)果，比第二好的方法(A+)好0.2-0.3dB。PSNR比最近提出的SRCNN好0.4-0.5dB。我們能夠在沒有任何訓(xùn)練數(shù)據(jù)庫的情況下實現(xiàn)這些結(jié)果，即能夠通過擴(kuò)展的內(nèi)部搜索空間提取更好的內(nèi)部統(tǒng)計信息。

第5章總結(jié)與展望5.1全文總結(jié)在不需改變硬件的條件下，利用數(shù)字圖像處理的方法來改善圖像分辨率以及其細(xì)節(jié)信息是一種非常有效的方式。本文對于大部分算法過于依賴外部數(shù)據(jù)庫，僅僅利用相同尺度圖像塊之間的關(guān)系提取先驗信息，在特征提取能力不足，圖像自身訓(xùn)練樣本不足，字典學(xué)習(xí)時間復(fù)雜度過高，噪聲抵御能力差等情況下，提出利用圖像間的結(jié)構(gòu)自相似性的進(jìn)行重建。該方法巧妙地通過圖像本身豐富的紋理與結(jié)構(gòu)信息，并通過數(shù)據(jù)庫整合得到的高頻信息來提高重建圖像的效率。學(xué)習(xí)法中以低分辨率圖像的自身樣本取代在自適應(yīng)學(xué)習(xí)中利用金字塔分解得到的樣本，以此達(dá)到擴(kuò)增自相似輔助信息的目的。在重建中，以金字塔的最上層圖像作為初始估值，將圖像的整體結(jié)構(gòu)自相似性作為正則化約束項，約束并優(yōu)化重建圖像，保存重建圖像邊緣的精確性，提高了重建效果。雖然用多尺度方法提取結(jié)構(gòu)自相似性是能夠提供足夠的訓(xùn)練樣本，但當(dāng)待重建圖片分辨率過低時重建效果就不夠明顯了。針對這個問題，文章從另一個角度考慮，用形變塊的方式對訓(xùn)練樣本進(jìn)行了擴(kuò)展。經(jīng)試驗發(fā)現(xiàn)不僅擴(kuò)展了字典的搜索空間，還進(jìn)一步獲取了更多了先驗信息。為防止噪聲信息的干擾，采用了組稀疏學(xué)習(xí)的方法對字典抗噪性進(jìn)一步提升。由于擺脫了外部數(shù)據(jù)庫的困惱和對圖像自身有效信息的充分利用，也在一定程度上提升了算法效率，減少了運(yùn)算時間。5.2展望目前存在多種超分辨率算法，每種算法都有其獨(dú)特的優(yōu)勢和問題，這些復(fù)雜的學(xué)術(shù)問題激勵著人們不斷探索新的解決方案。本文向前探索研究得到了較好的效果，但依然存在著不少問題需要進(jìn)一步的研究和改善。根據(jù)以往的研究經(jīng)驗來談還可以從以下幾個方面展開進(jìn)一步的研究：（1）圖像的退化模型。適當(dāng)?shù)膱D像降質(zhì)模型可以提高算法的精度，但因圖像設(shè)備及環(huán)境的復(fù)雜性，尋找更具普適性的降質(zhì)模型任然是一個難題，如何改善或者是尋找合適的降質(zhì)模型還需繼續(xù)進(jìn)一步的研究。（2）圖像的質(zhì)量評價指標(biāo)。客觀評價技術(shù)主要基于數(shù)據(jù)衡量圖像質(zhì)量（PSNR、SSIM），然而這些指標(biāo)并不能保證圖像的質(zhì)量。因此，尋求一種合理、高效的圖像質(zhì)量評估指標(biāo)，也是亟待研究的問題。（3）效率問題。盡管現(xiàn)有的算法與以前的算法相比有進(jìn)步，但是它由于其在學(xué)習(xí)圖像先驗知識的時候處理的計算量較大，復(fù)雜成度較高。如何減少算法的運(yùn)算時間也是一個待解決的問題。

參考文獻(xiàn)堯潞陽.基于圖像自相似性與壓縮感知的超分辨率重建[D].北京印刷學(xué)院,2017.劉環(huán).單幀圖像超分辨率重建算法研究[D].南昌航空大學(xué),2018.BoP,YunshanM,CunjinX,etal.[J].RemoteSensing,2021,13(18).李鍵紅,吳亞榕,詹瑾.挖掘理想重建圖像自相似性的超分辨率[J].湖南大學(xué)學(xué)報(自然科學(xué)版),2021,48(08):149-160.DOI:10.16339/ki.hdxbzkb.2021.08.019.DengC,TianW,WangS,etal.[J].Optik-InternationalJournalforLightandElectronOptics,2014,125(15).劉萍.基于稀疏表示的圖像超分辨率重建方法研究[D].天津工業(yè)大學(xué),2017.楊宇翔,曹洋,汪增福.利用圖像局部自相似性的超分辨率重構(gòu)算法[J].中國圖像圖形學(xué)報,2011,16(05):720-725.郭良.基于自相似性的單幅圖像超分辨率重建算法研究[D].山東大學(xué),2017.GongW,TangY,ChenX,etal.[J].Neurocomputing,2017,249.李克秋寅.基于結(jié)構(gòu)相似性的超分辨率圖像重建算法[D].中國計量大學(xué),2021.DOI:10.27819/ki.gzgjl.2019.000394.向文.基于結(jié)構(gòu)自相似性字典的圖像超分辨率研究[D].廣東工業(yè)大學(xué),2020.DOI:10.27029/ki.ggdgu.2019.001025.魏瑤瑤.自相似特性下的圖像超分辨率重建算法研究[D].重慶郵電大學(xué),2020.DOI:10.27675/ki.gcydx.2019.000997.李治賢,諶貴輝,李忠兵.基于自相似性與稀疏表示的超分辨率算法[J].包裝工程,2019,40(09):231-237.DOI:10.19554/ki.1001-3563.2019.09.036.薛東.基于自相似性的單幅圖像超分辨率算法研究[D].上海交通大學(xué),2016.戚曹,朱桂斌,陽溢等.基于局部自相似性的視頻圖像超分辨率算法[J].重慶郵電大學(xué)學(xué)報(自然科學(xué)版),2015,27(05):692-699.李揚(yáng),吳敏淵,顏佳.基于改進(jìn)PatchMatch的自相似性圖像超分辨率算法[J].計算機(jī)應(yīng)用研究,2018,35(04):1231-1235.ZhangF,WuY,XiaoZ,etal.[J].ComputerAssistedSurgery,2019,0(0).向文,張靈,陳云華等.基于結(jié)構(gòu)自相似性和形變塊特征的單幅圖像超分辨率算法[J].計算機(jī)應(yīng)用,2019,39(01):275-280.丁娜.基于自相似性和回歸模型的單幅圖像超分辨率重建方法研究[D].山東大學(xué),2019.

附錄startup;%SetupdatasetdatasetList={'Urban100','BSD100','Sun-Hays80','Set5','Set14'};%Datasetlist:Urban100andBSD100numDataset=length(datasetList);%NumberofdatatsetnumImgDataset=[100,100,80,5,14];%NumberofimageineachdatasetSRFList{1}=[2,4];%Super-ResolutionFactor(SRF)forUrban100datasetSRFList{2}=[2,3,4];%Super-ResolutionFactor(SRF)forBSD100datasetSRFList{3}=[8];SRFList{4}=[2,3,4];SRFList{5}=[2,3,4];%Setupfilepatch%filePath.dataset=[];%Datasetname,e.g.,'Urban100'%filePath.dataPath=[];%Pathtoimages%filePath.imgFileName=[];%Inputlow-resolutionimagefilename%=========================================================================%Startsuper-resolvingimages%=========================================================================foriDataset=1:numDataset%CurrentdatasetdatasetCur=datasetList{iDataset};forSRF=SRFList{iDataset}%Initializetheparamtersforsuper-resolutionopt=sr_init_opt(SRF);if(strcmp(datasetCur,'Sun-Hays80'))opt.scaleThres=2;end%ProcessallimagesinthedatasetparforimgID=1:numImgDataset(iDataset)filePath=[];filePath.dataPath=fullfile('data',datasetCur,['image_SRF_',num2str(SRF)]);filePath.resLvlPath=fullfile('data',datasetCur,['image_SRF_