圖像處理的語義分割問題研究的國內(nèi)外文獻(xiàn)綜述目錄TOC\o"1-3"\h\u27565圖像處理的語義分割問題研究的國內(nèi)外文獻(xiàn)綜述 1192911.1簡介 1212311.2傳統(tǒng)語義分割方法 1117861.3卷積神經(jīng)網(wǎng)絡(luò) 2220531.4基于全卷積神經(jīng)網(wǎng)絡(luò)FCN的語義分割 2176011.5典型語義分割模型發(fā)展 3190901.6基于GAN的語義分割 528900參考文獻(xiàn) 71.1簡介自有圖像處理這一門學(xué)科開始，如何分割我們的圖像數(shù)據(jù)，就成為一個(gè)廣泛研究的課題。進(jìn)一步的，語義分割的定義，它要在圖像分割前提下，針對于分割區(qū)域，要有語義信息。而遙感圖像的語義分割比較以往的自然圖像語義分割有相近處也有一些不同。當(dāng)下比較流行的語義分割模式大多是以全卷積神經(jīng)網(wǎng)絡(luò)FCN為基礎(chǔ)構(gòu)造的。1.2傳統(tǒng)語義分割方法很久以前進(jìn)行圖像處理時(shí)，采用的圖像分割方法主要基于特征，有這些：閾值、邊緣、區(qū)域分割、紋理等。本世紀(jì)以來，聚類、分類、聚類和分類結(jié)合、基于圖論，這些方法被人們使用。傳統(tǒng)的利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)的語義分割任務(wù)方法，通常由特征提取器、分類器兩方組成。特征提取器旨在從局部圖像提取空間和紋理特征，把像素空間來進(jìn)行編碼為高維特征空間，特征提取器有方向梯度直方圖HOG，尺度不變特征SIFT和加速穩(wěn)健特征SURFREF_Ref15811\r\h[2]。分類器根據(jù)得到的特征，對圖像數(shù)據(jù)中的每一個(gè)像素進(jìn)行預(yù)測。分類器有紋理基元森林、隨機(jī)森林、支持向量機(jī)SVM、K-均值。然而，因?yàn)閳D像的亮度變化，不同類別對象在形狀以及顏色上具有強(qiáng)烈的相似性，這些傳統(tǒng)的機(jī)器學(xué)習(xí)方法無法獲得的分割效果并不好。1.3卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)在近幾年來的發(fā)展之中，為語義分割任務(wù)提出了新的解決方案，注入了新鮮的血液。深度卷積神經(jīng)網(wǎng)絡(luò)CNN在最近這些年發(fā)展較快，研究者們也開始將深度學(xué)習(xí)技術(shù)應(yīng)用到了語義分割領(lǐng)域之中，尤其是FCN提出后，圖像語義分割的精細(xì)化與準(zhǔn)確程度逐漸提高，在各個(gè)領(lǐng)域展示出強(qiáng)大的性能，被當(dāng)作了語義分割里最常用的辦法。卷積神經(jīng)網(wǎng)絡(luò)的提出上溯到1984年，當(dāng)時(shí)Fukushima提出了神經(jīng)感知機(jī)的概念，這被認(rèn)為是CNN網(wǎng)絡(luò)的第一次實(shí)現(xiàn)。之后經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型Lenet-5被提出并用于了手寫數(shù)字識別，提出的這一個(gè)該模型一共有5層，其在神經(jīng)感知機(jī)的基礎(chǔ)之上提出了誤差反向傳播的概念，為后續(xù)深度學(xué)習(xí)的發(fā)展奠定了學(xué)習(xí)的基礎(chǔ)。2012年，AlexNet第一次將卷積神經(jīng)網(wǎng)絡(luò)引入圖像分類任務(wù)。由卷積層、全連接層和池化層等基本部件組成的AlexNet，在分類效果上已經(jīng)遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)方法，于是卷積神經(jīng)網(wǎng)絡(luò)在圖像處理和計(jì)算機(jī)視覺上的應(yīng)用便如火如荼地展開。語義分割的結(jié)果圖需要與原始圖像具有相同的尺寸和像素的空間位置，故保持圖像的空間信息很重要。全連接層中存在對輸入的平鋪操作，會破壞特征圖的空間信息，因此AlexNet等網(wǎng)絡(luò)不適合用于語義分割任務(wù)中。排開全連接層所造成的問題，CNN網(wǎng)絡(luò)難以直接進(jìn)行語義分割任務(wù)的另一個(gè)障礙層是池化層。池化層它通過擴(kuò)大上層卷積核的感受野的這么一種辦法，在背景集合的同時(shí)拋棄了一些位置信息，而這些位置信息正是語義分割任務(wù)所需要的。1.4基于全卷積神經(jīng)網(wǎng)絡(luò)FCN的語義分割現(xiàn)有的廣為人知的語義分割辦法基本都在一個(gè)共同的框架基礎(chǔ)上發(fā)展而來，這個(gè)框架正是全卷積神經(jīng)網(wǎng)絡(luò)，F(xiàn)CN。它的英文全稱為FullyConvolutionalNetwork，突破了CNN使用在語義分割任務(wù)上的局限REF_Ref20230\r\h[3]。全卷積神經(jīng)網(wǎng)絡(luò)對普通卷積神經(jīng)網(wǎng)絡(luò)做了改進(jìn)，將全連接層刪去，改為卷積層。這樣在接受輸入圖像后，通過轉(zhuǎn)置卷積的方法，對特征圖像上采樣操作步驟，就可以獲得與輸入樣本大小相同的分割圖像了REF_Ref20230\r\h[3]。當(dāng)然，F(xiàn)CN也有其局限。語義分割本質(zhì)上是包含像素分類和定位兩個(gè)問題的像素級分類任務(wù)，低層特征和高層特征同樣重要。其中分類需要更多的全局特征，網(wǎng)絡(luò)的高層特征適合用于分類；定位需要更多位置信息，網(wǎng)絡(luò)低層的特征圖包含了大量空間信息適用于定位。FCN僅使用高層特征圖，像素的定位能力較差。在網(wǎng)絡(luò)層次的逐漸深入時(shí)，模型會丟失原圖的空間結(jié)構(gòu)信息，使網(wǎng)絡(luò)成為獨(dú)立的單點(diǎn)像素分類預(yù)測模型。所以，要通過單獨(dú)添加全局結(jié)構(gòu)約束這樣的方法，才能使FCN獲得較好的分割效果REF_Ref20687\r\h[4]。為了解決這個(gè)問題，有以下三種方案被提出：一種是U-Net和SegNet，提出了編碼器-解碼器的結(jié)構(gòu)。它們分別使用反卷積和反池化來放大高層特征圖，讓高層特征圖、以及低層特征圖互相融合，恢復(fù)在下采樣階段丟失的空間信息。其中，編碼器我們設(shè)定為某個(gè)預(yù)訓(xùn)練的分類網(wǎng)絡(luò)，它通過池化層來遞減輸入數(shù)據(jù)的空間維度。然后，解碼器使用了反卷積層等網(wǎng)絡(luò)，目的是按步驟恢復(fù)目標(biāo)細(xì)節(jié)和空間維度。解碼器它是將編碼器學(xué)習(xí)到的較低分辨率的可判別特征，從語義上投影到較高分辨率的像素空間，獲得密集分類。不同的網(wǎng)絡(luò)模型主要采用的是不同的解碼機(jī)制，例如跳躍連接、金字塔池化等用于解碼機(jī)制。解碼器、編碼器之間存在信息連結(jié)，能夠讓解碼器更有效率來恢復(fù)目標(biāo)信息的細(xì)節(jié)。之后，編碼器-解碼器結(jié)構(gòu)被更多地應(yīng)用于各種新的網(wǎng)絡(luò)結(jié)構(gòu)中，以提升網(wǎng)絡(luò)的表現(xiàn)效果。還可以使用的方法是空洞卷積，這種方法刪去了池化層。池化層在分割過程中會降低分辨率，縱然它能夠增大感受野。與之對應(yīng)的空洞卷積，它不降低空間維度，但是能夠增大感受野指數(shù)。第三種方法是利用條件隨機(jī)場REF_Ref24962\r\h[6]、馬爾可夫隨機(jī)場REF_Ref25001\r\h[7]等方式，捕捉遠(yuǎn)程像素點(diǎn)之間的依賴關(guān)系。條件隨機(jī)場將像素強(qiáng)度類似的點(diǎn)標(biāo)注為同一類，是一種基于底層圖像像素強(qiáng)度，進(jìn)行“平滑”分割的這樣一種圖模型。通常在后期處理中使用，提高1~2%的最終評分值，可以改進(jìn)分割的效果。1.5典型語義分割模型發(fā)展自FCN之后，涌現(xiàn)出許多分割模型，其詳細(xì)內(nèi)容在圖表中列舉圖STYLEREF1\s1.SEQ圖\*ARABIC\s11語義分割模型發(fā)展圖主要有：FCN模型，U-net模型，SegNet模型，空洞卷積，Deeplabv1，Deeplabv2，RefineNet模型，PSPNet模型，Deeplabv3及v3+、GAN。其優(yōu)缺點(diǎn)在表中列出圖STYLEREF1\s1.SEQ圖\*ARABIC\s12主要語義分割模型的優(yōu)缺點(diǎn)這些模型依照它們自己獨(dú)有的方法可以分成專門的幾個(gè)類別。我們列舉出，專門池化（PSPNet、DeepLab）的模型、基于編碼器-解碼器架構(gòu)（SegNet、U-Net）的模型、基于條件隨機(jī)場（CRFRNN）的模型、使用空洞卷積（DiatedNet、DeepLab）的模型、基于密集連接模塊（DenseNet）的模型、進(jìn)行跳躍連接（FCN）的模型、進(jìn)行多尺度處理（DeepLab）的模型。1.6基于GAN的語義分割GAN在遙感領(lǐng)域的應(yīng)用總結(jié)如下圖STYLEREF1\s1.SEQ圖\*ARABIC\s13引入遙感影像的GAN網(wǎng)絡(luò)介紹Pauline等人在NIPS2016首次將GAN思想用于語義分割，為后來的研究者奠定了基礎(chǔ)，其在傳統(tǒng)語義分割訓(xùn)練框架中加一個(gè)對抗損失，將分割網(wǎng)絡(luò)視作生成器REF_Ref29315\r\h[8]。2018年，Hung等人采用全卷積網(wǎng)絡(luò)做判別器，用生成對抗網(wǎng)絡(luò)進(jìn)行半監(jiān)督語義分割。判別網(wǎng)絡(luò)可以做到產(chǎn)生對沒有標(biāo)注的圖像的分割預(yù)測結(jié)果進(jìn)行判斷的置信圖。進(jìn)行這樣的操作之后，這樣的置信圖就可以成為附加的數(shù)據(jù)，用來監(jiān)督訓(xùn)練生成網(wǎng)絡(luò)，實(shí)現(xiàn)半監(jiān)督任務(wù)，超越了早期的半監(jiān)督方法REF_Ref30213\r\h[9]。引入GAN進(jìn)行語義分割的優(yōu)點(diǎn)在于：其整體結(jié)構(gòu)可以不斷生成數(shù)據(jù)，同時(shí)辨別生成數(shù)據(jù)的真假，這種能力可以減少卷積神經(jīng)網(wǎng)絡(luò)、全卷積神經(jīng)網(wǎng)絡(luò)在語義分割過程中產(chǎn)生的問題；其判別器可以應(yīng)對數(shù)據(jù)域問題，利用對抗博弈學(xué)習(xí)來對近似不可解的損失函數(shù)進(jìn)行尋優(yōu)。然而GAN結(jié)構(gòu)的缺點(diǎn)也很明顯。生成對抗網(wǎng)絡(luò)其優(yōu)化過程不穩(wěn)定，在訓(xùn)練模型的時(shí)候，有一定可能坍縮到鞍點(diǎn)上，在處理規(guī)模較大的數(shù)據(jù)集時(shí)，它的延展性、可解釋性還需要提升。參考文獻(xiàn)YuB,LuY,FangC.SemanticSegmentationforHighSpatialResolutionRemoteSensingImagesBasedonConvolutionNeuralNetworkandPyramidPoolingModule[J].IEEEJournalofSelectedTopicsinAppliedEarthObservations&RemoteSensing,2018,PP:1-10.張向榮,王昕,焦李成,等.基于輕量化語義分割網(wǎng)絡(luò)的遙感圖像地物分類方法:,CN111079649A[P].2020.LongJ,ShelhamerE,DarrellT.FullyConvolutionalNetworksforSemanticSegmentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2015,39(4):640-651.朱鋒,劉其朋.基于生成對抗網(wǎng)絡(luò)的半監(jiān)督圖像語義分割[J].復(fù)雜系統(tǒng)與復(fù)雜性科學(xué),2021,18(01):23-29.GoodfellowIJ,Pouget-AbadieJ,MirzaM,etal.GenerativeAdversarialNets.MITPress,2014.Fast,ExactandMulti-ScaleInferenceforSemanticImageSegmentationwithDeepGaussianCRFs.SpringerInternationalPublishing,2016.LiuZ,LiX,PingL,etal.SemanticImageSegmentationviaDeepParsingNetwork[J].IEEE,2015.LucP,CouprieC,ChintalaS,etal.SemanticSegmentationusingAdversarialNetworks[J].2016.HungWC,TsaiYH,LiouYT,etal.AdversarialLearningforSemi-SupervisedSemanticSegmentation[J].2018.殷文斌.卷積神經(jīng)網(wǎng)絡(luò)在遙感目標(biāo)識別中的應(yīng)用研究[D].中國科學(xué)院大學(xué)(中國科學(xué)院遙感與數(shù)字地球研究所),2017.劉雨溪,張鉑,王斌.基于生成式對抗網(wǎng)絡(luò)的遙感圖像半監(jiān)督語義分割[J].紅外與毫米波學(xué)報(bào),2020,39(04):473-482.ChenLC,ZhuY,PapandreouG,etal.Encoder-DecoderwithAtrousSeparableConvolutionforSemanticImageSegmentation[J].Springer,Cham,2018.Nex,F.,Remondino,F.,Gerke,M.,Przybilla,H.J.,B?umker,M.,&Zurhorst,A.(2015).ISPRSBENCHMARKFORMULTI-PLATFORMPHOTOGRAMMETRY.ISPRSAnnalsofPhotogrammetry,RemoteSensing&SpatialInformationSciences,2.NasimSouly,ConcettoSpampinato,MubarakShah,“SemiandWeaklySupervisedSemanticSegmentationUsingGenerativeAdversarialNetwork” arXiv:1703.09695[cs.CV],iccv.2017.606.LateefF,RuichekY.SurveyonSemanticSegmentationusingDeepLearningTechniques[J].Neurocomputing,2019,338(APR.21):321-348.田萱,王亮,丁琪.基于深度學(xué)習(xí)的圖像語義分割方法綜述[J].軟件學(xué)報(bào),2019,30(02):440-468.耿艷磊,陶超,沈靖,鄒崢嶸.高分辨率遙感影像語義分割的半監(jiān)督全卷積網(wǎng)絡(luò)法[J].測繪學(xué)報(bào),2020,49(04):499-508.譚琨,