全景圖像視頻質(zhì)量評(píng)估研究的國(guó)內(nèi)外文獻(xiàn)綜述目錄TOC\o"1-3"\h\u10348全景圖像視頻質(zhì)量評(píng)估研究的國(guó)內(nèi)外文獻(xiàn)綜述 1275651.1全景圖像/視頻主觀質(zhì)量評(píng)估研究現(xiàn)狀 1258551.2全景圖像/視頻客觀質(zhì)量評(píng)估研究現(xiàn)狀 431416參考文獻(xiàn) 101.1全景圖像/視頻主觀質(zhì)量評(píng)估研究現(xiàn)狀主觀質(zhì)量評(píng)估通常由受試者依照主觀評(píng)估實(shí)驗(yàn)流程對(duì)所展示的圖像/視頻進(jìn)行主觀打分，之后再由研究者對(duì)主觀實(shí)驗(yàn)所得質(zhì)量分?jǐn)?shù)進(jìn)行處理與統(tǒng)計(jì)。 國(guó)際電信聯(lián)盟(InternationalTelecommunicationUnion，ITU)[6][7]推薦了幾種主觀評(píng)估方法如下：?jiǎn)渭?lì)法(SingleStimulusMethods,SSM)、單激勵(lì)連續(xù)質(zhì)量評(píng)價(jià)法(SingleStimulusContinuousQualityEvaluation,SSCQE)、雙激勵(lì)連續(xù)質(zhì)量量表法(DoubleStimulusContinuousQualityScale，DSCQS)、雙激勵(lì)損傷量表法(DoubleStimulusImpairmentScale,DSIS)。單激勵(lì)法在單激勵(lì)法(SingleStimulusMethods,SSM)中，測(cè)試序列以隨機(jī)順序進(jìn)行播放演示，對(duì)于不同的受試者采用不同的隨機(jī)順序，受試者將對(duì)測(cè)試序列進(jìn)行評(píng)分。單激勵(lì)連續(xù)質(zhì)量評(píng)價(jià)法單激勵(lì)連續(xù)質(zhì)量評(píng)價(jià)(SingleStimulusContinuousQualityEvaluation,SSCQE)是在每個(gè)測(cè)試序列的播放顯示時(shí)間都為確定的情況下，令受試者對(duì)測(cè)試序列進(jìn)行連續(xù)測(cè)評(píng)打分，再將其測(cè)評(píng)打分進(jìn)行平均處理后作為最終主觀質(zhì)量評(píng)估得分。雙激勵(lì)連續(xù)質(zhì)量量表法雙激勵(lì)連續(xù)質(zhì)量量表(DoubleStimulusContinuousQualityScale，DSCQS)是一種交替方法，以成對(duì)的方式相鄰或同時(shí)播放展示參考序列和失真序列，要求受試者對(duì)二者進(jìn)行評(píng)價(jià)打分，在測(cè)試流程中，這些序列對(duì)將以隨機(jī)順序播放演示，在這種測(cè)試方法中，由于序列對(duì)中可以產(chǎn)生對(duì)比，因此更有利于受試者做出準(zhǔn)確直接的判斷。該方法采用五等級(jí)評(píng)分規(guī)則，規(guī)則如圖1-1。圖1-1五等級(jí)評(píng)分規(guī)則雙激勵(lì)損傷量表法雙激勵(lì)損傷量表法(DoubleStimulusImpairmentScale,DSIS)將向受試者播放演示由參考序列和失真序列組成的序列對(duì)，受試者將首先看到參考序列，再看到失真序列，然后基于對(duì)參考序列的觀看感受對(duì)失真序列的損傷進(jìn)行評(píng)價(jià)，應(yīng)采用五級(jí)損傷量表，規(guī)則如表1-1。表1-1DSIS五級(jí)損傷量表5不可察覺(jué)4可察覺(jué)，但不討厭3稍微討厭2討厭1很討厭除主觀評(píng)估方法外，有兩種指標(biāo)廣泛適用于主觀質(zhì)量評(píng)估實(shí)驗(yàn)中，即平均意見(jiàn)得分(MeanOpinionscore,MOS)和差異平均意見(jiàn)得分(Deferencemeanopinionscore,DMOS)，平均意見(jiàn)得分越大，證明圖像或視頻質(zhì)量越好，而差異平均意見(jiàn)得分則是越小，證明圖像或視頻質(zhì)量越好。全景圖像/視頻的主觀質(zhì)量評(píng)價(jià)的主要工作是全景圖像/視頻數(shù)據(jù)庫(kù)的搭建，數(shù)據(jù)庫(kù)中一般包含全景圖像/視頻數(shù)據(jù)集以及對(duì)應(yīng)的主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)等相關(guān)數(shù)據(jù)。利用主觀質(zhì)量評(píng)價(jià)數(shù)據(jù)集可以測(cè)試客觀質(zhì)量評(píng)價(jià)方法的性能，因此主觀質(zhì)量評(píng)價(jià)工作是圖像/視頻質(zhì)量評(píng)價(jià)研究中相當(dāng)重要的部分。Duan等人[8]建立了一個(gè)沉浸式視頻質(zhì)量評(píng)價(jià)數(shù)據(jù)集(ImmersiveVideoQualityassessmentDatabase,IVQAD2017)，包含固定攝像機(jī)從10個(gè)不同場(chǎng)景捕獲的160個(gè)視頻流，其中包括10段原始視頻序列和150段受損序列，原始視頻分辨率為4096×2048，幀速率為30fps，受損視頻是分別對(duì)于比特率、分辨率以及幀率三種損傷因素進(jìn)行不同程度的壓縮得到的。所有視頻均以MPEG-4編碼,受試者在VR環(huán)境下對(duì)視頻進(jìn)行主觀評(píng)估，并通過(guò)計(jì)算得出平均意見(jiàn)分?jǐn)?shù)（MOS）。Duan等人[9]建立了一個(gè)全景圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)集(OmnidirectionalImageQualityAssessmentDatabase,OIQA)，該數(shù)據(jù)集中包括16幅原始圖像和320幅失真圖像及其主觀質(zhì)量評(píng)分，所有投影格式均為ERP格式，失真類(lèi)型有四種：JPEG壓縮、JPEG2000壓縮，高斯模糊，高斯噪聲。研究者通過(guò)單激勵(lì)法(SingleStimulusMethods,SSM)使受試者對(duì)全景圖像進(jìn)行主觀質(zhì)量評(píng)分，求得受試者對(duì)圖像評(píng)分的平均數(shù)，并用3σ準(zhǔn)則移除異常值，得到全景圖像主觀質(zhì)量測(cè)評(píng)得分。除此之外，研究者通過(guò)HMD設(shè)備HTCVIVE及VR眼控設(shè)備aGLASS采集了觀察者頭部、視線運(yùn)動(dòng)數(shù)據(jù)。通過(guò)對(duì)客觀IQA模型的測(cè)評(píng)比對(duì)，作者發(fā)現(xiàn)人類(lèi)在觀看VR圖像時(shí)更喜歡高頻率的圖像內(nèi)容和細(xì)節(jié)，因此視覺(jué)注意力在IQA模型中非常重要，建議在將傳統(tǒng)的IQA模型應(yīng)用于全景視頻的IQA模型時(shí)，將視覺(jué)注意力因素考慮進(jìn)去。Sun等人[10]建立了一個(gè)壓縮的VR圖像質(zhì)量數(shù)據(jù)庫(kù)(CompressedVRImageQualityDatabase,CVIQD)，其中包含5張?jiān)紙D像和經(jīng)三種主流編碼技術(shù)(JPEG，H.264/AVC和H.265/HEVC)處理得到165張壓縮圖像。利用單激勵(lì)法安排20位受試者進(jìn)行主觀實(shí)驗(yàn)得到主觀質(zhì)量得分。Xu等人[11]建立了一個(gè)VR視頻質(zhì)量評(píng)價(jià)數(shù)據(jù)集(VirtualRealityVideoQualityAssessmentDatabase,VR-VQA),數(shù)據(jù)庫(kù)包括48幅全景圖像（其中包括12個(gè)參考序列和36個(gè)受損序列，受損序列為采用H.265壓縮以三種不同的比特率對(duì)視頻序列進(jìn)行壓縮產(chǎn)生），以及40位觀察者的觀看方向數(shù)據(jù)，并對(duì)不同觀察者的觀看方向進(jìn)行了一致性分析，作者發(fā)現(xiàn)對(duì)于全景視頻，不同人的觀看區(qū)域存在高度一致性，受試者觀看前方近赤道附近的區(qū)域更頻繁。作者還提出了兩個(gè)新的VQA指標(biāo)，整體偏差意見(jiàn)得分(O-DMOS)和利用觀察者觀看全景視頻時(shí)的不一致性得到的矢量化偏差意見(jiàn)得分(V-DMOS)，用于衡量受損全景視頻的整體和區(qū)域質(zhì)量降低水平。Zhang等人[12]基于編碼應(yīng)用建立了一個(gè)主觀全景視頻質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)包含50個(gè)失真序列，這些序列由10個(gè)原始全景序列生成。失真類(lèi)型是HEVC壓縮。數(shù)據(jù)庫(kù)中包含視頻序列，主觀評(píng)級(jí)分?jǐn)?shù)，DMOS，可用于推進(jìn)未來(lái)的編碼應(yīng)用研究。此外，作者提出了一個(gè)針對(duì)主觀測(cè)試的高質(zhì)量序列的播放策略，即基于屏幕和人類(lèi)視覺(jué)之間特定的幾何約束找出一個(gè)均勻并且合適的分辨率以適應(yīng)具體的HMD設(shè)備（最佳播放分辨率），在編碼之前，將序列采樣到最佳分辨率，可以減輕播放時(shí)HMD采樣的干擾，進(jìn)而保證對(duì)視頻編碼的主觀評(píng)估的可靠性。Yang等人[13]提出了VRQ-TJU數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)總共包含377個(gè)VR視頻，其中包括13個(gè)原始視頻源，幀速率設(shè)置為30fps，每個(gè)VR視頻的總幀數(shù)為507。失真視頻由原始視頻經(jīng)過(guò)H.264和JPEG2000做損傷處理得到，其中每種失真類(lèi)型都分為五個(gè)級(jí)別，每種失真類(lèi)型都有182個(gè)視頻。此外，數(shù)據(jù)庫(kù)包含對(duì)稱(chēng)變形和非對(duì)稱(chēng)變形，其中104個(gè)為對(duì)稱(chēng)變形，260個(gè)為非對(duì)稱(chēng)變形。平均意見(jiàn)分?jǐn)?shù)(MOS)在[1，5]范圍內(nèi)，分?jǐn)?shù)越高，視頻質(zhì)量越好。不同于新興的研究領(lǐng)域全景圖像/視頻主觀質(zhì)量評(píng)估，經(jīng)過(guò)多年的科學(xué)研究，傳統(tǒng)圖像/視頻的主觀質(zhì)量評(píng)估已經(jīng)得到了豐富長(zhǎng)足的發(fā)展，已經(jīng)擁有了較為成熟的公開(kāi)主觀評(píng)價(jià)數(shù)據(jù)集為測(cè)試二維圖像/視頻客觀質(zhì)量評(píng)價(jià)方法服務(wù)，比如數(shù)據(jù)集LIVE[14]、TID2008[15]、TID2013[16]、MDID2013[17]、LIVEMD[18]、LVC[19]、MCL[20]、NBU[21]、NAMA3D[22]、CSIQ[23]等，都具有權(quán)威性、公開(kāi)性及廣泛認(rèn)可度，為二維圖像/視頻的客觀質(zhì)量評(píng)價(jià)提供了便利。但全景圖像/視頻數(shù)據(jù)集的發(fā)展尚在初期，不具備像傳統(tǒng)圖像/視頻質(zhì)量評(píng)價(jià)這樣成熟的條件，因此繼續(xù)推進(jìn)全景圖像/視頻數(shù)據(jù)集的研究工作極具意義。1.2全景圖像/視頻客觀質(zhì)量評(píng)估研究現(xiàn)狀受到個(gè)人主觀因素和客觀條件的限制，主觀評(píng)價(jià)模型并不能大規(guī)模地廣泛應(yīng)用，因此全景圖像/視頻質(zhì)量評(píng)估領(lǐng)域的主要研究方向是客觀質(zhì)量評(píng)價(jià)。在客觀質(zhì)量評(píng)估算法設(shè)計(jì)完畢之后，需要檢測(cè)其與相應(yīng)數(shù)據(jù)庫(kù)主觀評(píng)價(jià)實(shí)驗(yàn)質(zhì)量得分如平均意見(jiàn)得分MOS/差異平均意見(jiàn)得分D-MOS的一致性，從而判斷其性能的優(yōu)異，表現(xiàn)出的結(jié)果越一致，則說(shuō)明研究者設(shè)計(jì)的客觀質(zhì)量評(píng)估算法預(yù)測(cè)結(jié)果越準(zhǔn)確。視頻質(zhì)量專(zhuān)家組(VideoQualityExpertsGroup,VQEG)為客觀質(zhì)量評(píng)估工作提供了四個(gè)統(tǒng)計(jì)學(xué)指標(biāo)，分別是：斯皮爾曼等級(jí)相關(guān)系數(shù)(SpearmanRankOrderCorrelationCoefficient,SRCC)、肯德?tīng)柕燃?jí)相關(guān)系數(shù)(KendallRankOrderCorrelationCoefficient,KRCC)、皮爾森線性相關(guān)系數(shù)(PearsonLinearCorrelationCoefficient,PLCC)和均方根誤差(RootofMeanSquareError,RMSE)。除此之外，通過(guò)觀察客觀預(yù)測(cè)質(zhì)量得分與主觀質(zhì)量得分?jǐn)M合所得的散點(diǎn)圖的擬合程度，也判斷表明模型是否有效。圖1-2客觀質(zhì)量評(píng)估指標(biāo)斯皮爾曼等級(jí)相關(guān)系數(shù)SRCCSRCC是一個(gè)衡量?jī)蓚€(gè)變量X和Y之間依賴性的統(tǒng)計(jì)相關(guān)系數(shù)，利用單調(diào)方程評(píng)價(jià)兩個(gè)統(tǒng)計(jì)變量的相關(guān)性，計(jì)算公式如下：ρ公式中，n代表變量中的元素總數(shù)，di表示變量X和變量Y中元素的對(duì)應(yīng)排行差分集合，即di=Xi?Yi，ρ的取值范圍是[-1,1]。在檢測(cè)客觀質(zhì)量評(píng)估算法性能時(shí)，該指標(biāo)的絕對(duì)值越高，則表征被檢測(cè)客觀質(zhì)量評(píng)估模型的性能越優(yōu)秀。SRCC對(duì)數(shù)據(jù)條件并不嚴(yán)格，只需要兩個(gè)變量的觀測(cè)值是成對(duì)的即可，不論兩個(gè)變量的總體分布形態(tài)、樣本容量的大小如何，都不會(huì)影響計(jì)算，都可以用斯皮爾曼相關(guān)系數(shù)來(lái)進(jìn)行研究?？系?tīng)柕燃?jí)相關(guān)系數(shù)KRCCKRCC的計(jì)算公式為：M公式中，n表示元素的總個(gè)數(shù)，nc和nd分別表示兩組變量中擁有一致性的變量對(duì)數(shù)和擁有不一致性的變量對(duì)數(shù)。Mkrcc的取值范圍是在檢測(cè)客觀質(zhì)量評(píng)估算法性能時(shí)，該指標(biāo)的絕對(duì)值越接近于1，則表征客觀質(zhì)量評(píng)估算法預(yù)測(cè)分?jǐn)?shù)與主觀質(zhì)量得分越一致，即被檢測(cè)客觀質(zhì)量評(píng)估模型的性能越好。皮爾森線性相關(guān)系數(shù)PLCC將PLCC應(yīng)用于檢測(cè)客觀質(zhì)量評(píng)估算法性能時(shí)，客觀質(zhì)量評(píng)估算法所預(yù)測(cè)得出的質(zhì)量分?jǐn)?shù)與主觀質(zhì)量分?jǐn)?shù)的范圍可能不一致，因此需要利用非線性擬合Logistic函數(shù)[43]對(duì)預(yù)測(cè)所得質(zhì)量分?jǐn)?shù)進(jìn)行映射：y其中x是預(yù)測(cè)分?jǐn)?shù)，βiPLCC計(jì)算公式為：r=其中N表示元素總體個(gè)數(shù)，s表示主觀質(zhì)量分?jǐn)?shù)，p表示客觀評(píng)估算法預(yù)測(cè)所得分?jǐn)?shù)。r的范圍是[-1,1]，為正數(shù)則表示正相關(guān)，為負(fù)則表示負(fù)相關(guān)。其絕對(duì)值表征意義如表1-2所示：表1-2PLCC絕對(duì)值表征意義0.8-1.0極強(qiáng)相關(guān)0.6-0.8強(qiáng)相關(guān)0.4-0.6中等程度相關(guān)0.2-0.4弱相關(guān)0.0-0.2極弱相關(guān)或無(wú)相關(guān)均方根誤差RMSERMSE描述的是變量X和Y之間的偏差程度，在計(jì)算前需要對(duì)客觀質(zhì)量評(píng)估模型預(yù)測(cè)所得分?jǐn)?shù)進(jìn)行預(yù)處理，即將其做非線性映射處理，RMSE的計(jì)算公式為：RMSE在檢測(cè)客觀質(zhì)量評(píng)估算法性能時(shí)，RMSE值越小，則表征客觀質(zhì)量評(píng)估算法預(yù)測(cè)分?jǐn)?shù)與主觀質(zhì)量得分偏差越小，一致性越高，即被檢測(cè)客觀質(zhì)量評(píng)估模型的性能越好，若其值若高，則表明二者之間偏差越大，越不一致，模型性能越差?？陀^質(zhì)量評(píng)價(jià)算法主要可以分為：全參考客觀質(zhì)量評(píng)價(jià)算法(FullReference,FR)、半?yún)⒖?ReducedReference,RR)客觀質(zhì)量評(píng)價(jià)算法和無(wú)參考(NoReference,NR)客觀質(zhì)量評(píng)價(jià)算法。全參考質(zhì)量評(píng)估方法的核心思想是對(duì)兩幅圖像的信息量或特征相似度進(jìn)行比較得出質(zhì)量分?jǐn)?shù)，因此需要在擁有無(wú)失真的原始序列存在的情況下進(jìn)行，具有較高的準(zhǔn)確性難度相對(duì)較低。由于信息較為充足，因此全參考質(zhì)量評(píng)估的研究應(yīng)用相較于其余兩種方法更為廣泛成熟。不同于全參考質(zhì)量評(píng)估方法，半?yún)⒖假|(zhì)量評(píng)估方法只需要保留一部分原始序列的信息，而無(wú)參考質(zhì)量評(píng)估方法則只根據(jù)失真序列就可以得出相應(yīng)的質(zhì)量評(píng)估得分。在實(shí)際應(yīng)用中有時(shí)無(wú)法準(zhǔn)確地獲得完整的原始參考序列，因此半?yún)⒖假|(zhì)量評(píng)估方法和無(wú)參考評(píng)估方法在有一定實(shí)現(xiàn)難度的同時(shí)，也具有非常重要的意義。由于全景圖像/視頻在觀看時(shí)存在球狀空間的特點(diǎn)，在進(jìn)行主觀評(píng)估實(shí)驗(yàn)時(shí)會(huì)產(chǎn)生觀看者關(guān)注重點(diǎn)有側(cè)重的問(wèn)題，因此，直接將二維圖像/視頻的客觀質(zhì)量評(píng)價(jià)方法應(yīng)用于全景圖像/視頻是不合理的。在VR客觀質(zhì)量評(píng)價(jià)研究的初級(jí)階段，研究者們嘗試將全景圖像的特征與傳統(tǒng)二維圖像評(píng)價(jià)指標(biāo)相結(jié)合，如峰值信噪比[24](PeakSignaltoNoiseRatio,PSNR)、結(jié)構(gòu)相似度[25](StructureSimilarity,SSIM)，提出針對(duì)于VR的客觀評(píng)價(jià)方法。Yu等人[26]提出了一種球面峰值信噪比(S-PSNR)的質(zhì)量度量方法，該方法基于球面上近似均勻采樣的點(diǎn)，通過(guò)投影平面上對(duì)應(yīng)的鄰近樣本對(duì)采樣值進(jìn)行插值來(lái)測(cè)量失真，以逼近全方位觀看視角的平均質(zhì)量。S-PSNR的計(jì)算處理是在可視球域上進(jìn)行的，能夠更好地契合觀看者實(shí)際觀察到的圖像/視頻的損傷程度，但由于S-PSNR使用了655362個(gè)采樣點(diǎn)，數(shù)量有限，比如對(duì)于分辨率為3840x1920（共7372800像素）的4K序列，計(jì)算可得，S-PSNR僅使用了8.9%的像素進(jìn)行失真計(jì)算，使用率過(guò)低，無(wú)法準(zhǔn)確評(píng)估圖像/視頻的損傷程度。Zakharchenko等人[27]開(kāi)發(fā)了CPP-PSNR（CrasterParabolicProjectionPSNR，CPP-PSNR），使用CPP方法將包括參考圖像和失真圖像在內(nèi)的全部圖像投影到球體上，以基于卡斯特拋物線投影上的重采樣像素來(lái)測(cè)量失真，其中重采樣值也可以通過(guò)插值獲得。CPP-PSNR可以實(shí)現(xiàn)跨投影格式的質(zhì)量評(píng)估，即此種方法不受全景圖像/視頻投影格式的限制，并考慮了全部的點(diǎn)，突破了S-PSNR只在有限點(diǎn)采樣的限制，但由于CPP-PSNR需要首先進(jìn)行格式轉(zhuǎn)換，因此需要插值處理，造成失真計(jì)算不準(zhǔn)確，不能準(zhǔn)確評(píng)估高頻失真等問(wèn)題。Sun等人[28]提出了全景視頻客觀質(zhì)量評(píng)價(jià)方法WS-PSNR，對(duì)不同位置的像素點(diǎn)的誤差賦予不同權(quán)值，權(quán)值通過(guò)計(jì)算連續(xù)空間域的拉伸比得到，并使權(quán)值在球面上均勻分布，從而優(yōu)化PSNR的評(píng)估性能。該方法避免了重采樣表征空間向觀測(cè)空間轉(zhuǎn)換所引起的誤差。研究者在實(shí)驗(yàn)中發(fā)現(xiàn)，隨著視頻精細(xì)度的量化，WS-PSNR和S-PSNR/CPP-PSNR的差異越來(lái)越明顯，這與高頻畸變的優(yōu)勢(shì)有關(guān)。相較于其他兩種方法，WS-PSNR具有明顯的優(yōu)勢(shì)，它直接在2D圖像上計(jì)算，計(jì)算復(fù)雜度低，最適配2D視頻編碼框架；參考圖像/視頻和失真圖像/視頻上的所有點(diǎn)都能夠一對(duì)一地找到對(duì)應(yīng)關(guān)系；不需要投影變換，不使用插值濾波器，同時(shí)避免了插值帶來(lái)的誤差；不受頻率影響，可以平等的計(jì)算所有頻率下的失真。但由于WS-PSNR直接基于投影后的2D圖像計(jì)算，因此其權(quán)重與投影格式有關(guān)，這也是其缺點(diǎn)所在：無(wú)法進(jìn)行跨投影格式評(píng)估。Zhou等人[29]提出了一種基于加權(quán)球均勻SSIM(Weighted-to-Spherically-UniformSSIM，WS-SSIM)的全景視頻和圖像的客觀質(zhì)量評(píng)價(jià)方法，在將平面全景圖像轉(zhuǎn)換為球面全景圖像時(shí)，不僅考慮了全景圖像的亮度、對(duì)比度和結(jié)構(gòu)因素，還集成了面積縮放因子。研究者將結(jié)構(gòu)相似度指數(shù)(SSIM)與不同區(qū)域的不同權(quán)重相乘，從而使用戶觀測(cè)到的球面畸變與平面畸變呈線性對(duì)應(yīng)。實(shí)驗(yàn)結(jié)果表明，考慮結(jié)構(gòu)相似因素的WS-SSIM比其他全景視頻客觀質(zhì)量評(píng)價(jià)方法與人眼感知結(jié)果更加一致。在傳統(tǒng)圖像評(píng)價(jià)指標(biāo)之上，研究者為了追求更加優(yōu)越的評(píng)估效果，因此將除PSNR/SSIM之外的圖像特征引入全景圖像質(zhì)量評(píng)價(jià)方法的設(shè)計(jì)之中。許欣等人[30]通過(guò)分析360度全景圖像的特點(diǎn)及小波域特征提取的有效性，提出了一種基于2層sym4小波分解提取特征的半?yún)⒖?60度全景圖像質(zhì)量評(píng)價(jià)方法，基于小波域特征，用系數(shù)、方差和熵來(lái)反映光譜、能量和信息內(nèi)容，計(jì)算失真全景圖像和原始參考圖像之間的特征差值向量，通過(guò)留一交叉驗(yàn)證法對(duì)數(shù)據(jù)庫(kù)包含的五組圖像中的四組進(jìn)行訓(xùn)練，在此基礎(chǔ)上建立圖像質(zhì)量預(yù)測(cè)模型，并對(duì)另一組進(jìn)行測(cè)試。近年來(lái)，深度學(xué)習(xí)發(fā)展迅猛，在學(xué)界應(yīng)用廣泛，深度學(xué)習(xí)技術(shù)也在不斷促進(jìn)VR客觀質(zhì)量評(píng)價(jià)方法的發(fā)展。全景視頻/圖像客觀質(zhì)量評(píng)價(jià)方法研究者正在嘗試將深度學(xué)習(xí)引入質(zhì)量評(píng)估方法的設(shè)計(jì)中，比如由于傳統(tǒng)的VQA方法難以捕獲全景視頻中復(fù)雜的全局時(shí)間信息，因此越來(lái)越多的研究者開(kāi)始將卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks,CNN)應(yīng)用于全景視頻/圖像客觀質(zhì)量評(píng)價(jià)算法設(shè)計(jì)中。Wu[31]等人設(shè)計(jì)了一個(gè)3D-CNN網(wǎng)絡(luò)用于客觀分?jǐn)?shù)預(yù)測(cè)，并在與權(quán)重結(jié)合之后取得了最佳性能。Yang等人[32]從空間域評(píng)估和全局時(shí)域評(píng)估兩個(gè)方面入手，研究了全景視頻的特點(diǎn),提出一種結(jié)合了球形卷積神經(jīng)網(wǎng)絡(luò)（CNN）和非局部神經(jīng)網(wǎng)絡(luò)的全景視頻質(zhì)量評(píng)估方法，可以有效地提取全景視頻的復(fù)雜時(shí)空信息，端到端地評(píng)估全景視頻和立體全景視頻的質(zhì)量。與普通CNN相比，球形CNN[33]可以有效地提取全景視頻中的“變形”特征，并且在全景視頻處理中具有平移不變性，旋轉(zhuǎn)不變性和比例不變性。球形CNN將平面上的全景圖像投影到三維球面上，通過(guò)卷積提取球面上的相關(guān)特征，該網(wǎng)絡(luò)能夠充分利用輸入數(shù)據(jù)的全局時(shí)態(tài)信息。非局部神經(jīng)網(wǎng)絡(luò)模塊[34]使神經(jīng)網(wǎng)絡(luò)中的特征圖中包含關(guān)注信息，可以與球形CNN一起提取全景視頻的全局時(shí)間信息。此外，非局部神經(jīng)網(wǎng)絡(luò)模塊采用殘差結(jié)構(gòu)，可以在保持輸入和輸出大小相同的情況下嵌入球形CNN，而不需要分別對(duì)空間域和全局時(shí)域進(jìn)行評(píng)估。但盡管該方法效果良好，但在使用非局部神經(jīng)網(wǎng)絡(luò)模塊時(shí)需要占用消耗大量的計(jì)算資源和存儲(chǔ)空間。受全景視頻中包含龐大的數(shù)據(jù)量以及網(wǎng)絡(luò)計(jì)算復(fù)雜性的影響，一些需要參數(shù)計(jì)算的技術(shù)，如GN層[35]難以廣泛應(yīng)用。Sun[36]等人將每個(gè)360度圖像投影到六個(gè)視口圖像中，并將這些圖像用作模型的輸入，這可以有效避免幾何畸變，更符合人類(lèi)視覺(jué)系統(tǒng)。在預(yù)處理階段的具體處理是將等角矩形圖像投影到六個(gè)均等大小的視口圖像中，以90度的視場(chǎng)表示每個(gè)立方體面并更改了視角的經(jīng)度，以從一個(gè)全向投影許多不同組的視口圖像，以避免過(guò)度擬合，研究者利用包含六個(gè)并行的hyper-ResNet34網(wǎng)絡(luò)的多通道CNN提取特征，使用超級(jí)CNN架構(gòu)合并中間層的功能，最終使用圖像質(zhì)量回歸器融合特征并將其回歸到最終分?jǐn)?shù)。Kim[37]等人設(shè)計(jì)了一種利用生成對(duì)抗網(wǎng)絡(luò)技術(shù)的模型，分為VR質(zhì)量評(píng)分預(yù)測(cè)器和人類(lèi)感知向?qū)刹糠?；VR質(zhì)量評(píng)分預(yù)測(cè)器根據(jù)位置信息和視覺(jué)信息綜合評(píng)定質(zhì)量分?jǐn)?shù)，可以對(duì)全向圖像的整體視覺(jué)質(zhì)量分?jǐn)?shù)進(jìn)行評(píng)價(jià)；通過(guò)對(duì)抗性學(xué)習(xí)，人類(lèi)感知向?qū)軌蚴诡A(yù)測(cè)器能夠更準(zhǔn)確地預(yù)測(cè)質(zhì)量分?jǐn)?shù)，提高預(yù)測(cè)器的性能?？偟膩?lái)說(shuō)，全景視頻/圖像質(zhì)量評(píng)估研究正處于迅猛發(fā)展階段，研究者未來(lái)可以從考慮全景視頻/圖像本身的多種特性出發(fā)，結(jié)合傳統(tǒng)媒體評(píng)估標(biāo)準(zhǔn)或新興的深度學(xué)習(xí)技術(shù)，設(shè)計(jì)出性能更加優(yōu)越的全景視頻/圖像質(zhì)量評(píng)估方法。參考文獻(xiàn)[1]胡含波,何小俊,李薇薇,羅雯.虛擬現(xiàn)實(shí)技術(shù)在腦卒中后失語(yǔ)癥病人言語(yǔ)康復(fù)中的應(yīng)用進(jìn)展[J].護(hù)理研究,2021,35(09):1601-1604.[2]張頌波.虛擬現(xiàn)實(shí)技術(shù)在施工企業(yè)安全教育中的應(yīng)用[J].山西建筑,2021,47(10):193-195.[3]薄天軍.關(guān)于虛擬現(xiàn)實(shí)技術(shù)在消防戰(zhàn)訓(xùn)工作中的應(yīng)用探析[J].今日消防,2021,6(04):10-11.[4]肖世龍,張?zhí)鹛?徐蕾.基于虛擬現(xiàn)實(shí)的現(xiàn)代建筑裝飾設(shè)計(jì)[J].建筑結(jié)構(gòu),2021,51(08):157.[5]A.Singla,S.Fremerey,W.RobitzaandA.Raake,"MeasuringandcomparingQoEandsimulatorsicknessofomnidirectionalvideosindifferentheadmounteddisplays,"2017NinthInternationalConferenceonQualityofMultimediaExperience(QoMEX),2017,pp.1-6.[6] ITU-RRecommendationBT.500-11.Methodologyforthesubjectiveassessmentofthequalityoftelevisionpictures.2002.[7] ITU-TRecommendationP.910.Subjectivevideoqualityassessmentmethodsformultimediaapplications.1992.[8]H.Duan,G.Zhai,X.Yang,D.LiandW.Zhu,"IVQAD2017:Animmersivevideoqualityassessmentdatabase,"2017InternationalConferenceonSystems,SignalsandImageProcessing(IWSSIP),2017,pp.1-5.[9]H.Duan,G.Zhai,X.Min,Y.Zhu,Y.FangandX.Yang,"PerceptualQualityAssessmentofOmnidirectionalImages,"2018IEEEInternationalSymposiumonCircuitsandSystems(ISCAS),2018,pp.1-5.[10]W.Sun,K.Gu,G.Zhai,S.Ma,W.LinandP.LeCalle,"CVIQD:Subjectivequalityevaluationofcompressedvirtualrealityimages,"2017IEEEInternationalConferenceonImageProcessing(ICIP),2017,pp.3450-3454.[11]M.Xu,C.Li,Y.Liu,X.DengandJ.Lu,"Asubjectivevisualqualityassessmentmethodofpanoramicvideos,"2017IEEEInternationalConferenceonMultimediaandExpo(ICME),2017,pp.517-522.[12]Y.Zhangetal.,"SubjectivePanoramicVideoQualityAssessmentDatabaseforCodingApplications,"inIEEETransactionsonBroadcasting,vol.64,no.2,pp.461-473,June2018.[13]J.Yang,T.Liu,B.Jiang,H.SongandW.Lu,"3DPanoramicVirtualRealityVideoQualityAssessmentBasedon3DConvolutionalNeuralNetworks,"inIEEEAccess,vol.6,pp.38669-38682,2018.[14] H.Sheikh,K.Seshadrinathan,A.K.Moorthy,Z.wang,A.C.Bovik,andL.K.Cormack,ImageandVideoQualityAssessmentReacheratLIVE[Online].Available:/research/quality/.[15] N.PonomarenkoandK.Egiazarian,TampereImageDatabase2008TID2008[Online].Available:/tid2008.html.[16] N.Ponomarenko,O.Ieremeiev,V.Lukin,etal.,“ColorimagedatabaseTID2013:Peculiaritiesandpreliminaryresults,”inEuropeanWorkshoponVisualInformationProcessing(EUVIP),Paris,2013,pp.106-111.[17]K.Gu,G.T.Zhai,M.Liu,“FISBLIM:afive-stepblindmetricforqualityassessmentofmultiplydistortedimages,”inIEEEWorkshoponSignalProcessingSystems,Taipei,2013:241-246.[18]D.Jayaraman,A.Mittal,A.K.MoorthyandA.C.Bovik,“Objectivequalityassessmentofmultiplydistortedimages,”in2012ConferenceRecordoftheFortySixthAsilomarConferenceonSignals,SystemsandComputers(ASILOMAR),PacificGrove,CA,2012,pp.1693-1697[19]A.Benoit,P.LeCallet,P.Campisi,andR.Cousseau,‘‘Qualityassessmentofstereoscopicimages,’’EurasipJ.ImageVideoProcess.,vol.2008,no.1,pp.1–13,2009.[20]R.Song,H.Ko,andC.-C.J.Kuo,‘‘MCL-3D:Adatabaseforstereoscopicimagequalityassessmentusing2D-image-plus-depthsource,’’J.Inf.Sci.Eng.,vol.31,no.5,pp.1593–1611,2014.[21]J.Zhouetal.,‘‘Subjectivequalityanalysesofstereoscopicimagesin3DTVsystem,’’inProc.Vis.Commun.ImageProcess.,Nov.2011,pp.1–4.[22]M.Urvoyetal.,‘‘NAMA3DS1-COSPAD1:Subjectivevideoqualityassessmentdatabaseoncodingconditionsintroducingfreelyavailablehighquality3Dstereoscopicsequences,’’inProc.4thInt.WorkshopQual.MultimediaExp.,Jul.2012,pp.109–114.[23]E.C.LarsonandD.M.Chandler,“Mostapperentdistortion:Full-referenceimagequalityassessmentandtheroleofstrategy,”inJournalofElectronicImaging,vol.19,no.1,pp.1-21.Mar.2010.[24]A.HoréandD.Ziou,“ImageQualityMetrics:PSNRvs.SSIM,”in2010InternationalConferenceonPatternRecognition(ICPR),Istanbul,2010,pp.2366-2369.[25]Z.Wang,A.C.Bovik,H.R.SheikhandE.P.Simoncelli,“Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity,”inIEEETransactionsonImageProcessing,vol.13,no.4,pp.600-612,April2004.[26]M.Yu,H.Lakshman,andB.Girod,“Aframeworktoevaluateomnidi-rectionalvideocodingschemes,”inProc.2015IEEEInt.Symp.MixedAugmentedReal.,2015,pp.31–36.[27]V.Zakharchenko,K.P.Choi,E.AlshinaandJ.H.Park,"OmnidirectionalVideoQualityMetricsandEvaluationProcess,"2017DataCompressionConference(DCC),2017,pp.472-472.[28]Y.Sun,A.LuandL.Yu,"Weighted-to-Spherically-UniformQualityEvaluationforOmnidirectionalVideo,"inIEEESignalProcessingLetters,vol.24,no.9,pp.1408-1412,Sept.2017.[29]Y.Zhou,M.Yu,H.Ma,H.ShaoandG.Jiang,"Weighted-to-Spherically-UniformSSIMObjectiveQualityEvaluationforPanoramicVideo,"201814thIEEEInternationalConferenceonSignalProcessing(ICSP),Beijing,China,2018,pp.54-57.[30]許欣,張會(huì)清,夏志方.基于小波域特征提取的360度全景圖像質(zhì)量評(píng)價(jià)[J].電視技術(shù),2018,42(04):36-40.[31]P.Wu,W.Ding,Z.YouandP.An,"VirtualRealityVideoQualityAssessmentBasedon3dConvolutionalNeuralNetworks,"2019IEEEInternationalConferenceonImageProcessing(ICIP),Taipei,Taiwan,2019,pp.3187-3191.[32]J.Yang,T.Liu,B.Jiang,W.LuandQ.Meng,"PanoramicVideoQualityAssessmentBasedonNon-LocalSphericalCNN,"inIEEETransactionsonMultimedia,vol.23,pp.797-809,2021.[33]T.S.Cohen,M.Geiger,J.K?hler,andM.Welling,“SphericalCNNs,”inProc.Int.Conf.Learn.Represent.,2018.[34]X.Wang,R.Girshick,A.Gupta,andK.He,“Non-localneuralnet-works,”inProc.IEEEConf.Comput.VisionPatternRecognit.,2018,pp.7794–7803.[35]Y.WuandK.He,“Groupnormalization,”inProc.Eur.Conf.Comput.Vision,2018,pp.3–19.[36]W.Sun,X.Min,G.Zhai,K.Gu,H.DuanandS.Ma,"MC360IQA:AMulti-channelCNNforBlind360-DegreeImageQualityAssessment,"inIEEEJournalofSelectedTopicsinSignalProcessing,vol.14,no.1,pp.64-77,Jan.2020.[37]H.G.Kim,H.LimandY.M.Ro,"DeepVirtualRealityImageQualityAssessmentWithHumanPerceptionGuiderforOmnidirectionalImage,"inIEEETransactionsonCircuitsandSystemsforVideoTechnology,vol.30,no.4,pp.917-928,April2020.[38]S.Liu,L.Zhao,J.LiandQ.Cai,"TheApplications