(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專(zhuān)利(10)授權(quán)公告號(hào)CN114841859B(21)申請(qǐng)?zhí)?02210463442.4(22)申請(qǐng)日2022.04.28(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)申請(qǐng)公布號(hào)CN114841859A(43)申請(qǐng)公布日2022.08.02(73)專(zhuān)利權(quán)人南京信息工程大學(xué)河街道文港南路105號(hào)(74)專(zhuān)利代理機(jī)構(gòu)南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司32200GO6T3/4007(2024.01)(56)對(duì)比文件審查員張曉娜權(quán)利要求書(shū)1頁(yè)說(shuō)明書(shū)4頁(yè)附圖2頁(yè)(54)發(fā)明名稱(chēng)基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法(57)摘要Transformer的單圖像超分辨率重建方法。首先，像的低頻特征圖，其次，將特征圖分塊輸入深度可分離卷積模塊與Transformer相結(jié)合的框架中，提取圖像的高頻紋理細(xì)節(jié)特征，最后，將低頻特征圖和高頻特征圖，經(jīng)跳躍連接輸出高分辨率圖像。此方法能夠?qū)崿F(xiàn)低分辨率圖像的超分辨率21.基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法，其特征在于，包括以下步驟：步驟1:將原始的高分辨率圖像X通過(guò)雙三次插值法下采樣得到低分辨率圖像X;步驟2:使用三層卷積神經(jīng)網(wǎng)絡(luò)，提取低分辨率圖像X-的低頻特征圖X;步驟3:對(duì)步驟2得到的低分辨率圖像特征圖X,送入主體網(wǎng)絡(luò)中，得到高頻特征圖；其中，主體網(wǎng)絡(luò)由N個(gè)輕量Transformer模塊級(jí)聯(lián)而成，每個(gè)輕量Transformer模塊由第一分塊積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)而成；步驟4:將步驟2提取的低頻特征圖與步驟3得到的高頻特征圖融合，得到重建的高分辨率圖像；步驟3中輕量Transformer模塊的處理流程如下：第一分塊模塊將接收到的特征圖分割成N個(gè)相同大小的圖像塊，每個(gè)圖像塊經(jīng)過(guò)線性變換后展平為一維序列，N個(gè)一維序列經(jīng)過(guò)Transformer模塊后輸出N個(gè)圖像塊的特征圖，N個(gè)圖像塊的特征圖經(jīng)過(guò)線性變換后進(jìn)行重組形成完整的特征圖，重組形成的完整特征圖經(jīng)過(guò)深度可分離卷積神經(jīng)網(wǎng)絡(luò)，生成高頻特步驟3中的深度可分離卷積神經(jīng)網(wǎng)絡(luò)包括逐點(diǎn)卷積層和深度卷積層，其中，逐點(diǎn)卷積層和深度卷積層之后均設(shè)有批規(guī)范化層和ReLU激活函數(shù)。2.根據(jù)權(quán)利要求1所述的基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法，其特征在于，步驟2低頻特征提取中使用了三層標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)提取圖像的低頻特步驟2.1:使用三層卷積神經(jīng)網(wǎng)絡(luò)對(duì)低分辨率圖像X進(jìn)行特征提取，得到特征圖步驟2.2:將特征圖X均勻分割為N個(gè)圖像塊，第i個(gè)圖像塊XieR3×h×w,i=1,2,…,N;其3.根據(jù)權(quán)利要求1所述的基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法，其特征在于，步驟3中Transformer模塊中的編碼器和解碼器具體編碼器包括第一自注意力層和第一前饋神經(jīng)網(wǎng)絡(luò)MLP,在第一自注意力層與第一MLP之后均設(shè)有一個(gè)殘差模塊和歸一化操作模塊；解碼器包括第二自注意力層和第二前饋神經(jīng)網(wǎng)絡(luò)，在第二自注意力層和第二前饋神經(jīng)網(wǎng)絡(luò)中間還設(shè)有一層編碼器-解碼器注意力層。4.根據(jù)權(quán)利要求1所述的基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法，其特征在于，步驟4中使用跳躍連接將步驟2提取的低頻特征圖與步驟3得到的高頻特征圖融合，經(jīng)由一個(gè)卷積層得到重建的高分辨率圖像。3方法技術(shù)領(lǐng)域[0001]本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法。背景技術(shù)[0002]近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，圖像成為人們獲取信息的重要來(lái)源之一。然而大多數(shù)的圖像由于硬件性能、環(huán)境噪聲、傳輸方式和存儲(chǔ)方式的影響，會(huì)經(jīng)歷一個(gè)退化過(guò)程，導(dǎo)致圖像的質(zhì)量降低，人們往往無(wú)法獲得高分辨率的圖像，因此對(duì)圖像分辨率進(jìn)行重建是圖像處理領(lǐng)域的一項(xiàng)研究重點(diǎn)和難點(diǎn)。通過(guò)各種軟件算法低成本地提高原有圖像的分辨率，就是超分辨率(Super-Resolution,SR)重建。超分辨率重建技術(shù)突破了設(shè)備性能和環(huán)境因素的制約，節(jié)省成本，節(jié)約資源，在諸多領(lǐng)域有著重要的應(yīng)用價(jià)值和廣闊[0003]迄今為止，已經(jīng)有大量超分辨率重建方法被提出，主要分為以下三類(lèi)方法：(1)基于插值的方法；(2)基于重建的方法；(3)基于學(xué)習(xí)的方法?；诓逯档姆椒ㄓ?jì)算量小，計(jì)算主要利用圖像像素之間的相關(guān)性，根據(jù)鄰域內(nèi)局部像素值通過(guò)函數(shù)公式得到估計(jì)點(diǎn)的像素值，常見(jiàn)的插值方法有：最近鄰插值法、雙線性插值法和雙立方插值法?；谥亟ǖ姆椒ㄖ饕抢脠D像的退化模型，通過(guò)多幀低分辨率圖像的信息重構(gòu)單幀高分辨率圖像?；趯W(xué)習(xí)的方法的基本思想是通過(guò)研究低分辨率圖像與對(duì)應(yīng)高分辨率圖像之間的映射關(guān)系，然后利用這種關(guān)系對(duì)輸入圖像進(jìn)行重建。[0004]隨著計(jì)算機(jī)軟硬件技術(shù)的發(fā)展，深度學(xué)習(xí)技術(shù)逐漸興起，并且在各個(gè)領(lǐng)域得到廣泛應(yīng)用，尤其是計(jì)算機(jī)視覺(jué)領(lǐng)域。隨著各種深度神經(jīng)網(wǎng)絡(luò)模型的提出，Transformer模型在這些模型中脫穎而出。Transformer模塊中的自注意力機(jī)制可以有效克服卷積歸納偏差所帶來(lái)的局限性，但同時(shí)參數(shù)較多，計(jì)算量較大，因此本發(fā)明結(jié)合了輕量網(wǎng)絡(luò)和Transformer模型，提出了一種基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法。發(fā)明內(nèi)容[0005]本發(fā)明的目的是克服現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種參數(shù)量小，計(jì)算量小的一種基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法。[0006]為了達(dá)到以上目的，本發(fā)明所采用的技術(shù)方案是：[0007]一種基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法，其特征在于，包括以下步驟：[0008]步驟1:將原始的高分辨率圖像XH通過(guò)雙三次插值法下采樣得到低分辨率圖像[0009]步驟2:使用三層卷積神經(jīng)網(wǎng)絡(luò)，提取低分辨率圖像X的低頻特征圖X;[0010]步驟3:對(duì)步驟2得到的低分辨率圖像特征圖X,送入主體網(wǎng)絡(luò)中，得到高頻特征圖；4其中，主體網(wǎng)絡(luò)由N個(gè)輕量Transformer模塊級(jí)聯(lián)而成，每個(gè)輕量Transformer模塊由第一分卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)而成；[0011]步驟4:將步驟2提取的低頻特征圖與步驟3得到的高頻特征圖融合，得到重建的高分辨率圖像。[0012]進(jìn)一步地，步驟2低頻特征提取中使用了三層標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)提取圖像的低頻[0013]步驟2.1:使用三層卷積神經(jīng)網(wǎng)絡(luò)對(duì)低分辨率圖像XLR進(jìn)行特征提取，得到特征圖[0014]步驟2.2:將特征圖X均勻分割為N個(gè)圖像塊，第i個(gè)[0015]進(jìn)一步地，步驟3中輕量Transformer模塊的處理流程如下：第一分塊模塊將接收到的特征圖分割成N個(gè)相同大小的圖像塊，每個(gè)圖像塊經(jīng)過(guò)線性變換后展平為一維序列，N個(gè)一維序列經(jīng)過(guò)Transformer模塊后輸出N個(gè)圖像塊的特征圖，N個(gè)圖像塊的特征圖經(jīng)過(guò)線性變換后進(jìn)行重組形成完整的特征圖，重組形成的完整特征圖經(jīng)過(guò)深度可分離卷積神經(jīng)網(wǎng)[0016]進(jìn)一步地，步驟3中Transformer模塊中的編碼器和解碼器具體如下：[0017]編碼器包括第一自注意力層和第一前饋神經(jīng)網(wǎng)絡(luò)MLP,在第一自注意力層與第一MLP之后均設(shè)有一個(gè)殘差模塊和歸一化操作模塊；[0018]解碼器包括第二自注意力層和第二前饋神經(jīng)網(wǎng)絡(luò)，在第二自注意力層和第二前饋神經(jīng)網(wǎng)絡(luò)中間還設(shè)有一層編碼器-解碼器注意力層。[0019]進(jìn)一步地，步驟3中的深度可分離卷積神經(jīng)網(wǎng)絡(luò)包括逐點(diǎn)卷積層和深度卷積層，其中，逐點(diǎn)卷積層和深度卷積層之后均設(shè)有批規(guī)范化層和ReLU激活函數(shù)。[0020]進(jìn)一步地，步驟4中使用跳躍連接將步驟2提取的低分辨率圖像特征圖與步驟3得到的高分辨率特征圖融合，經(jīng)由一個(gè)卷積層得到重建的高分辨率圖像。[0021]本發(fā)明的有益效果如下：[0022]本發(fā)明使用深度可分離卷積來(lái)提取圖像的精細(xì)紋理特征，相對(duì)于普通的卷積操和解碼器模塊，其模塊中的自注意力機(jī)制可以有效克服卷積歸納偏差所帶來(lái)的局限性。此方法能夠?qū)崿F(xiàn)低分辨率圖像的超分辨率重建，得到細(xì)節(jié)豐富、紋理清晰、空間分辨率高的高分辨率圖像。附圖說(shuō)明[0023]圖1是本發(fā)明提出的基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法的流程示意圖；[0024]圖2是本發(fā)明提出的基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法模型示意圖；[0025]圖3是本發(fā)明所提出的主網(wǎng)絡(luò)的Mobile-T架構(gòu)示意圖。5具體實(shí)施方式[0026]下面結(jié)合附圖與具體實(shí)施方式對(duì)本方案進(jìn)行闡述。[0027]如圖1所示，本發(fā)明公開(kāi)了一種基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法，首先，本發(fā)明將原始的高分辨率圖像使用雙三次下采樣得到低分辨率圖像，將得到的低分辨率圖像作為網(wǎng)絡(luò)的輸入，原始的高分辨率圖像作為網(wǎng)絡(luò)(包括三層卷積神經(jīng)網(wǎng)絡(luò)、主體網(wǎng)絡(luò)以及用于最終融合的一個(gè)卷積層)訓(xùn)練時(shí)的真實(shí)標(biāo)注數(shù)據(jù)。其次，利用低頻特征提取模塊(三層卷積神經(jīng)網(wǎng)絡(luò))提取低分辨率圖像的空間結(jié)構(gòu)特征，然后，利用主體網(wǎng)絡(luò)(多個(gè)Mobile-T模型)提取圖像的高頻信息，輸出各圖像塊的特征圖，最終通過(guò)跳躍連接將高低頻特征圖融合(一個(gè)卷積層)重建出高分辨率圖像。此方法能夠?qū)崿F(xiàn)低分辨率圖像的[0028]在一個(gè)實(shí)施例中，如圖1所示，基于輕量神經(jīng)網(wǎng)絡(luò)和Transformer的單圖像超分辨率重建方法包括以下步驟：[0029]步驟1:將原始的高分辨率RGB圖像通過(guò)雙三次法下采樣得到低分辨率圖像XL。將得到的低分辨率圖像作為網(wǎng)絡(luò)的輸入，原始的高分辨率圖像作為網(wǎng)絡(luò)訓(xùn)練時(shí)的真實(shí)標(biāo)注數(shù)[0030]步驟2:使用三層標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)提取低分辨率圖像X的低頻特征圖X。[0031]步驟3:對(duì)步驟2得到的低分辨率圖像特征圖X,送入主體網(wǎng)絡(luò)中，得到高頻特征圖；其中，主體網(wǎng)絡(luò)由N個(gè)輕量Transformer模塊級(jí)聯(lián)而成，每個(gè)輕量Transformer模塊由第一分卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)而成。[0032]步驟4:將步驟2提取的低頻特征圖與步驟3得到的高頻特征圖融合，得到重建的高分辨率圖像。[0033]步驟1中包括構(gòu)建網(wǎng)絡(luò)所需的數(shù)據(jù)集，本發(fā)明中我們使用DIV2K數(shù)據(jù)集作為實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)集。首先對(duì)數(shù)據(jù)集中的圖像進(jìn)行雙三次下采樣預(yù)處理，然后將預(yù)處理后的低分辨率圖像作為網(wǎng)絡(luò)模型的輸入，原始的高質(zhì)量圖像作為真實(shí)標(biāo)注數(shù)據(jù)制作訓(xùn)練數(shù)據(jù)集。[0036]其中，XH為原始的高分辨率圖像，f(·)代表雙三次法下采樣操樣得到的低分辨率圖像。網(wǎng)絡(luò)由N個(gè)輕量Transformer模塊級(jí)聯(lián)而成，如圖3所示，每個(gè)輕量Transformer模塊由第一離卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)而成；重建模塊將低頻特征提取模塊提取的低頻特征圖與主體網(wǎng)絡(luò)輸出的高頻特征圖融合，經(jīng)由一個(gè)卷積層得到重建的高分辨率圖像。主體網(wǎng)絡(luò)能夠?qū)崿F(xiàn)對(duì)圖像精細(xì)特征的提取。[0038]所述低頻特征提取模塊由三層標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)而成，提取圖像低頻特征的[0039]三層標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)的卷積核大小為3×3:6卷積神經(jīng)網(wǎng)絡(luò)層的偏置，*表示卷積操作。[0042]所述第一和第二分塊模塊對(duì)接收到的特征圖進(jìn)行分塊：將特征圖X均勻分割為個(gè)固定大小的圖像塊X,,i=1,2,…,N。其中，XeR3×H×W,這里征圖的大小。每個(gè)分割后的特征圖像塊XieR3×h×w,i=1,2,…,N,其中N為圖像塊的數(shù)量，h=H/N,w=W/N。[0043]所述Transformer模塊中的編碼器和解碼器具體如下：[0044]編碼器：使用標(biāo)準(zhǔn)的Transformer編碼器架構(gòu)，對(duì)于每一個(gè)編碼器，主要包含兩層結(jié)構(gòu)。一個(gè)是自注意力層(Self-Attention),用于獲取上下文語(yǔ)義信息。另一個(gè)是前饋神經(jīng)網(wǎng)絡(luò)(MLP)。此外，在每個(gè)自注意力層與前饋神經(jīng)網(wǎng)絡(luò)層之后都會(huì)有一個(gè)殘差模塊和歸一化操作，其作用是加速模型收斂、防止梯度消失或梯度爆炸。其中，自注意力層輸出注意力值的具體計(jì)算公式如下：維度。三個(gè)矩陣計(jì)算后通過(guò)softmax函數(shù)輸出注意力值。自注意力層、前饋神經(jīng)網(wǎng)絡(luò)、編碼器