2019-1780472019.09.27JP號(hào)公司11293GO6T5/20(2006.01)GO6N20/00(2019.GO6N3/084(2023.GO6T5/60(2024.0GO6T5/80(2024.0權(quán)利要求書(shū)2頁(yè)說(shuō)明書(shū)14頁(yè)附圖21頁(yè)訓(xùn)練圖像訓(xùn)練圖像J連結(jié)層J形狀指定信息輸入數(shù)據(jù)21.一種用于生成估計(jì)圖像的圖像處理方法，在所述估計(jì)圖像中，校正了拍攝圖像中的第一步驟，獲取輸入數(shù)據(jù)，所述輸入數(shù)據(jù)包括所述拍攝圖像和形狀指定信息，所述形狀指定信息指定所述估計(jì)圖像中的散焦模糊形狀；以及第二步驟，將所述輸入數(shù)據(jù)輸入到機(jī)器學(xué)習(xí)模型中并生成所述估計(jì)圖像。2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述形狀指定信息包括指定散焦模糊的尺寸和類(lèi)型中的至少一者的信息。3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，所述尺寸和類(lèi)型對(duì)應(yīng)于虛擬透鏡參數(shù)。4.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，基于所述拍攝圖像的信號(hào)值來(lái)確定所述形狀指定信息。5.根據(jù)權(quán)利要求4所述的圖像處理方法，其特征在于，基于所述拍攝圖像的信號(hào)值的分布來(lái)確定所述形狀指定信息。6.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，基于所述拍攝圖像的散焦圖來(lái)確定所述形狀指定信息。7.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述形狀指定信息具有空間分8.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述形狀指定信息是至少一個(gè)信道的圖，并且利用數(shù)值指示散焦模糊的尺寸和類(lèi)型中的至少一者，并且9.根據(jù)權(quán)利要求1所述的圖像處理方法，所述圖像處理方法還包括：第三步驟，獲取與所述拍攝圖像的替換區(qū)域相關(guān)的信息，并且利用所述估計(jì)圖像來(lái)替換所述拍攝圖像的所述替換區(qū)域。10.根據(jù)權(quán)利要求9所述的圖像處理方法，其特征在于，基于所述拍攝圖像的信號(hào)值或散焦圖來(lái)確定所述替換區(qū)域。11.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述輸入數(shù)據(jù)還包括所述拍攝圖像的散焦圖或亮度飽和圖。12.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述機(jī)器學(xué)習(xí)模型針對(duì)用于指定散焦模糊的尺寸和類(lèi)型中的一者的第一形狀指定信息、以及用于指定所述散焦模糊的尺寸和類(lèi)型中的一者的不同于所述第一形狀指定信息的第二形狀指定信息，使用相同的權(quán)13.一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)用于使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1所述的圖像處理方法的程序。14.一種用于生成估計(jì)圖像的圖像處理裝置，在所述估計(jì)圖像中，校正了拍攝圖像中的散焦模糊形狀，所述圖像處理裝置包括：獲取器，其被構(gòu)造為獲取輸入數(shù)據(jù)，所述輸入數(shù)據(jù)包括所述拍攝圖像和形狀指定信息，所述形狀指定信息指定所述估計(jì)圖像中的散焦模糊形狀；以及生成器，其被構(gòu)造為將所述輸入數(shù)據(jù)輸入到機(jī)器學(xué)習(xí)模型中并生成所述估計(jì)圖像。15.一種學(xué)習(xí)模型制造方法，其包括如下步驟：3獲取針對(duì)相同被攝體具有不同模糊形狀的訓(xùn)練圖像和正解圖像；獲取用于指定所述正解圖像的散焦模糊形狀的形狀指定信息；以及在機(jī)器學(xué)習(xí)模型處基于所述訓(xùn)練圖像、所述正解圖像和所述形狀指定信息來(lái)進(jìn)行學(xué)第一獲取器，其被構(gòu)造為，獲取針對(duì)相同被攝體具有不同模糊形狀的訓(xùn)練圖像和正解第二獲取器，其被構(gòu)造為，獲取用于指定所述正解圖像的散焦模糊形狀的形狀指定信學(xué)習(xí)器，其被構(gòu)造為，在機(jī)器學(xué)習(xí)模型處基于所述訓(xùn)練圖像、所述正解圖像和所述形狀指定信息來(lái)進(jìn)行學(xué)習(xí)。17.一種圖像處理系統(tǒng)，其包括彼此進(jìn)行通信的第一裝置和第二裝置，其特征在于，所述第一裝置包括發(fā)送器，所述發(fā)送器被構(gòu)造為向所述第二裝置發(fā)送針對(duì)拍攝圖像的處理執(zhí)行請(qǐng)求，獲取器，其被構(gòu)造為獲取輸入數(shù)據(jù)，所述輸入數(shù)據(jù)包括所述拍攝圖像和形狀指定信息，所述形狀指定信息用于指定估計(jì)圖像的散焦模糊形狀；以及生成器，其被構(gòu)造為，根據(jù)所述請(qǐng)求將所述輸入數(shù)據(jù)輸入到機(jī)器學(xué)習(xí)模型中，并生成所述估計(jì)圖像，在所述估計(jì)圖像中，校正了所述拍攝圖像的散焦模糊形狀。4圖像處理方法、裝置及系統(tǒng)、存儲(chǔ)介質(zhì)和學(xué)習(xí)模型制造方法[0001]本申請(qǐng)是申請(qǐng)日為2020年9月25日、申請(qǐng)?zhí)枮?02011022610.3、發(fā)明名稱(chēng)為“圖像處理方法、裝置及系統(tǒng)、存儲(chǔ)介質(zhì)和學(xué)習(xí)模型制造方法”的發(fā)明專(zhuān)利申請(qǐng)的分案申請(qǐng)。技術(shù)領(lǐng)域[0002]本發(fā)明涉及用于通過(guò)對(duì)在拍攝圖像中的由散焦引起的模糊進(jìn)行整形來(lái)獲得良好的圖像的圖像處理方法。背景技術(shù)[0003]日本特開(kāi)("JP")2016-220016號(hào)公報(bào)公開(kāi)了一種校正由散焦引起的模糊形狀(散焦模糊或散焦散景)的方法，該方法包括：將光學(xué)系統(tǒng)中的光瞳劃分為多個(gè)部分；拍攝通過(guò)從各個(gè)劃分的光瞳觀察被攝體空間而獲得的多個(gè)視差圖像；以及調(diào)整用于組合多個(gè)視差圖像的權(quán)重。[0004]然而，在JP2016-220016號(hào)公報(bào)中公開(kāi)的方法不能再現(xiàn)與比光學(xué)系統(tǒng)中的光瞳更大的光瞳相對(duì)應(yīng)的散焦模糊，這是因?yàn)樵摲椒ㄕ{(diào)整各個(gè)劃分的光瞳的權(quán)重并且組合多個(gè)視差圖像。換句話說(shuō)，該方法不能彌補(bǔ)由漸暈引起的散焦模糊缺陷。當(dāng)用于組合多個(gè)視差圖像的權(quán)重變得不均勻時(shí)，噪聲增加。由于雙線模糊等具有精細(xì)的結(jié)構(gòu)，因此有必要將光學(xué)系統(tǒng)中的光瞳劃分為更精細(xì)的部分以降低其影響。然后，各個(gè)視差圖像的空間分辨率降低或噪聲增加。[0005]可以利用諸如CNN(ConvolutionalNeuralNetwork,卷積神經(jīng)網(wǎng)絡(luò))的機(jī)器學(xué)習(xí)模型來(lái)校正散焦模糊形狀。由于用戶對(duì)散焦模糊形狀的個(gè)人喜好，因此有必要學(xué)習(xí)具有各種形狀的散焦模糊作為正解圖像(groundtruthimage)。然而，當(dāng)針對(duì)某些情況存在與單個(gè)訓(xùn)練圖像相對(duì)應(yīng)的多個(gè)正解圖像時(shí)，當(dāng)僅利用一個(gè)機(jī)器學(xué)習(xí)模型中的權(quán)重時(shí)很難對(duì)學(xué)習(xí)數(shù)據(jù)進(jìn)行學(xué)習(xí)。于是，即使將拍攝圖像輸入到學(xué)習(xí)后的CNN,也可以輸出作為正解圖像的各種散焦模糊形狀的平均值作為估計(jì)圖像。這是因?yàn)镃NN平均地學(xué)習(xí)多個(gè)正解圖像。如果針對(duì)作為正解圖像的各個(gè)散焦模糊形狀來(lái)學(xué)習(xí)不同的權(quán)重，則學(xué)習(xí)負(fù)荷和存儲(chǔ)的數(shù)據(jù)量將增發(fā)明內(nèi)容[0006]本發(fā)明提供了圖像處理方法等，圖像處理方法等中的各個(gè)能夠在抑制機(jī)器學(xué)習(xí)模型的學(xué)習(xí)負(fù)荷和存儲(chǔ)的數(shù)據(jù)量的增大的同時(shí)將拍攝圖像中的散焦模糊形狀校正為各種形[0007]根據(jù)本發(fā)明的一方面的圖像處理方法，用于生成估計(jì)圖像，在所述估計(jì)圖像中，校正了拍攝圖像中的散焦模糊形狀，所述圖像處理方法包括：第一步驟，獲取輸入數(shù)據(jù)，所述輸入數(shù)據(jù)包括所述拍攝圖像和形狀指定信息，所述形狀指定信息指定所述估計(jì)圖像中的散焦模糊形狀；以及第二步驟，將所述輸入數(shù)據(jù)輸入到機(jī)器學(xué)習(xí)模型中并生成所述估計(jì)圖像。[0008]存儲(chǔ)用于使計(jì)算機(jī)執(zhí)行以上圖像處理方法的程序的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介5質(zhì)也構(gòu)成了本發(fā)明的另一方面。對(duì)應(yīng)于以上圖像處理方法的圖像處理裝置也構(gòu)成了本發(fā)明的另一方面。[0009]根據(jù)本發(fā)明的另一方面的學(xué)習(xí)模型制造方法，包括如下步驟：獲取針對(duì)相同被攝體具有不同模糊形狀的訓(xùn)練圖像和正解圖像；獲取用于指定所述正解圖像的散焦模糊形狀的形狀指定信息；以及在機(jī)器學(xué)習(xí)模型處基于所述訓(xùn)練圖像、所述正解圖像和所述形狀指定信息來(lái)進(jìn)行學(xué)習(xí)。對(duì)應(yīng)于以上學(xué)習(xí)模型制造方法的圖像處理裝置也構(gòu)成了本發(fā)明的另一方面。[0010]根據(jù)本發(fā)明的另一方面的圖像處理系統(tǒng)，包括彼此進(jìn)行通信的第一裝置和第二裝置。所述第一裝置包括發(fā)送器，所述發(fā)送器被構(gòu)造為向所述第二裝置發(fā)送針對(duì)拍攝圖像的處理執(zhí)行請(qǐng)求。所述第二裝置包括：接收器，其被構(gòu)造為接收所述請(qǐng)求；獲取器，其被構(gòu)造為獲取輸入數(shù)據(jù)，所述輸入數(shù)據(jù)包括所述拍攝圖像和形狀指定信息，所述形狀指定信息用于指定估計(jì)圖像的散焦模糊形狀；以及生成器，其被構(gòu)造為根據(jù)所述請(qǐng)求將所述輸入數(shù)據(jù)輸入到機(jī)器學(xué)習(xí)模型中，并生成所述估計(jì)圖像，在所述估計(jì)圖像中，校正了所述拍攝圖像的散焦模糊形狀。[0011]通過(guò)以下參照附圖對(duì)示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。附圖說(shuō)明[0012]圖1示出了根據(jù)第一實(shí)施例的機(jī)器學(xué)習(xí)模型的構(gòu)造。[0013]圖2是根據(jù)第一實(shí)施例的圖像處理系統(tǒng)的框圖。[0014]圖3是根據(jù)第一實(shí)施例的圖像處理系統(tǒng)的外觀。[0015]圖4是根據(jù)第一至第四實(shí)施例的學(xué)習(xí)數(shù)據(jù)生成方法的流程圖。[0016]圖5是根據(jù)第一、第三和第四實(shí)施例的針對(duì)權(quán)重學(xué)習(xí)的流程圖。[0017]圖6是根據(jù)第一實(shí)施例的用于生成估計(jì)圖像的流程圖。[0018]圖7是根據(jù)第一實(shí)施例的用于編輯拍攝圖像的流程圖。[0019]圖8示出了根據(jù)第一實(shí)施例的用戶界面。[0020]圖9示出了根據(jù)第二實(shí)施例的機(jī)器學(xué)習(xí)模型的構(gòu)造。[0021]圖10是根據(jù)第二實(shí)施例的圖像處理系統(tǒng)的框圖。[0022]圖11是根據(jù)第二實(shí)施例的圖像處理系統(tǒng)的外觀。[0023]圖12是根據(jù)第二實(shí)施例的用于權(quán)重學(xué)習(xí)的流程圖。[0024]圖13是根據(jù)第二實(shí)施例的用于生成估計(jì)圖像的流程圖。[0025]圖14示出了根據(jù)第二實(shí)施例的用戶界面。[0026]圖15示出了根據(jù)第三實(shí)施例的機(jī)器學(xué)習(xí)模型的構(gòu)造。[0027]圖16是根據(jù)第三實(shí)施例的圖像處理系統(tǒng)的框圖。[0028]圖17是根據(jù)第三實(shí)施例的圖像處理系統(tǒng)的外觀。[0029]圖18是根據(jù)第三實(shí)施例的用于生成估計(jì)圖像的流程圖。[0030]圖19示出了根據(jù)第三實(shí)施例的用戶界面。[0031]圖20示出了根據(jù)第四實(shí)施例的機(jī)器學(xué)習(xí)模型的構(gòu)造。[0032]圖21是根據(jù)第四實(shí)施例的圖像處理系統(tǒng)的框圖。[0033]圖22是根據(jù)第四實(shí)施例的圖像處理系統(tǒng)的外觀。6[0034]圖23是根據(jù)第四實(shí)施例的用于生成估計(jì)圖像的流程圖。[0035]圖24示出了根據(jù)第四實(shí)施例的用戶界面。[0036]圖25A至圖25C示出了根據(jù)各個(gè)實(shí)施例的在散焦距離處的點(diǎn)擴(kuò)展函數(shù)(PSF)。具體實(shí)施方式[0037]現(xiàn)在將參照附圖詳細(xì)描述根據(jù)本發(fā)明的實(shí)施例。通過(guò)相同的附圖標(biāo)記來(lái)指定各圖[0038]在具體描述實(shí)施例之前，將描述本發(fā)明的要點(diǎn)。本發(fā)明使用機(jī)器學(xué)習(xí)模型來(lái)對(duì)拍攝圖像中的散焦模糊進(jìn)行重新整形。機(jī)器學(xué)習(xí)模型包括例如神經(jīng)網(wǎng)絡(luò)、遺傳編程、貝葉斯網(wǎng)絡(luò)等。神經(jīng)網(wǎng)絡(luò)包括CNN、GAN(GenerativeAdversary(RecurrentNeuralNetwork,遞歸神經(jīng)網(wǎng)絡(luò))等。散焦模糊整形是指對(duì)散焦模糊形式或形狀進(jìn)行重新整形而不恢復(fù)頻率分量。例如，包括從雙線散焦模糊重新整形為高斯散焦模糊或圓形散焦模糊等。各種散焦模糊形狀的細(xì)節(jié)將在后面描述。要校正的其他散焦模糊例如包括由漸暈引起的散焦模糊缺陷、以及由諸如反射折射透鏡的光瞳遮擋引起的環(huán)形散焦模糊。本發(fā)明不限制目標(biāo)散焦模糊形狀或校正后的散焦模糊形狀。[0039]接下來(lái)，描述與在智能電話上進(jìn)行的散焦模糊添加的區(qū)別。具有廣角鏡頭和小的傳感器尺寸的智能電話難以創(chuàng)建散焦模糊。因此，添加散焦模糊以創(chuàng)建期望的散焦模糊。另一方面，根據(jù)本發(fā)明的散焦模糊校正將已經(jīng)散焦的被攝體校正為期望的散焦模糊。換句話說(shuō)，本發(fā)明需要應(yīng)用滿足在預(yù)先存在的散焦模糊與期望的散焦模糊之間的差異的散焦模[0040]輸入到機(jī)器學(xué)習(xí)模型的輸入數(shù)據(jù)包括拍攝圖像和指定校正后的散焦模糊形狀的信息(形狀指定信息)。該形狀是指散焦模糊的類(lèi)型和尺寸中的至少一者。在機(jī)器學(xué)習(xí)模型的學(xué)習(xí)中，通過(guò)將形狀指定信息與訓(xùn)練圖像一起輸入，機(jī)器學(xué)習(xí)模型可以針對(duì)單個(gè)訓(xùn)練圖像學(xué)習(xí)具有不同散焦模糊形狀的多個(gè)正解圖像。換句話說(shuō)，即使正解圖像包括具有各種形狀的散焦模糊，也可以學(xué)習(xí)用于針對(duì)各個(gè)散焦模糊形狀而創(chuàng)建不同形狀的權(quán)重，而不是用于創(chuàng)建散焦模糊的平均形狀的權(quán)重。因此，可以高精度地集中學(xué)習(xí)包括具有各種形狀的散焦模糊的學(xué)習(xí)數(shù)據(jù)。結(jié)果，本發(fā)明可以根據(jù)用戶的喜好校正具有各種形狀的散焦模糊，同時(shí)抑制學(xué)習(xí)負(fù)荷和存儲(chǔ)的數(shù)據(jù)量。[0041]在下文中，對(duì)機(jī)器學(xué)習(xí)模型的權(quán)重進(jìn)行學(xué)習(xí)的階段被稱(chēng)為學(xué)習(xí)階段，并且使用機(jī)器學(xué)習(xí)模型和經(jīng)學(xué)習(xí)權(quán)重(learnedweight)對(duì)散焦模糊形狀進(jìn)行校正的階段被稱(chēng)為估計(jì)階段。[0042]第一實(shí)施例[0043]現(xiàn)在參照?qǐng)D2和圖3,將描述根據(jù)本發(fā)明的第一實(shí)施例的圖像處理系統(tǒng)。圖2是圖像處理系統(tǒng)100的框圖。圖3是圖像處理系統(tǒng)100的外觀。[0044]圖像處理系統(tǒng)100包括學(xué)習(xí)裝置101、攝像裝置102、圖像估計(jì)裝置103、顯示裝置成器101c和更新器101d,并且對(duì)用于校正散焦模糊的機(jī)器學(xué)習(xí)模型的權(quán)重進(jìn)行學(xué)習(xí)(以制造學(xué)習(xí)模型)。稍后將描述權(quán)重學(xué)習(xí)和使用權(quán)重的散焦模糊校正處理的細(xì)節(jié)。[0045]攝像裝置102具有光學(xué)系統(tǒng)102a和圖像傳感器102b,并且拍攝被攝體空間的圖像7以獲取拍攝圖像。光學(xué)系統(tǒng)102a收集從被攝體空間入射的光并形成光學(xué)圖像(被攝體圖像)。圖像傳感器102b通過(guò)對(duì)光學(xué)圖像進(jìn)行光電轉(zhuǎn)換來(lái)獲取拍攝圖像。圖像傳感器102b例如[0046]圖像估計(jì)裝置(圖像處理裝置)103包括存儲(chǔ)器103a、獲取器103b,模糊整形單元(模糊形狀校正器或生成器)103c和生成器103d。圖像估計(jì)裝置103針對(duì)由攝像裝置102拍攝的拍攝圖像(的至少一部分),生成校正了散焦模糊形狀的估計(jì)圖像。對(duì)于散焦模糊校正，使用機(jī)器學(xué)習(xí)模型，該機(jī)器學(xué)習(xí)模型使用已通過(guò)學(xué)習(xí)裝置101學(xué)習(xí)的權(quán)重。學(xué)習(xí)裝置101和圖像估計(jì)裝置103通過(guò)網(wǎng)絡(luò)107連接，并且圖像估計(jì)裝置103在散焦模糊校正之前或在散焦模糊校正期間，從學(xué)習(xí)裝置101讀出經(jīng)學(xué)習(xí)權(quán)重信息。估計(jì)圖像被輸出到顯示裝置104、記錄介質(zhì)105和輸出裝置106中的至少一個(gè)。[0047]顯示裝置104例如是液晶顯示器或投影器。用戶可以在檢查正經(jīng)由顯示裝置104處理的圖像的同時(shí)進(jìn)行編輯等。稍后將描述在編輯期間的用戶界面的細(xì)節(jié)。記錄介質(zhì)105例如是半導(dǎo)體存儲(chǔ)器、硬盤(pán)驅(qū)動(dòng)器、網(wǎng)絡(luò)上的服務(wù)器等，并且存儲(chǔ)估[0048]現(xiàn)在參照?qǐng)D4,將描述生成由學(xué)習(xí)裝置101執(zhí)行的學(xué)習(xí)數(shù)據(jù)，圖4是學(xué)習(xí)數(shù)據(jù)生成方法的流程圖。圖4中的各個(gè)步驟主要由學(xué)習(xí)裝置101中的各個(gè)單元執(zhí)行。該實(shí)施例使用CNN作為機(jī)器學(xué)習(xí)模型，但是可以類(lèi)似地應(yīng)用其他模型。[0049]首先，在步驟S101中，獲取器101b獲取原始圖像。原始圖像的數(shù)量可以是一個(gè)或更多個(gè)。原始圖像是實(shí)際拍攝的圖像、CG(計(jì)算機(jī)圖形)圖像等。在后續(xù)步驟中，將散焦模糊應(yīng)用于原始圖像以創(chuàng)建訓(xùn)練圖像和正解圖像。因此，原始圖像可能包括具有擁有各種強(qiáng)度和方向的邊緣、紋理、漸變、平坦部分等的圖像，從而對(duì)各種被攝體正確地進(jìn)行散焦模糊的形狀轉(zhuǎn)換。[0050]原始圖像可以具有比圖像傳感器102b的亮度飽和值高的信號(hào)值。這是因?yàn)榧词巩?dāng)攝像裝置102在特定曝光條件下拍攝實(shí)際被攝體的圖像時(shí)，也有一些被攝體沒(méi)有落入亮度飽和值內(nèi)。正解圖像和訓(xùn)練圖像接收散焦模糊，然后通過(guò)圖像傳感器102b的亮度飽和值剪輯。從而可以再現(xiàn)沒(méi)有落入實(shí)際亮度飽和值的被攝體。[0051]接下來(lái)，在步驟S102中，生成器(第二獲取器)101c生成(獲取)形狀指定信息(其指定正解圖像的散焦模糊形狀),并將其存儲(chǔ)在存儲(chǔ)器101a中。形狀指定信息指定校正后的散焦形狀的尺寸和類(lèi)型中的至少一者。類(lèi)型表示由于PSF(點(diǎn)擴(kuò)展函數(shù))強(qiáng)度分布上的差異而[0052]現(xiàn)在參照?qǐng)D25A至圖25C,將描述雙線模糊、圓形模糊和高斯模糊。圖25A示出了雙線模糊的點(diǎn)擴(kuò)展函數(shù)(PSF)。在圖25A中，橫坐標(biāo)軸表示空間坐標(biāo)(位置),而縱坐標(biāo)軸表示強(qiáng)度。這也適用于稍后描述的圖25B和圖25C。如圖25A所示，雙線模糊具有擁有分離的峰的PSF。當(dāng)散焦距離處的PSF具有如圖25A所示的形狀時(shí)，最初具有單線的被攝體由于散焦而看示出了具有高斯模糊的PSF。高斯模糊具有擁有高斯分布的PSF。尺寸是指PSF具有強(qiáng)度的范[0053]指定尺寸對(duì)應(yīng)于虛擬地改變光學(xué)系統(tǒng)102a的F數(shù)(光圈值)。當(dāng)F數(shù)改變時(shí)，光學(xué)系統(tǒng)102a的光瞳的尺寸改變，使得散焦模糊的尺寸改變。校正散焦模糊的圖像處理可以將F數(shù)8改變?yōu)楣鈱W(xué)系統(tǒng)102a無(wú)法從拍攝圖像物理獲取的F數(shù)。指定類(lèi)型對(duì)應(yīng)于將光學(xué)系統(tǒng)102a虛擬地改變?yōu)椴煌耐哥R構(gòu)造。散焦模糊的類(lèi)型(諸如雙線模糊、圓形模糊和高斯模糊)取決于由光學(xué)系統(tǒng)102a的透鏡構(gòu)造確定的光瞳函數(shù)。換句話說(shuō)，指定校正后的散焦的尺寸或類(lèi)型對(duì)應(yīng)于指定虛擬透鏡參數(shù)。更具體地，指定F如雙線模糊和圓形模糊的類(lèi)型對(duì)應(yīng)于改變光瞳函數(shù)的振幅或相位。[0054]形狀指定信息可以是標(biāo)量或圖(map),但是在本實(shí)施例中是圖。當(dāng)形狀指定信息是標(biāo)量時(shí)，不能針對(duì)圖像中的各個(gè)區(qū)域指定散焦模糊形狀。另一方面，當(dāng)形狀指定信息是圖時(shí)，可以針對(duì)圖像中的各個(gè)區(qū)域指定散焦模糊形狀。因此形狀指定信息可以是圖。當(dāng)形狀指定信息是圖時(shí)，信道數(shù)是一個(gè)或更多個(gè)，散焦模糊的類(lèi)型和尺寸由數(shù)值指示，并將數(shù)值歸一化。例如，當(dāng)在具有一個(gè)信道的圖中指定模糊類(lèi)型時(shí)，可以將0設(shè)置1設(shè)置為圓形模糊。在利用具有多個(gè)信道的圖來(lái)進(jìn)行指定時(shí)，可以將1設(shè)置為第一信道上的高斯模糊的區(qū)域，并且可以將1設(shè)置為第二信道上的圓形模糊的區(qū)域。當(dāng)通過(guò)具有一個(gè)信道的圖來(lái)指定模糊尺寸時(shí)，可以將0設(shè)置為與F1.0相對(duì)應(yīng)的尺寸，并且可以將1設(shè)置為與F2.0相對(duì)應(yīng)的尺寸。在利用具有多個(gè)信道的圖進(jìn)行指定時(shí)，可以將1設(shè)置為在第一信道上與F2.0相對(duì)應(yīng)的尺寸的區(qū)域，并且可以將1設(shè)置為在第二信道上與F1.0相對(duì)應(yīng)的尺寸的區(qū)域。[0055]可以將平滑濾波器等應(yīng)用于形狀指定信息。由此可以精確地校正指定不同形狀的邊界。形狀指定信息生成指定各種散焦模糊形狀的多條信息。在該實(shí)施例中，各種散焦模糊形狀是在示出用戶界面的圖8中的散焦模糊形狀指定標(biāo)簽104a上可選擇的形狀。[0056]接下來(lái)，在圖4的步驟S103中，生成器101c生成訓(xùn)練圖像并將其存儲(chǔ)在存儲(chǔ)器101a中。訓(xùn)練圖像是通過(guò)將目標(biāo)散焦模糊應(yīng)用于原始圖像并通過(guò)進(jìn)行成像模擬而獲得的圖像。為了處理所有的拍攝圖像，可以應(yīng)用與各種散焦量相對(duì)應(yīng)的散焦模糊。可以通過(guò)將PSF與原始圖像進(jìn)行卷積或通過(guò)取原始圖像的頻率特性與OTF(光學(xué)傳遞函數(shù))的乘積，來(lái)應(yīng)用散焦模糊。在校正散焦模糊前后，焦平面上的圖像可以不變，使得也會(huì)生成未應(yīng)用散焦模糊的訓(xùn)練圖像和正解圖像。[0057]接下來(lái)，在步驟S104中，生成器101c針對(duì)單個(gè)訓(xùn)練圖像生成與多個(gè)形狀指定信息相對(duì)應(yīng)的多個(gè)正解圖像，并將它們存儲(chǔ)在存儲(chǔ)器101a中。正解圖像是通過(guò)對(duì)原始圖像應(yīng)用校正后的散焦模糊形狀并通過(guò)進(jìn)行成像模擬而獲得的圖像。對(duì)于校正后的散焦模糊形狀，準(zhǔn)備具有與形狀指定信息相對(duì)應(yīng)的不同尺寸和類(lèi)型的各種圖案，諸如與F2.0相對(duì)應(yīng)的圓形模糊和與F1.0相對(duì)應(yīng)的高斯模糊。正解圖像和訓(xùn)練圖像可以是未顯影的RAW圖像或顯影后的圖像。可以交換生成訓(xùn)練圖像、正解圖像和形狀指定信息的順序。[0058]由光學(xué)系統(tǒng)102a和圖像傳感器102b攝取的實(shí)際拍攝圖像可以用于生成學(xué)習(xí)數(shù)據(jù)，例如，使用光學(xué)系統(tǒng)102a獲得訓(xùn)練圖像。通過(guò)使用散焦模糊形狀與光學(xué)系統(tǒng)102a的散焦模糊形狀不同的另一成像光學(xué)系統(tǒng)拍攝與訓(xùn)練圖像的被攝體相同的被攝體，來(lái)獲得正解圖像。換句話說(shuō)，訓(xùn)練圖像和正解圖像可以具有相同的被攝體并且具有不同的散焦模糊形狀。在這種情況下，針對(duì)具有與光學(xué)系統(tǒng)102a的散焦模糊形狀不同的散焦模糊形狀的不同的成像光學(xué)系統(tǒng)，生成多個(gè)形狀指定信息，并且多個(gè)形狀指定信息具有不同的數(shù)值?？梢詮耐ㄟ^(guò)以上兩種方法生成的并用于學(xué)習(xí)的訓(xùn)練圖像和正解圖像中提取具有預(yù)定數(shù)量的像素的部分區(qū)域。針對(duì)形狀指定信息，可以在與訓(xùn)練圖像和正解圖像中的各個(gè)相同的定時(shí)來(lái)提取具有預(yù)定數(shù)量的像素的部分區(qū)域。另選地，在可以從訓(xùn)練圖像和正解圖像中提取具有預(yù)定數(shù)9量的像素的部分區(qū)域之后，可以生成用于形狀指定信息的部分區(qū)域。[0059]現(xiàn)在參照?qǐng)D5,將描述權(quán)重學(xué)習(xí)(學(xué)習(xí)階段)。圖5是針對(duì)權(quán)重學(xué)習(xí)(學(xué)習(xí)模型制造方法)的流程圖。圖5中的各個(gè)步驟主要由學(xué)習(xí)裝置101中的各個(gè)單元執(zhí)行。[0060]首先，在步驟S111中，獲取器101b從存儲(chǔ)器101a獲取一組或更多組正解圖像和訓(xùn)練輸入數(shù)據(jù)。該訓(xùn)練輸入數(shù)據(jù)為CNN學(xué)習(xí)階段的輸入數(shù)據(jù)。訓(xùn)練輸入數(shù)據(jù)包括訓(xùn)練圖像和形狀指定信息。從多個(gè)正解圖像當(dāng)中選擇并獲取具有與形狀指定信息相對(duì)應(yīng)的散焦模糊的正解圖像。[0061]接下來(lái)，在步驟S112中，生成器101c將訓(xùn)練輸入數(shù)據(jù)輸入到CNN并生成輸出圖像?，F(xiàn)在參照?qǐng)D1,將描述在該實(shí)施例中生成輸出圖像。圖1示出了機(jī)器學(xué)習(xí)模型的構(gòu)造。訓(xùn)練輸入數(shù)據(jù)包括訓(xùn)練圖像201和形狀指定信息202。訓(xùn)練圖像201可以由灰度表達(dá)或可以具有多個(gè)信道分量。[0062]在該實(shí)施例中，CNN(卷積神經(jīng)網(wǎng)絡(luò))206具有一個(gè)或更多個(gè)卷積層或全連結(jié)層。在學(xué)習(xí)開(kāi)始時(shí)，通過(guò)隨機(jī)數(shù)生成CNN206的權(quán)重(各個(gè)濾波器元素和偏置值)。連結(jié)層205在信道方向上按預(yù)定順序連結(jié)訓(xùn)練圖像201和形狀指定信息202。可以在訓(xùn)練圖像201與形狀指定信息202之間連結(jié)其他數(shù)據(jù)。CNN206輸入連結(jié)了訓(xùn)練圖像201和形狀指定信息202的訓(xùn)練輸入數(shù)據(jù)203,并生成輸出圖像204。當(dāng)在步驟S111中獲取了多組訓(xùn)練輸入數(shù)據(jù)時(shí)，針對(duì)各個(gè)組生成輸出圖像204。即使對(duì)于相同的訓(xùn)練圖像201,輸出圖像204也會(huì)根據(jù)形狀指定信息202而不同。訓(xùn)練圖像201或形狀指定信息202被輸入到網(wǎng)絡(luò)的位置不受限制。形狀指定信息202可以在其由子網(wǎng)轉(zhuǎn)換為特征圖之后被輸入。例如，形狀指定信息202可以被子網(wǎng)轉(zhuǎn)換為特征圖，并從CNN206的中間層輸入。如果形狀指定信息是標(biāo)量，則通過(guò)子網(wǎng)將標(biāo)量轉(zhuǎn)換為特征圖，然后進(jìn)行與圖1中的形狀指定信息202的處理相同的處理。[0063]接下來(lái)，在圖5的步驟S113中，更新器101d根據(jù)輸出圖像與正解圖像之間的誤差或差異來(lái)更新CNN的權(quán)重。本實(shí)施例將輸出圖像的信號(hào)值與正解圖像的信號(hào)值之間的差的歐幾里得范數(shù)設(shè)置為損失函數(shù)。然而，損失函數(shù)不限于本實(shí)施例。當(dāng)在步驟S111中獲取了多組訓(xùn)練輸入數(shù)據(jù)和正解圖像時(shí)，針對(duì)各組計(jì)算損失函數(shù)的值。通過(guò)反向傳播方法等根據(jù)損失函數(shù)的計(jì)算值來(lái)更新權(quán)重。[0064]接下來(lái)，在步驟S114中，更新器101d確定權(quán)重學(xué)習(xí)是否完成?？梢曰趯W(xué)習(xí)(權(quán)重更新)迭代的次數(shù)是否已達(dá)到指定次數(shù)或更新期間的權(quán)重改變量是否小于指定值來(lái)確定完成。如果確定尚未完成權(quán)重學(xué)習(xí)，則流程返回到步驟S111,以獲取一組或更多組新的訓(xùn)練輸入數(shù)據(jù)和正解圖像。當(dāng)確定權(quán)重學(xué)習(xí)已經(jīng)完成時(shí)，學(xué)習(xí)結(jié)束，并且將權(quán)重信息存儲(chǔ)在存儲(chǔ)器[0065]接下來(lái)，描述由圖像估計(jì)裝置103執(zhí)行的對(duì)拍攝圖像的散焦模糊形狀校正(估計(jì)階段)和用戶界面。在本實(shí)施例中，用戶確定替換區(qū)域，該替換區(qū)域是拍攝圖像中的散焦模糊校正區(qū)域。然后，生成器103d用估計(jì)圖像將替換區(qū)域替換，從而生成用戶指定的任意區(qū)域中的散焦模糊被校正的圖像。如圖8所示，顯示裝置104顯示散焦模糊形狀指定標(biāo)簽104a、畫(huà)筆104b和拍攝圖像104c。用戶可以在確認(rèn)顯示裝置104上的顯示的同時(shí)校正散焦模糊。[0066]現(xiàn)在參照?qǐng)D6,將描述生成估計(jì)圖像。圖6是用于生成估計(jì)圖像的流程圖。圖6中的各個(gè)步驟主要由圖像估計(jì)裝置103中的各個(gè)單元執(zhí)行。[0067]首先，在步驟S201中，獲取器103b獲取拍攝圖像和權(quán)重信息。要獲取的拍攝圖像可以是整個(gè)拍攝圖像的一部分。權(quán)重信息被預(yù)先從存儲(chǔ)器101a中讀出并存儲(chǔ)在存儲(chǔ)器103a[0068]接下來(lái)，在步驟S202中，獲取器103b獲取拍攝圖像的散焦圖。散焦圖是示出與應(yīng)用到拍攝圖像中的被攝體的散焦模糊有關(guān)的信息的圖，并且通過(guò)數(shù)值指示被攝體的散焦量?？梢酝ㄟ^(guò)拍攝視差圖像或使用DFD(DepthfromDefocus,散焦測(cè)距)來(lái)獲取散焦圖。散焦圖有兩個(gè)主要作用。第一個(gè)作用是通過(guò)利用各個(gè)被攝體的散焦量不同的事實(shí)來(lái)提取混合在拍攝圖像中的被攝體區(qū)域，并使用該被攝體區(qū)域來(lái)確定替換區(qū)域。第二個(gè)作用是輸入到機(jī)器學(xué)習(xí)模型，以進(jìn)行在對(duì)焦位置處的被攝體與散焦模糊之間高精度區(qū)分的形狀校正。該實(shí)施例使用前一作用或提取混合在拍攝圖像中的被攝體區(qū)域。稍后將描述后者的細(xì)節(jié)。[0069]接下來(lái)，在步驟S203中，生成器103d生成與在散焦模糊形狀指定標(biāo)簽104a上可選擇的形狀相對(duì)應(yīng)的形狀指定信息。在本實(shí)施方式中，由于用戶指定了替換區(qū)域，因此形狀指定信息不具有空間分布，并且可以在整個(gè)圖中具有相同的值。[0070]接下來(lái)，在步驟S204中，模糊整形單元103c將輸入數(shù)據(jù)輸入到CNN并生成估計(jì)圖像。輸入數(shù)據(jù)包括拍攝圖像和指定估計(jì)圖像中的散焦模糊形狀的形狀指定信息。估計(jì)圖像是校正了拍攝圖像中的散焦模糊形狀的圖像，并通過(guò)形狀指定信息確定該圖像的形狀。與針對(duì)與在圖8所示的散焦模糊形狀指定標(biāo)簽104a上可選擇的散焦模糊相對(duì)應(yīng)的多個(gè)形狀指定信息中的各個(gè)生成估計(jì)圖像。針對(duì)用于指定散焦模糊的尺寸和類(lèi)型中的至少一個(gè)的第一形狀指定信息、和用于指定散焦模糊的尺寸和類(lèi)型中的至少一個(gè)的不同于第一形狀指定信息的第二形狀指定信息，CNN使用相同的權(quán)重。所生成的多個(gè)估計(jì)圖像被存儲(chǔ)在存儲(chǔ)器103a[0071]現(xiàn)在參照?qǐng)D7和圖8,將描述由用戶編輯拍攝圖像。圖7是用于編輯拍攝圖像的流程圖。圖7中的各個(gè)步驟主要由圖像估計(jì)裝置103中的各個(gè)單元執(zhí)行。[0072]首先，在步驟S211中，獲取器103b獲取用于指定由用戶使用圖8所示的形狀指定標(biāo)簽104a而指定的校正后的散焦模糊形狀的信息。[0073]接下來(lái)，在步驟S212中，獲取器103b獲取用戶使用畫(huà)筆104b選擇的拍攝圖像104c中的區(qū)域信息(替換區(qū)域)。該區(qū)域由用戶逐像素或基于拍攝圖像的信號(hào)值分布或散焦圖從用戶使用畫(huà)筆104b大致選擇的區(qū)域中確定的。根據(jù)拍攝圖像的信號(hào)值分布或散焦圖使得能夠提取目標(biāo)被攝體區(qū)域。根據(jù)拍攝圖像的信號(hào)值分布是指：指定拍攝圖像的像素值不連續(xù)改變的區(qū)域并提取被攝體區(qū)域。[0074]接下來(lái)，在步驟S213中，生成器103d用具有指定的散焦模糊形狀的估計(jì)圖像來(lái)替換由用戶選擇的替換區(qū)域。如上所述，本實(shí)施例獲取關(guān)于拍攝圖像的替換區(qū)域的信息，并用估計(jì)圖像替換拍攝圖像的替換區(qū)域。因此，與每當(dāng)選擇替換區(qū)域時(shí)生成估計(jì)圖像的情況相比，估計(jì)圖像生成的次數(shù)更小，并且可以在短時(shí)間內(nèi)實(shí)現(xiàn)用戶喜歡的散焦模糊校正。估計(jì)圖像可以使用保存在存儲(chǔ)器103a中的圖像。[0075]上述構(gòu)造可以在抑制學(xué)習(xí)負(fù)荷和存儲(chǔ)的數(shù)據(jù)量的同時(shí)校正散焦模糊形狀?？梢孕薷脑摌?gòu)造，使得根據(jù)散焦模糊形狀和由用戶使用形狀指定標(biāo)簽104a和畫(huà)筆104b選擇的替換區(qū)域來(lái)生成形狀指定信息的圖，并且執(zhí)行步驟S204。將在第二和后續(xù)實(shí)施例中詳細(xì)描述具有空間上不同分布的形狀指定信息。11[0076]接下來(lái)，描述用于增強(qiáng)該實(shí)施例的效果的條件。輸入數(shù)據(jù)還可以包括亮度飽和圖。亮度飽和圖指示圖像中的亮度飽和像素區(qū)域，并且具有與圖像相同的尺寸。學(xué)習(xí)階段根據(jù)訓(xùn)練圖像生成亮度飽和圖。估計(jì)階段根據(jù)拍攝圖像生成亮度飽和圖。由于在亮度飽和部分中存在與因亮度飽和引起的被攝體結(jié)構(gòu)不同的假邊緣，因此，機(jī)器學(xué)習(xí)模型難以將亮度飽和部分與具有邊緣的部分(諸如具有高頻分量的散焦模糊和聚焦位置)區(qū)分開(kāi)。亮度飽和圖使機(jī)器學(xué)習(xí)模型能夠?qū)⒕哂懈哳l分量的散焦模糊和聚焦位置與亮度飽和部分區(qū)分開(kāi)，并且使得能夠進(jìn)行高精度的形狀校正。當(dāng)應(yīng)用具有尖峰的PSF(諸如雙線模糊)時(shí)，可能會(huì)出現(xiàn)具有高頻分量的散焦模糊。[0077]輸入數(shù)據(jù)還可以包括散焦圖。散焦圖是示出關(guān)于應(yīng)用于拍攝圖像中的被攝體的散焦模糊的信息的圖。學(xué)習(xí)階段將與應(yīng)用于訓(xùn)練圖像的散焦模糊相對(duì)應(yīng)的散焦量轉(zhuǎn)換為數(shù)值。例如，焦平面可以被設(shè)置為0,遠(yuǎn)離攝像裝置的方向可以被設(shè)置為負(fù)，并且接近方向可以被設(shè)置為正。估計(jì)階段通過(guò)拍攝視差圖像、使用DFD(散焦測(cè)距)等，來(lái)獲取拍攝圖像的散焦圖。此時(shí)的散焦圖的數(shù)值與學(xué)習(xí)階段的數(shù)值相對(duì)應(yīng)。散焦圖可以高精度地校正對(duì)焦位置處的被攝體的形狀和散焦模糊。如果沒(méi)有散焦圖，則對(duì)焦位置處的被攝體和具有高頻分量的散焦模糊不能彼此區(qū)分開(kāi)，并且對(duì)焦位置處的被攝體會(huì)模糊。[0078]輸入數(shù)據(jù)還可以包括狀態(tài)圖，該狀態(tài)圖是光學(xué)系統(tǒng)102a的狀態(tài)在成像期間由(Z,[0079]輸入數(shù)據(jù)還可以包括位置圖。位置圖是示出圖像上各個(gè)像素的像平面坐標(biāo)的圖。位置圖可以是極坐標(biāo)系(對(duì)應(yīng)于像高和方位(azimuth))。[0080]散焦模糊根據(jù)透鏡狀態(tài)、像高和方位而變化。由于學(xué)習(xí)了CNN以便平均地校正學(xué)習(xí)數(shù)據(jù)中包括的所有散焦模糊形狀，因此對(duì)各個(gè)不同的散焦模糊形狀的校正精度降低。因此，機(jī)器學(xué)習(xí)模型可以通過(guò)將狀態(tài)圖和位置圖輸入到機(jī)器學(xué)習(xí)模型中來(lái)指定應(yīng)用于拍攝圖像的PSF。由此，在學(xué)習(xí)階段中，即使用于學(xué)習(xí)的訓(xùn)練圖像不包含各種散焦模糊形狀，機(jī)器學(xué)習(xí)模型也針對(duì)各模糊形狀學(xué)習(xí)用于不同校正的權(quán)重，而不是用于平均地校正散焦模糊形狀的習(xí)用于校正各種散焦模糊形狀的學(xué)習(xí)數(shù)據(jù)，同時(shí)抑制形狀校正精度的降低。[0081]第二實(shí)施例[0082]現(xiàn)在參照?qǐng)D10和圖11,將描述根據(jù)本發(fā)明的第二實(shí)施例的圖像處理系統(tǒng)。圖10是根據(jù)該實(shí)施例的圖像處理系統(tǒng)300的框圖。圖11是圖像處理系統(tǒng)300的外觀。[0083]圖像處理系統(tǒng)300具有學(xué)習(xí)裝置301、攝像裝置302、圖像估計(jì)裝置303以及網(wǎng)絡(luò)304和305。學(xué)習(xí)裝置301具有存儲(chǔ)器301a、獲取器301b、生成器301c和更新器301d,并且學(xué)習(xí)用于校正散焦模糊形狀的機(jī)器學(xué)習(xí)模型的權(quán)重。稍后將描述權(quán)重學(xué)習(xí)和使用權(quán)重的散焦模糊校正的細(xì)節(jié)。示單元302e和系統(tǒng)控制器302f。光學(xué)系統(tǒng)302a收集從被攝體空間入射的光，并形成光學(xué)圖像(被攝體圖像)。圖像傳感器302b通過(guò)光電轉(zhuǎn)換將光學(xué)圖像轉(zhuǎn)換成電信號(hào)并生成拍攝圖[0085]圖像估計(jì)裝置(圖像處理裝置)303包括存儲(chǔ)器303a、模糊整形單元(模糊形狀校正器或生成器)303b、獲取器303c和生成器303d。圖像估計(jì)裝置303針對(duì)由攝像裝置302拍攝的拍攝圖像(的至少一部分),生成校正了散焦模糊形狀的估計(jì)圖像。將由學(xué)習(xí)裝置301學(xué)習(xí)的經(jīng)學(xué)習(xí)權(quán)重的信息用于生成估計(jì)圖像。權(quán)重信息存儲(chǔ)在存儲(chǔ)器303a中。獲取器302c獲取估計(jì)圖像，并且記錄介質(zhì)302d存儲(chǔ)估計(jì)圖像。系統(tǒng)控制器302f控制攝像裝置302的一系列操[0086]現(xiàn)在參照?qǐng)D12,將描述由學(xué)習(xí)裝置301進(jìn)行的權(quán)重學(xué)習(xí)(學(xué)習(xí)階段)。圖12是用于權(quán)重學(xué)習(xí)(學(xué)習(xí)模型制造方法)的流程圖。圖12中的各步驟主要由學(xué)習(xí)裝置301中的各個(gè)單元執(zhí)行。該實(shí)施例將GAN用于機(jī)器學(xué)習(xí)模型，但是可以類(lèi)似地應(yīng)用其他模型。GAN是對(duì)抗地生成的網(wǎng)絡(luò)，其包括生成圖像的生成器和識(shí)別生成的圖像的鑒別器。在本實(shí)施例中，將省略對(duì)與第一實(shí)施例相同的元件的描述。[0087]首先，在步驟S301中，獲取器301b從存儲(chǔ)器301a獲取一組或更多組正解圖像和訓(xùn)練輸入數(shù)據(jù)。正解圖像和訓(xùn)練圖像的生成與第一實(shí)施例中的相同?，F(xiàn)在參照?qǐng)D9,將描述根據(jù)該實(shí)施例的生成訓(xùn)練輸入數(shù)據(jù)。圖9示出了作為機(jī)器學(xué)習(xí)模型的GAN的構(gòu)造。連結(jié)層406在信道方向上按預(yù)定順序連接訓(xùn)練圖像401和形狀指定信息402,以生成訓(xùn)練輸入數(shù)據(jù)403。[0088]接下來(lái)，在圖12的步驟S302中，生成器301c將訓(xùn)練輸入數(shù)據(jù)403輸入到生成器407中，并生成輸出圖像404.生成器407例如是CNN。接下來(lái)，在步驟S303中，更新器301d根據(jù)輸出圖像404與正解圖像405之間的誤差或差異來(lái)更新生成器407的權(quán)重。將各個(gè)像素處的差的歐幾里得范數(shù)用于損失函數(shù)。接下來(lái)，在步驟S304中，更新器301d確定第一學(xué)習(xí)是否已經(jīng)流程進(jìn)行到步驟S305,并且執(zhí)行第二學(xué)習(xí)。[0089]接下來(lái)，在步驟S305中，與步驟S301中相同，獲取器301b從存儲(chǔ)器301a中獲取一組或更多組正解圖像405和訓(xùn)練輸入數(shù)據(jù)403。接下來(lái)，在步驟S306中，與步驟S302中相同，生成器301c將訓(xùn)練輸入數(shù)據(jù)403輸入到生成器407中并生成輸出圖像404。[0090]在步驟S307中，更新器301d根據(jù)輸出圖像404和正解圖像405更新鑒別器408的權(quán)重。鑒別器408鑒別輸入圖像是生成器407生成的假圖像還是作為正解圖像405的真圖像。輸出圖像404或正解圖像405被輸入到鑒別器408以生成鑒別標(biāo)簽(假或真)?；阼b別標(biāo)簽與正解標(biāo)簽之間的誤差或差異(輸出圖像404為假，而正解圖像405為真)來(lái)更新鑒別器408的權(quán)重。盡管S形(sigmoid)交叉熵被用于損失函數(shù)，但是可以使用其他損失函數(shù)。[0091]接下來(lái)，在步驟S308中，更新器301d根據(jù)輸出圖像404和正解圖像405更新生成器407的權(quán)重。損失函數(shù)是步驟S303中的歐幾里得范數(shù)與隨后兩項(xiàng)的加權(quán)和。第一項(xiàng)是稱(chēng)為內(nèi)容損失(ContentLoss)的項(xiàng)，其是在將輸出圖像404和正解圖像405轉(zhuǎn)換為特征圖后，輸出圖像404與正解圖像405之間的各個(gè)元素的差的歐幾里得范數(shù)。通過(guò)將特征圖的差添加到損失函數(shù)，可以使輸出圖像404的更抽象的性質(zhì)更接近正解圖像405.第二項(xiàng)是通過(guò)將輸出圖像404輸入到鑒別器408而獲得的鑒別標(biāo)簽的S形交叉熵，其稱(chēng)為對(duì)抗損失(adversarialloss)。進(jìn)行學(xué)習(xí)，使得鑒別器408可以將假和真彼此區(qū)分，生成器407被訓(xùn)練成輸出更客觀地看起來(lái)像正解圖像405的輸出圖像404。[0092]接下來(lái)，在步驟S309中，更新器301d確定第二學(xué)習(xí)是否已經(jīng)完成。類(lèi)似于步驟S304,如果第二學(xué)習(xí)尚未完成，則流程返回到步驟S305。另一方面，當(dāng)?shù)诙W(xué)習(xí)已經(jīng)完成時(shí)，將學(xué)習(xí)的生成器407的權(quán)重信息存儲(chǔ)在存儲(chǔ)器301a中。[0093]現(xiàn)在參照?qǐng)D13和圖14,將描述由圖像估計(jì)裝置303執(zhí)行的散焦模糊形狀校正(估計(jì)階段)和用戶界面。圖13是本實(shí)施例中的用于生成估計(jì)圖像的流程圖。圖14示出了根據(jù)該實(shí)施例的用戶界面。在該實(shí)施例中，用戶可以通過(guò)指定閾值，通過(guò)在拍攝圖像中劃分區(qū)域，以及通過(guò)針對(duì)各個(gè)劃分區(qū)域指定散焦模糊形狀，來(lái)校正散焦模糊形狀。[0094]如圖14所示，顯示單元302e顯示拍攝圖像302e-1、亮度值直方圖302e-2、區(qū)域劃分圖像302e-3和散焦模糊形狀指定標(biāo)簽302e-4.本實(shí)施例中的拍攝圖像302e-1具有處于對(duì)焦位置的人物，并且背景中的高亮度被攝體和其他被攝體散焦。[0095]首先，在圖13的步驟S401中，獲取器303c獲取(至少一部分)拍攝圖像。接下來(lái)，在步驟S402中，獲取器303c獲取由用戶通過(guò)查看拍攝圖像302e-1中的直方圖302e-2而指定的于亮度值為0至255的拍攝圖像，假定區(qū)域A的亮度值為250至255,區(qū)域B的亮度值為0至250。由此，可以對(duì)背景中的高亮度被攝體和其他被攝體進(jìn)行劃分。當(dāng)在整個(gè)圖像中統(tǒng)一校正散[0096]接下來(lái)，在步驟S404中，獲取器303c獲取由用戶在散焦模糊形狀指定標(biāo)簽302e-4上指定的校正后的散焦模糊形狀。針對(duì)步驟S403中的各個(gè)劃分區(qū)域來(lái)指定形狀。指定信息包括尺寸和類(lèi)型。尺寸被指定為F1.0或F2.0.對(duì)于類(lèi)型，指定各種散焦模糊形狀，諸如高斯[0097]接下來(lái)，在步驟S405中，生成器303d基于所獲取的區(qū)域劃分信息和指定校正后的散焦模糊形狀的信息來(lái)生成形狀指定信息。接下來(lái)，在步驟S406中，獲取器303c獲取輸入數(shù)據(jù)和經(jīng)學(xué)習(xí)權(quán)重信息。輸入數(shù)據(jù)包括拍攝圖像和形狀指定信息。權(quán)重信息被預(yù)先從存儲(chǔ)器301a中讀出并存儲(chǔ)在存儲(chǔ)器303a中。[0098]接下來(lái)，在步驟S407中，模糊整形單元303b將輸入數(shù)據(jù)輸入到CNN并生成估計(jì)圖成如下估計(jì)圖像，在該估計(jì)圖像中，將拍攝圖像302e-1中的散焦模糊形狀校正為指定形狀。[0099]以上構(gòu)造可以在抑制學(xué)習(xí)負(fù)荷和存儲(chǔ)的數(shù)據(jù)量的同時(shí)將散焦模糊形狀校正為各種形狀。[0101]現(xiàn)在參照?qǐng)D16和圖17,將描述根據(jù)本發(fā)明的第三實(shí)施例的圖像處理系統(tǒng)。圖16是根據(jù)該實(shí)施例的圖像處理系統(tǒng)500的框圖。圖17是圖像處理系統(tǒng)500的外觀。[0102]圖像處理系統(tǒng)500包括學(xué)習(xí)裝置501、攝像裝置502、透鏡裝置503、控制裝置(第一裝置)504、圖像估計(jì)裝置(第二裝置)505、以及網(wǎng)絡(luò)506和507。控制裝置504和圖像估計(jì)裝置505可以經(jīng)由網(wǎng)絡(luò)506彼此通信。學(xué)習(xí)裝置501和圖像估計(jì)裝置505可以經(jīng)由網(wǎng)絡(luò)507彼此通信。學(xué)習(xí)裝置501和圖像估計(jì)裝置505例如包括服務(wù)器。控制裝置504包括用戶終端(智能電且學(xué)習(xí)用于對(duì)使用攝像裝置502拍攝的拍攝圖像中的散焦模糊形狀進(jìn)行校正的機(jī)器學(xué)習(xí)模型的權(quán)重。稍后將描述有關(guān)學(xué)習(xí)的細(xì)節(jié)。[0103]攝像裝置502具有圖像傳感器502a,并且圖像傳感器502a對(duì)由透鏡裝置503形成的光學(xué)圖像進(jìn)行光電轉(zhuǎn)換以獲得拍攝圖像?？梢詫⑼哥R裝置503附裝到攝像裝置502并從攝像裝置502拆卸，并且可以通過(guò)多種類(lèi)型來(lái)組合透鏡裝置503和攝像裝置502?？刂蒲b置504包括通信器504a、顯示單元504b、存儲(chǔ)器504c和獲取器504d,并且根據(jù)用戶的操作控制對(duì)從通過(guò)有線或無(wú)線方式連接的攝像裝置502獲取的拍攝圖像的處理。另選地，可以將由攝像裝置502拍攝的拍攝圖像預(yù)先存儲(chǔ)在存儲(chǔ)器504c中，并且可以讀出所存儲(chǔ)的拍攝圖像。[0104]圖像估計(jì)裝置505包括通信器505a、獲取器(獲取器)505b、存儲(chǔ)器505c和整形單元(形狀校正器或生成器)505d。圖像估計(jì)裝置505響應(yīng)于來(lái)自經(jīng)由網(wǎng)絡(luò)506連接的控制裝置504的請(qǐng)求，對(duì)拍攝圖像執(zhí)行散焦模糊校正處理。圖像估計(jì)裝置505在散焦模糊校正之前或期間從經(jīng)由網(wǎng)絡(luò)507連接的學(xué)習(xí)裝置501獲取經(jīng)學(xué)習(xí)權(quán)重信息，并將其用于對(duì)拍攝圖像的散焦模糊校正。散焦模糊形狀校正之后的估計(jì)圖像被再次發(fā)送到控制裝置504,存儲(chǔ)在存儲(chǔ)器504c中，并顯示在顯示單元504b上。[0105]接下來(lái)，描述由學(xué)習(xí)裝置501進(jìn)行的權(quán)重學(xué)習(xí)(學(xué)習(xí)階段)。該實(shí)施例中的形狀指定信息的輸入方法與第一實(shí)施例中的不同。用于權(quán)重學(xué)習(xí)的流程圖的各個(gè)步驟與圖5相同。[0106]將參照?qǐng)D15描述輸入形狀指定信息的方法。圖15示出了根據(jù)本實(shí)施例的機(jī)器學(xué)習(xí)模型的構(gòu)造。訓(xùn)練輸入數(shù)據(jù)是訓(xùn)練圖像601和形狀指定信息602。分別使用子網(wǎng)607和608將訓(xùn)練圖像601和形狀指定信息602轉(zhuǎn)換為特征圖603和604。連結(jié)層609在信道方向上以預(yù)定順序連接特征圖603和604.CNN610輸入連結(jié)的特征圖603和604并生成輸出圖像605。[0107]現(xiàn)在參照?qǐng)D18和圖19,將描述在該實(shí)施例中由控制裝置504和圖像估計(jì)裝置505執(zhí)行的對(duì)拍攝圖像的散焦模糊校正(估計(jì)階段)和用戶界面。圖18是根據(jù)本實(shí)施例的用于生成估計(jì)圖像的流程圖。圖18中的各個(gè)步驟主要由圖像估計(jì)裝置505中的各個(gè)單元執(zhí)行。圖19示出了根據(jù)本實(shí)施例的用戶界面。[0108]在該實(shí)施例中，用戶可以通過(guò)選擇預(yù)設(shè)模式來(lái)校正拍攝圖像中的散焦模糊形狀。如圖19所示，顯示單元504b顯示模式選擇標(biāo)簽504b-1和拍攝圖像504b-2.本實(shí)施例中的拍攝圖像504b-2在對(duì)焦位置處具有三個(gè)人，并且背景散焦。[0109]首先，在圖18的步驟S501中，獲取器504d獲取由用戶在模式選擇標(biāo)簽504b-1上選擇的信息。例如，預(yù)先設(shè)置如下三個(gè)可選模式，其包括(1)全部為高斯模糊(F數(shù)為1.0);(2)全部為圓形模糊(F數(shù)為2.0);(3)亮度飽和部分為圓形模糊而其他部分為高斯模糊(F數(shù)為1.0)。模式選擇對(duì)應(yīng)于形狀指定信息的選擇?？梢栽O(shè)置其他模式，其中根據(jù)散焦圖的散焦量來(lái)劃分區(qū)域，并且在散焦量較大的區(qū)域中使F數(shù)較低。這種結(jié)構(gòu)可以創(chuàng)建強(qiáng)調(diào)距離感的圖[0110]接下來(lái)，在步驟S502中，通信器(發(fā)送器)504a向圖像估計(jì)裝置505發(fā)送生成拍攝圖像、散焦圖、選擇模式信息和估計(jì)圖像的請(qǐng)求(該請(qǐng)求是針對(duì)拍攝圖像的處理執(zhí)行請(qǐng)求)。散焦圖可以通過(guò)第一實(shí)施例中描述的方法來(lái)生成。[0111]接下來(lái)，在步驟S503中，通信器505a接收并獲取對(duì)所發(fā)送的拍攝圖像、散焦圖、模式信息和處理的請(qǐng)求。接下來(lái)，在步驟S504中，獲取器505b從存儲(chǔ)器505c獲取經(jīng)學(xué)習(xí)權(quán)重信息。權(quán)重信息預(yù)先從存儲(chǔ)器501a中讀出并存儲(chǔ)在存儲(chǔ)器505c中，接下來(lái)，在步驟S505中，獲取器505b從拍攝圖像中獲取亮度飽和圖。[0112]接下來(lái)，在步驟S506中，整形單元505d根據(jù)選擇的模式信息生成形狀指定信息。亮度飽和圖或散焦圖可用于生成形狀指定信息。當(dāng)使用亮度飽和圖或散焦圖時(shí)，可以提取被攝體區(qū)域，并且形狀指定信息具有空間分布。然而，如果僅通過(guò)亮度飽和圖或散焦圖來(lái)提取被攝體區(qū)域，則在被攝體區(qū)域中可能出現(xiàn)缺陷。例如，在嘗試?yán)昧炼蕊柡蛨D提取諸如路燈的光源區(qū)域時(shí)，由于光源的不均勻亮度或所應(yīng)用的散焦模糊分布，部分亮度可能是不飽和的。在這種情況下，可以使用開(kāi)放處理(openingprocessing)來(lái)彌補(bǔ)該區(qū)域中的缺陷。因此，可以使用開(kāi)處理來(lái)提取被攝體區(qū)域。[0113]接下來(lái)，在步驟S507中，整形單元505d將輸入數(shù)據(jù)輸入到CNN并生成校正了拍攝圖像中的散焦模糊形狀的估計(jì)圖像。輸入數(shù)據(jù)包括拍攝圖像和形狀指定信息。在步驟S501中，當(dāng)選擇(1)全部為高斯模糊(F數(shù)為1.0)時(shí)，可以將拍攝圖像504b-2中的散焦模糊形狀校正為具有校正后的F1.0高斯模糊的估計(jì)圖像。接下來(lái)，在步驟S508中，通信器505a將估計(jì)圖像發(fā)送到控制裝置504。[0114]接下來(lái)，在步驟S509中，通信器504a獲取所發(fā)送的估計(jì)圖像并將其保存在存儲(chǔ)器504c中。另選地，在步驟S502中，可以發(fā)送以預(yù)設(shè)的可選模式生成所有拍攝圖像和估計(jì)圖像的請(qǐng)求，并且可以將在隨后的步驟中生成的多個(gè)估計(jì)圖像存儲(chǔ)在存儲(chǔ)器505c中。當(dāng)用戶選擇模式時(shí)，將對(duì)應(yīng)的估計(jì)圖像發(fā)送到控制裝置504。[0115]以上構(gòu)造可以在抑制學(xué)習(xí)負(fù)荷和存儲(chǔ)的數(shù)據(jù)量的同時(shí)將散焦模糊形狀校正為各種形狀。[0116]第四實(shí)施例[0117]現(xiàn)在參照?qǐng)D21和圖22,將描述根據(jù)本發(fā)明第四實(shí)施例的圖像處理系統(tǒng)。圖21是圖像處理系統(tǒng)700的框圖。圖22是圖像處理系統(tǒng)700的外觀。[0118]圖像處理系統(tǒng)700包括學(xué)習(xí)裝置701、攝像裝置702、透鏡裝置703、控制裝置(第一裝置)704、圖像估計(jì)裝置(第二裝置)705、以及網(wǎng)絡(luò)706和707。學(xué)習(xí)裝置701包括存儲(chǔ)器701a、獲取器701b、生成器701c和更新器701d。攝像裝置702具有圖像傳感器702a。控制裝置704具有通信器704a、顯示單元704b、存儲(chǔ)器704c和獲取器704d。圖像估計(jì)裝置705包括通信器705a、獲取器705b、存儲(chǔ)器705c和整形單元(形狀校正器或生成器)705d。由于圖像處理系統(tǒng)700中的各個(gè)部件的構(gòu)造和操作與根據(jù)第三實(shí)施例的圖像處理系統(tǒng)500相同，因此將省略[0119]接下來(lái)，描述由學(xué)習(xí)裝置701進(jìn)行的權(quán)重學(xué)習(xí)(學(xué)習(xí)階段)。該實(shí)施例與第一實(shí)施例的不同之處在于輸入形狀指定信息的方法。其他步驟是共同的。[0120]將參照?qǐng)D20描述輸入形狀指定信息的方法。圖20示出了根據(jù)本實(shí)施例的機(jī)器學(xué)習(xí)模型的構(gòu)造。訓(xùn)練輸入數(shù)據(jù)包括訓(xùn)練圖像801和形狀指定信息802。在該實(shí)施例中，使用子網(wǎng)806將形狀指定信息802轉(zhuǎn)換為特征圖803。連結(jié)層807在信道方向上以預(yù)定順序連結(jié)訓(xùn)練圖像801和特征圖803.CNN808輸入連結(jié)的訓(xùn)練圖像801和特征圖803,并生成輸出圖像804。[0121]現(xiàn)在參照?qǐng)D23和圖24,將描述由控制裝置704和圖像估計(jì)裝置705執(zhí)行的對(duì)拍攝圖像的散焦模糊校正(估計(jì)階段)和用戶界面。圖23是根據(jù)本實(shí)施例的用于生成估計(jì)圖像的流程圖。圖23中的各個(gè)步驟主要由圖像估計(jì)裝置705中的各個(gè)單元執(zhí)行。圖24示出了根據(jù)該實(shí)施例的用戶界面。[0122]在該實(shí)施例中，用戶可以通過(guò)使用光標(biāo)等將拍攝圖像劃分為多個(gè)區(qū)域，并且通過(guò)針對(duì)各個(gè)劃分的區(qū)域指定散焦模糊形狀，來(lái)校正散焦模糊形狀。如圖24所示，顯示單元704b顯示拍攝圖像704b-1、區(qū)域劃分圖像704b-2和散焦模糊形狀指定標(biāo)簽704b-3.根據(jù)本實(shí)施例的拍攝圖像704b-1具有處于對(duì)焦位置的人物，并且背景中的高亮度被攝體和其他被攝體散焦。[0123]首先，在圖23的步驟S601中，獲取器704d獲取用戶指定的區(qū)域劃分信息，并將拍攝圖像劃分為多個(gè)區(qū)域。用戶在觀看顯示單元704b的同時(shí)指定拍攝圖像的區(qū)域劃分信息。例如，當(dāng)用戶想要提取區(qū)域A時(shí)，用戶使用光標(biāo)等來(lái)粗略地選擇區(qū)域A周?chē)膮^(qū)域。接下來(lái)，用戶通過(guò)使用亮度飽和圖或散焦圖從粗略選擇的區(qū)域中獲取區(qū)域A。當(dāng)要獲取(提取)的區(qū)域是亮度飽和部分時(shí)，使用亮度飽和圖。如果要獲取的區(qū)域是特定被攝體區(qū)域，則使用散焦圖。在獲取亮度飽和區(qū)域時(shí)，因?yàn)樯⒔箞D可以包括亮度飽和部分以外的區(qū)域，所以使用亮度飽和圖。因?yàn)橛脩綦y以使用光標(biāo)等來(lái)高精度地指定區(qū)域，因此使用這種圖。[0124]接下來(lái)，在步驟S602中，獲取器704d獲取與用戶指定的校正后的散焦模糊形狀有關(guān)的信息。這是由用戶使用模糊形狀指定標(biāo)簽704b-3針對(duì)各個(gè)劃分區(qū)域而指定的。例如，區(qū)信器(發(fā)送器)704a向圖像估計(jì)裝置705發(fā)送拍攝圖像、生成估計(jì)圖像的請(qǐng)求(針對(duì)拍攝圖像的處理執(zhí)行請(qǐng)求)、區(qū)域劃分信息以及有關(guān)校正后的散焦模糊形狀的信息。[0125]接下來(lái)，在步驟S604中，通信器705a接收并獲取所發(fā)送的拍攝圖像、處理請(qǐng)求、區(qū)域劃分信息以及關(guān)于校正后的散焦模糊形狀的信息。接下來(lái)，在步驟S605中，獲取器705b從存儲(chǔ)器705c獲取經(jīng)學(xué)習(xí)權(quán)重信息。該權(quán)重信息被預(yù)先從存儲(chǔ)器701a中讀取并存儲(chǔ)在存儲(chǔ)器705c中。接下來(lái)，在步驟S606中，整形單元(形狀校正器或生成器)705d基于區(qū)域劃分信息和關(guān)于校正后的散焦模糊形狀的信息來(lái)生成形狀指定信息。接下來(lái)，在步驟S607中，整形單元將區(qū)域A指定為F1.4圓形模糊并且將區(qū)域B指定為F2.8高斯模糊時(shí)，可以生成如下估計(jì)圖像，在該估計(jì)圖像中，拍攝圖像704b-1中的散焦模糊形狀已被校正為指定形狀。[0126]接下來(lái)，在步驟S608中，通信器705a將估計(jì)圖像發(fā)送到控制裝置704。然后，在步驟S609中，通信器704a獲取所發(fā)送的估計(jì)圖像并將其存儲(chǔ)在存儲(chǔ)器704c中。[0127]以上構(gòu)造可以在抑制學(xué)習(xí)負(fù)荷和存儲(chǔ)的數(shù)據(jù)量的同時(shí)將散焦模糊形狀校正為各種形狀。[01