CN115205985B 一種因果干預(yù)的人臉?lè)纻畏夯椒?、設(shè)備及介質(zhì)(上海交通大學(xué))_第1頁(yè)
CN115205985B 一種因果干預(yù)的人臉?lè)纻畏夯椒?、設(shè)備及介質(zhì)(上海交通大學(xué))_第2頁(yè)
CN115205985B 一種因果干預(yù)的人臉?lè)纻畏夯椒?、設(shè)備及介質(zhì)(上海交通大學(xué))_第3頁(yè)
CN115205985B 一種因果干預(yù)的人臉?lè)纻畏夯椒?、設(shè)備及介質(zhì)(上海交通大學(xué))_第4頁(yè)
CN115205985B 一種因果干預(yù)的人臉?lè)纻畏夯椒?、設(shè)備及介質(zhì)(上海交通大學(xué))_第5頁(yè)
已閱讀5頁(yè),還剩16頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專(zhuān)利(10)授權(quán)公告號(hào)CN115205985B(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)地址200240上海市閔行區(qū)東川路800號(hào)李成林鄒君妮吳晨濤徐異凌(74)專(zhuān)利代理機(jī)構(gòu)上海恒慧知識(shí)產(chǎn)權(quán)代理事務(wù)專(zhuān)利代理師徐紅銀GO6V40/40(2022.01)(54)發(fā)明名稱一種因果干預(yù)的人臉?lè)纻畏夯椒?、設(shè)備及介質(zhì)(57)摘要本發(fā)明提供一種因果干預(yù)的人臉?lè)纻畏椒?、設(shè)備及介質(zhì),包括:構(gòu)建面向人臉?lè)纻稳蝿?wù)的結(jié)構(gòu)因果模型,基于該結(jié)構(gòu)因果模型,建模與數(shù)據(jù)集分布相關(guān)的域特征,作為影響人臉?lè)纻畏夯缘母蓴_因子;使用狄利克雷數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集分布,更準(zhǔn)確地建模作為干擾因子的域特征;訓(xùn)練神經(jīng)網(wǎng)絡(luò)對(duì)輸入人臉圖像的真假進(jìn)行二分類(lèi)判別,并采用后門(mén)調(diào)整模型對(duì)人臉真假分類(lèi)的神經(jīng)網(wǎng)絡(luò)進(jìn)行因果干預(yù),消除干擾因子的影響;在訓(xùn)練人臉真假分類(lèi)的神經(jīng)網(wǎng)絡(luò)中,同時(shí)使用對(duì)比損失函數(shù)約束特征空間。本發(fā)明基于結(jié)構(gòu)因果模型,采用后門(mén)調(diào)整模型消除影響人臉?lè)纻畏夯缘母蓴_因子,能顯著提高在真實(shí)世界的不同環(huán)境構(gòu)建面向人臉?lè)纻稳蝿?wù)的結(jié)構(gòu)因果模型,基于該結(jié)構(gòu)因果模型,建模與數(shù)據(jù)集分布相關(guān)的域特征,作為影響人臉?lè)纻畏夯缘母蓴_因子,其中域表示服從一定分布的數(shù)據(jù)集,域特征表示該數(shù)據(jù)集的分布特征使用狄利克雷數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集分布,基于擴(kuò)充后的數(shù)據(jù)集,訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于域分類(lèi),將網(wǎng)絡(luò)提取到的特征作為表征干擾因子的域特征訓(xùn)練神經(jīng)網(wǎng)絡(luò)對(duì)輸入人臉圖像的真假進(jìn)行二分類(lèi)判別,并采用后門(mén)調(diào)整模型對(duì)人臉真假分類(lèi)的神經(jīng)網(wǎng)絡(luò)進(jìn)行因果干預(yù),消除干擾因子的影響在訓(xùn)練人臉真假分類(lèi)的神經(jīng)網(wǎng)絡(luò)中,同時(shí)使用對(duì)比損失函數(shù)約束特征空間,將相同類(lèi)別的人臉圖像特征作為正樣本聚合,將不同類(lèi)別的人臉圖像特征作為負(fù)樣本區(qū)分。2S1,構(gòu)建面向人臉?lè)纻稳蝿?wù)的結(jié)構(gòu)因果模型,基于該結(jié)構(gòu)因果模型,建模與數(shù)據(jù)集分布相關(guān)的域特征,作為影響人臉?lè)纻畏夯缘母蓴_因子,其中域表示服從一定分布的數(shù)據(jù)集,域特征表示該數(shù)據(jù)集的分布特征;S2,使用狄利克雷數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集分布,基于擴(kuò)充后的數(shù)據(jù)集,訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于域分類(lèi),將網(wǎng)絡(luò)提取到的特征作為表征干擾因子的域特征;S3,訓(xùn)練神經(jīng)網(wǎng)絡(luò)對(duì)輸入人臉圖像的真假進(jìn)行二分類(lèi)判別,并采用后門(mén)調(diào)整模型對(duì)人臉真假分類(lèi)的神經(jīng)網(wǎng)絡(luò)進(jìn)行因果干預(yù),消除干擾因子的影響;S4,在訓(xùn)練人臉真假分類(lèi)的神經(jīng)網(wǎng)絡(luò)中,同時(shí)使用對(duì)比損失函數(shù)約束特征空間,將相同類(lèi)別的人臉圖像特征作為正樣本聚合,將不同類(lèi)別的人臉圖像特征作為負(fù)樣本區(qū)分;所述構(gòu)建面向人臉?lè)纻稳蝿?wù)的結(jié)構(gòu)因果模型,基于該結(jié)構(gòu)因果模型,建模與數(shù)據(jù)集分布相關(guān)的域特征為影響人臉?lè)纻畏夯母蓴_因子,其中:所述面向人臉?lè)纻稳蝿?wù)的結(jié)構(gòu)因果模型為有向無(wú)環(huán)的因果圖模型,圖中的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)模型中的一個(gè)變量,節(jié)點(diǎn)和節(jié)點(diǎn)連接的邊則描述了變量與變量直接的因果關(guān)系;所述面向人臉?lè)纻稳蝿?wù)的結(jié)構(gòu)因果模型共包含三個(gè)節(jié)點(diǎn),分別對(duì)應(yīng)三個(gè)變量:輸入的人臉圖像X,表示真?zhèn)稳四樀臉?biāo)簽Y,域特征的干擾因子D;所述面向人臉?lè)纻稳蝿?wù)的結(jié)構(gòu)因果模型共包含節(jié)點(diǎn)之間連接的三條邊,分別對(duì)應(yīng)如下三個(gè)因果關(guān)系:輸入人臉圖像X→真?zhèn)螛?biāo)簽Y:人臉圖像到真?zhèn)螛?biāo)簽的因果關(guān)系,是有利于增強(qiáng)人臉?lè)纻畏夯恼鎸?shí)因果關(guān)系;域特征的干擾因子D→真?zhèn)螛?biāo)簽Y:域特征的干擾因子到真?zhèn)螛?biāo)簽的因果關(guān)系,是破壞人臉?lè)纻畏夯奶摷僖蚬P(guān)系;域特征的干擾因子D→輸入人臉圖像X:域特征的干擾因子到輸入人臉圖像的因果關(guān)所述訓(xùn)練神經(jīng)網(wǎng)絡(luò)對(duì)輸入人臉圖像的真假進(jìn)行二分類(lèi)判別,并采用后門(mén)調(diào)整模型對(duì)人臉真假分類(lèi)的神經(jīng)網(wǎng)絡(luò)進(jìn)行因果干預(yù),消除干擾因子的影響,包括:使用基于do算子的后門(mén)調(diào)整模型進(jìn)行因果干預(yù),切斷結(jié)構(gòu)因果模型中域特征的干擾因子→輸入人臉圖像的因果關(guān)系,基于調(diào)整后的概率圖模型,得到調(diào)整后的概率公式為P(Y|在后門(mén)調(diào)整模型中,不同數(shù)據(jù)集或數(shù)據(jù)域有相同數(shù)量的圖片,所以將域先驗(yàn)的概率分布建模為均勻分布,即P(D=d)=1/N,其中N表示域的總個(gè)數(shù);將真?zhèn)螛?biāo)簽基于輸入圖像和域特征干擾因子的條件概率建模為將輸入圖像的特征向量和域特征向量相連接,并過(guò)分類(lèi)2.根據(jù)權(quán)利要求1所述的因果干預(yù)的人臉?lè)纻畏椒?,其特征在于,所述使用狄利克雷?shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集分布,基于擴(kuò)充后的數(shù)據(jù)集,訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于域分類(lèi),將網(wǎng)絡(luò)提取到的特征作為表征干擾因子的域特征,包括:根據(jù)已有的數(shù)據(jù)集或數(shù)據(jù)域的個(gè)數(shù)N,構(gòu)建對(duì)應(yīng)維度的狄利克雷分布λ~Dirichlet(a),λ是從狄利克雷分布Dirichlet(a)中采樣的隨機(jī)數(shù),α是預(yù)先給定的狄利克雷分布的參3從狄利克雷分布中采樣若干個(gè)隨機(jī)數(shù),作為數(shù)據(jù)集或基于原有的數(shù)據(jù)集或數(shù)據(jù)域和狄利克雷數(shù)據(jù)增強(qiáng)新生成的數(shù)據(jù)集或數(shù)據(jù)域,訓(xùn)練一個(gè)使用對(duì)比損失函數(shù)約束人臉圖像特征,將不同域中相同類(lèi)別的人臉圖像特征作為正樣使用基于注意力機(jī)制的正樣本選取策略,選取跟錨點(diǎn)的特征內(nèi)積較小的K個(gè)正樣本作4.一種人臉?lè)纻窝b置,包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的6.一種計(jì)算機(jī)程序產(chǎn)品,其特征在于,所述計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)了計(jì)算機(jī)程序的非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)程序可操作來(lái)使計(jì)算機(jī)執(zhí)行如權(quán)利要求1-3任4一種因果干預(yù)的人臉?lè)纻畏夯椒ā⒃O(shè)備及技術(shù)領(lǐng)域[0001]本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域,具體涉及一種因果干預(yù)的人臉?lè)纻畏夯椒ǎ捌溆?jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)。背景技術(shù)[0002]隨著計(jì)算機(jī)視覺(jué)技術(shù)的飛速發(fā)展,人臉識(shí)別系統(tǒng)已經(jīng)被應(yīng)用于一些交互式智能應(yīng)回放、化妝、3D面具等,帶來(lái)了巨大的安全風(fēng)險(xiǎn)。因此,人臉?lè)纻渭夹g(shù)被提出來(lái)解決這個(gè)問(wèn)題,并引起了越來(lái)越多的關(guān)注。早期的人臉?lè)纻渭夹g(shù)利用手工設(shè)計(jì)的特征提取算子,如LBP,HOG和SIFT,來(lái)建模偽造的特征。隨著深度學(xué)習(xí)的興起,人臉?lè)纻稳蝿?wù)被建模為有監(jiān)督的二分類(lèi)問(wèn)題,使用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征。細(xì)粒度更強(qiáng)的像素級(jí)別的監(jiān)督信號(hào),如偽深度圖、反射圖和二進(jìn)制掩碼,被引入來(lái)增強(qiáng)深度學(xué)習(xí)模型捕捉本質(zhì)偽造特征的能力。盡管上述方法在數(shù)據(jù)集內(nèi)的測(cè)試(訓(xùn)練和測(cè)試數(shù)據(jù)來(lái)自同一數(shù)據(jù)集(分布))中取得了很好的性能,但在跨數(shù)據(jù)集的測(cè)試(訓(xùn)練數(shù)據(jù)來(lái)自源域數(shù)據(jù)集,測(cè)試數(shù)據(jù)來(lái)自目標(biāo)域數(shù)據(jù)集,源域和目標(biāo)域存在分布差異)中,由于照度、背景、分辨率和種族的分布差異,它們的性能會(huì)急劇下降,表明人臉?lè)纻渭夹g(shù)泛化能力差,影響了其在真實(shí)復(fù)雜場(chǎng)景中的使用。計(jì)算機(jī)視覺(jué)的域泛化方法和元學(xué)習(xí)方法被引入到人臉?lè)纻沃衼?lái)提高泛化能力。域泛化方法構(gòu)造了一個(gè)復(fù)雜的最小-最大問(wèn)題,通過(guò)額外的對(duì)抗學(xué)習(xí)來(lái)建模一個(gè)共享的特征空間。元學(xué)習(xí)方法將訓(xùn)練數(shù)據(jù)集劃分成元訓(xùn)練集和元測(cè)試集,模擬真實(shí)場(chǎng)景中的分布差異,利用繁瑣的交替元更新來(lái)訓(xùn)練模型。因此,現(xiàn)在需要更有效和高效的人臉?lè)繹0003]現(xiàn)有的人臉?lè)纻畏椒ù嬖谝韵虏蛔悖?1)針對(duì)特定的數(shù)據(jù)集,專(zhuān)家設(shè)計(jì)的人臉?lè)纻文P头夯芰Σ?,跨?shù)據(jù)集的測(cè)試準(zhǔn)確率較差,影響其實(shí)際應(yīng)用;(2)目前人臉?lè)纻畏夯姆椒ɑ趩l(fā)式設(shè)計(jì),缺少對(duì)泛化能力差的建模分析;(3)現(xiàn)有的人臉?lè)纻畏夯椒ㄓ?jì)算過(guò)發(fā)明內(nèi)容[0004]本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足,提供了一種因果干預(yù)的人臉?lè)纻畏椒?,基于結(jié)構(gòu)因果模型,分析建模與數(shù)據(jù)集分布相關(guān)的域特征為破壞人臉?lè)纻畏夯母蓴_因子,使用后門(mén)調(diào)整模型進(jìn)行因果干預(yù),整體算法簡(jiǎn)潔有效,能實(shí)現(xiàn)更高的人臉?lè)纻畏夯臏?zhǔn)確率,包括:[0005]S1,構(gòu)建面向人臉?lè)纻稳蝿?wù)的結(jié)構(gòu)因果模型,基于該結(jié)構(gòu)因果模型,建模與數(shù)據(jù)集分布相關(guān)的域特征為影響人臉?lè)纻畏夯母蓴_因子,其中域表示服從一定分布的數(shù)據(jù)集,域特征表示該數(shù)據(jù)集的分布特征;[0006]S2,使用狄利克雷數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集分布,基于擴(kuò)充后的數(shù)據(jù)集,訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于域分類(lèi),將網(wǎng)絡(luò)提取到的特征作為表征干擾因子的域特征;[0007]S3,訓(xùn)練神經(jīng)網(wǎng)絡(luò)對(duì)輸入人臉圖像的真假進(jìn)行二分類(lèi)判別,并采用后門(mén)調(diào)整模型對(duì)人臉真假分類(lèi)的神經(jīng)網(wǎng)絡(luò)進(jìn)行因果干預(yù),消除干擾因子的影響;5[0008]S4,在訓(xùn)練人臉真假分類(lèi)的神經(jīng)網(wǎng)絡(luò)中,同時(shí)使用對(duì)比損失函數(shù)約束特征空間,將相同類(lèi)別的人臉圖像特征作為正樣本聚合,將不同類(lèi)別的人臉圖像特征作為負(fù)樣本區(qū)分。[0009]優(yōu)選地,所述結(jié)構(gòu)因果模型是有向無(wú)環(huán)的因果圖模型,圖中的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)模型中的一個(gè)變量,節(jié)點(diǎn)和節(jié)點(diǎn)連接的邊則描述了變量與變量直接的因果關(guān)系;[0010]優(yōu)選地,所述基于人臉?lè)纻蔚慕Y(jié)構(gòu)因果模型共包含三個(gè)節(jié)點(diǎn),三個(gè)節(jié)點(diǎn)對(duì)應(yīng)三個(gè)變量,分別表示輸入人臉圖像X,真?zhèn)螛?biāo)簽Y,域特征的干擾因子D;所述基于人臉?lè)纻蔚慕Y(jié)構(gòu)因果模型共包含節(jié)點(diǎn)之間連接的三條邊,三條邊對(duì)應(yīng)三個(gè)因果關(guān)系,分別為:輸入人臉圖像X→真?zhèn)螛?biāo)簽Y:人臉圖像到真?zhèn)螛?biāo)簽的因果關(guān)系,是有利于增強(qiáng)人臉?lè)纻畏夯恼鎸?shí)因果關(guān)系;域特征的干擾因子D→真?zhèn)螛?biāo)簽Y:域特征的干擾因子到真?zhèn)螛?biāo)簽的因果關(guān)系,是破壞人臉?lè)纻畏夯奶摷僖蚬P(guān)系;域特征的干擾因子D→輸入人臉圖像X:域特征的干擾因子到輸入人臉圖像的因果關(guān)系,表示域特征影響人臉圖像的生成。[0012]根據(jù)已有的數(shù)據(jù)集(域)的個(gè)數(shù)N,構(gòu)建對(duì)應(yīng)維度的狄利克雷分布λ~Dirichlet(a),α是預(yù)先給定的狄利克雷分布的參數(shù);[0013]從狄利克雷分布中采樣若干個(gè)隨機(jī)數(shù),作為數(shù)據(jù)集(域)混合的權(quán)重,將不同數(shù)據(jù)集(域)的圖像按照權(quán)重混合,并把混合生成的樣本作為新的數(shù)據(jù)集(域)。[0014]優(yōu)選地,所述基于擴(kuò)充后的數(shù)據(jù)集,訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于域分類(lèi)是指基于原有的數(shù)據(jù)集(域)和狄利克雷數(shù)據(jù)增強(qiáng)新生成的數(shù)據(jù)集(域),訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)用于對(duì)數(shù)據(jù)的域分類(lèi)。[0015]優(yōu)選地,所述將網(wǎng)絡(luò)提取到的特征作為表征干擾因子的域特征是指將網(wǎng)絡(luò)最后一個(gè)特征層提取到的特征作為表征干擾因子的域特征μ(D=d),其中μ表示將屬于某個(gè)域的所有樣本特征的平均值作為域特征,d表示第d個(gè)數(shù)據(jù)集(域)。[0016]優(yōu)選地,所述訓(xùn)練神經(jīng)網(wǎng)絡(luò)對(duì)輸入人臉圖像的真假進(jìn)行二分類(lèi)判別,并采用后門(mén)調(diào)整模型對(duì)人臉真假分類(lèi)的神經(jīng)網(wǎng)絡(luò)進(jìn)行因果干預(yù),消除干擾因子的影響,包括:[0017]使用基于do算子的后門(mén)調(diào)整模型進(jìn)行因果干預(yù),切斷結(jié)構(gòu)因果模型中域特征的干擾因子→輸入人臉圖像的因果關(guān)系,基于調(diào)整后的概率圖模型,得到調(diào)整后的概率公式為P[0018]在后門(mén)調(diào)整模型中,不同數(shù)據(jù)集(域)有相同數(shù)量的圖片,所以將域先驗(yàn)的概率分布建模為均勻分布,即P(D=d)=1/N,其中N表示域的總個(gè)數(shù);將真?zhèn)螛?biāo)簽基于輸入圖像和域特征干擾因子的條件概率建模為將輸入圖像的特征向量和域特征向量相連接,并過(guò)分類(lèi)[0019]優(yōu)選地,所述使用對(duì)比損失函數(shù)約束特征空間,將相同類(lèi)別的人臉圖像特征作為正樣本聚合,將不同類(lèi)別的人臉圖像特征作為負(fù)樣本區(qū)分,包括:[0020]使用對(duì)比損失函數(shù)約束人臉圖像特征,將不同域中相同類(lèi)別的人臉圖像特征作為正樣本聚合,將不同域中不同類(lèi)別的人臉圖像特征作為負(fù)樣本區(qū)分,計(jì)算對(duì)比損失函數(shù)時(shí),考慮K個(gè)正樣本和全部負(fù)樣本,這里K是預(yù)先設(shè)定的正整數(shù)。[0021]使用基于注意力機(jī)制的正樣本選取策略,選取跟錨點(diǎn)的特征內(nèi)積較小的K個(gè)正樣本作為困難正樣本,計(jì)算對(duì)比損失函數(shù)。[0022]根據(jù)本發(fā)明的第二方面,提供一種人臉?lè)纻窝b置,包括存儲(chǔ)器、處理器及存儲(chǔ)在存6儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述程序時(shí)可用于執(zhí)行所述的因果干預(yù)的人臉?lè)纻畏椒?。[0023]根據(jù)本發(fā)明的第三方面,提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的因果干預(yù)的人臉?lè)纻畏椒?。[0024]根據(jù)本發(fā)明的第四方面,提供一種計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)了計(jì)算機(jī)程序的非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)程序可操作來(lái)使計(jì)算機(jī)執(zhí)行所述的人臉?lè)纻畏椒?。[0025]根據(jù)本發(fā)明的第五方面,提供一種芯片系統(tǒng),包括處理器,所述處理器與存儲(chǔ)器的耦合,所述存儲(chǔ)器存儲(chǔ)有程序指令,當(dāng)所述存儲(chǔ)器存儲(chǔ)的程序指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的因果干預(yù)的人臉?lè)纻畏椒?。[0027]存儲(chǔ)器,用于儲(chǔ)存實(shí)現(xiàn)所述的人臉?lè)纻畏椒ǖ某绦?;[0028]處理器,用于加載并執(zhí)行所述存儲(chǔ)器存儲(chǔ)的程序,以實(shí)現(xiàn)所述的人臉?lè)纻畏椒ǖ母鱾€(gè)步驟。[0029]與現(xiàn)有技術(shù)相比,本發(fā)明實(shí)施例具有如下至少一種有益效果:[0030](1)本發(fā)明上述的因果干預(yù)的人臉?lè)纻畏夯椒?,通過(guò)引入結(jié)構(gòu)因果模型,建模與數(shù)據(jù)集分布相關(guān)的域特征為影響人臉?lè)纻畏夯母蓴_因子,能夠更好理解破壞人臉?lè)纻畏夯挠绊懸蛩?。[0031](2)本發(fā)明上述的因果干預(yù)的人臉?lè)纻畏夯椒ǎㄟ^(guò)狄利克雷數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集的分布,能夠更有效地提取作為干擾因子的域特征。[0032](3)本發(fā)明上述的因果干預(yù)的人臉?lè)纻畏夯椒?,使用后門(mén)調(diào)整模型進(jìn)行因果干預(yù),可以消除干擾因子的影響,整體算法簡(jiǎn)潔有效,能實(shí)現(xiàn)更高的人臉?lè)纻畏夯臏?zhǔn)確率,有利于人臉?lè)纻蔚膶?shí)際部署。附圖說(shuō)明[0033]通過(guò)閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述,本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:[0034]圖1為本發(fā)明一實(shí)施例中因果干預(yù)的人臉?lè)纻畏夯椒ǖ哪K原理圖;[0035]圖2為本發(fā)明一實(shí)施例的人臉?lè)纻蔚慕Y(jié)構(gòu)因果模型示意圖;[0036]圖3為本發(fā)明一實(shí)施例的人臉?lè)纻巫R(shí)別結(jié)果的可視化類(lèi)激活圖。具體實(shí)施方式[0037]下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明,但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是,對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō),在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。[0038]圖1為本發(fā)明一實(shí)施例中因果干預(yù)的人臉?lè)纻畏夯椒ǖ脑韴D。[0039]參照?qǐng)D1所示,在本發(fā)明一實(shí)施例中,因果干預(yù)的人臉?lè)纻畏夯椒òㄒ韵虏?分布相關(guān)的域特征為影響人臉?lè)纻畏夯母蓴_因子,其中域表示服從一定分布的數(shù)據(jù)集,D;基于人臉?lè)纻蔚慕Y(jié)構(gòu)因果模型共包含節(jié)點(diǎn)之間連接的三條邊,三條邊對(duì)應(yīng)三個(gè)因果關(guān)人臉?lè)纻畏夯恼鎸?shí)因果關(guān)系;域特征的干擾因子D→真?zhèn)螛?biāo)簽Y:域特征的干擾因子到真圖像X:域特征的干擾因子到輸入人臉圖像的因果關(guān)系,表示域特征影響人臉圖像的生成。[0046]Dsew=λ?·D[0047]基于擴(kuò)充后的數(shù)據(jù)集Dsu?={Ds?,…,Dsw,DSew,…,Dsew},訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)ψ=?○T用于對(duì)數(shù)據(jù)的域分類(lèi),訓(xùn)練的分類(lèi)[0053]S3,訓(xùn)練神經(jīng)網(wǎng)絡(luò)對(duì)輸入人臉圖像的真假進(jìn)行二分類(lèi)判別,并采用后門(mén)調(diào)整模型8基于輸入圖像和域特征干擾因子的條件概率P(Y|X,D=d)建模為將輸入圖像的特征向量X調(diào)整的概率公式為[0057]具體使用神經(jīng)網(wǎng)絡(luò)來(lái)建模上述后門(mén)調(diào)整的概率公式,包括特征提取器g和線性分類(lèi)器f。將人臉圖像X輸入特征提取器g,得到輸出的人臉圖像特征g(X),跟不同的域特征相將輸出求平均作為最后的輸出,根據(jù)真實(shí)的真?zhèn)螛?biāo)簽y,模型的分的特征內(nèi)積較小的K個(gè)正樣本作為困難正樣干個(gè)z,來(lái)計(jì)算對(duì)比損失函數(shù):9[0066]本發(fā)明上述實(shí)施例中,結(jié)構(gòu)因果模型是整體的建模分析工具,通過(guò)結(jié)構(gòu)因果模型建模分析,建模域特征為干擾因子,域特征破壞了人臉?lè)纻蔚姆夯?。因此通過(guò)神經(jīng)網(wǎng)絡(luò)提取該域特征,得到該域特征后,利用后門(mén)調(diào)整模型去消除域特征的影響,得到泛化性好的人臉?lè)纻文P汀0067]以下通過(guò)具體實(shí)驗(yàn)進(jìn)行說(shuō)明:上進(jìn)行。實(shí)驗(yàn)的測(cè)試協(xié)議,是在若干個(gè)源域數(shù)據(jù)集上進(jìn)行訓(xùn)練,訓(xùn)練完成后,在分布不同的目標(biāo)域數(shù)據(jù)集上進(jìn)行測(cè)試。比如在OULU(0)、CASIA(C)、Replay(I)和MSU(M)四個(gè)數(shù)據(jù)集上進(jìn)ROC曲線(接受者操作特性曲線)下的面積。HTER越小,AUC越大,[0069]具體對(duì)比結(jié)果可見(jiàn)如下表1、表2、表3所示,表1為本發(fā)明實(shí)施例的泛化準(zhǔn)確率結(jié)果據(jù)集上),表中越低的HTER和越高的AUC代表越好的泛化性能。[0072]表2[0074]表3[0076]如圖3所示的人臉?lè)纻巫R(shí)別結(jié)果的可視化類(lèi)激活圖,本發(fā)明實(shí)施例關(guān)注于面部區(qū)域來(lái)預(yù)測(cè)真實(shí)的人臉,并重視打印紙、手掌和設(shè)備邊緣來(lái)區(qū)分偽造的人臉。[0077]上述實(shí)驗(yàn)表明,本發(fā)明的實(shí)施例提出的因果干預(yù)的人臉?lè)纻畏夯椒?,能夠在測(cè)試集和訓(xùn)練集分布不同的跨數(shù)據(jù)集測(cè)試的情況下,實(shí)現(xiàn)更低的平均錯(cuò)誤率和更高的曲線下面積,表明模型具有更好的分布外泛化的性能,從而有更廣泛的應(yīng)用場(chǎng)景。[0078]限定計(jì)算資源的情況下提高圖像分類(lèi)方法的性能,實(shí)現(xiàn)更高的準(zhǔn)確率,并且可以在較短時(shí)間內(nèi)自動(dòng)設(shè)計(jì)調(diào)整得到基于神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)方法,從而有更廣泛的應(yīng)用場(chǎng)[0079]在本發(fā)明另一實(shí)施例中,提供一種人臉?lè)纻窝b置,包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述程序時(shí)可用于執(zhí)行上述實(shí)施例中的因果干預(yù)的人臉?lè)纻畏椒?。[0080]在本發(fā)明另一實(shí)施例中,還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述實(shí)施例的因果干預(yù)的人臉?lè)纻畏夯椒?。[0081]在本發(fā)明另一實(shí)施例中,還提供一種芯片系統(tǒng),包括處理器合,存儲(chǔ)器存儲(chǔ)有程序指令,當(dāng)存儲(chǔ)器存儲(chǔ)的程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述實(shí)施例的因果干預(yù)的人臉?lè)纻畏夯椒?。[0082]在本發(fā)明另一實(shí)施例中,還提供一種計(jì)算機(jī)設(shè)備,包括:通信接口;還包括:存儲(chǔ)器,用于儲(chǔ)存實(shí)現(xiàn)所述的人臉?lè)纻畏椒ǖ某绦颍惶幚砥?,用于加載并執(zhí)行所述存儲(chǔ)器存儲(chǔ)的程序,以實(shí)現(xiàn)所述的人臉?lè)纻畏椒ǖ母鱾€(gè)步驟。存儲(chǔ)器(英文:staticrandom-accessmemory,縮寫(xiě):SRAM),雙倍數(shù)據(jù)率存儲(chǔ)器(英文:DoubleDataRateSynchronousDynamicRandomDDRSDRAM)等;存儲(chǔ)器也可以包括非易失性存儲(chǔ)器(英文:non-volatilememory),例如快閃存儲(chǔ)器(英文:flashmemory)。存儲(chǔ)器62用于存儲(chǔ)計(jì)算機(jī)程序(如實(shí)現(xiàn)上述方法的應(yīng)用程序、功能模塊等)、計(jì)算機(jī)指令等,上述的計(jì)算機(jī)程序、計(jì)算機(jī)指令等[0084]上述的計(jì)算機(jī)程序、計(jì)算機(jī)指令等可以分區(qū)存儲(chǔ)在一個(gè)或多個(gè)存儲(chǔ)器中。并且上述的計(jì)算機(jī)程序、計(jì)算機(jī)指令、數(shù)據(jù)等可以被[0085]處理器,用于執(zhí)行存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)程序,以實(shí)現(xiàn)上述實(shí)施例涉及的方法中的各個(gè)步驟。具體可以參見(jiàn)前面方法實(shí)施例中的相關(guān)描述。[0086]處理器和存儲(chǔ)器可以是獨(dú)立結(jié)構(gòu),也可以是集成在一起的集成結(jié)構(gòu)。當(dāng)處理器和存儲(chǔ)器是獨(dú)立結(jié)構(gòu)時(shí),存儲(chǔ)器、處理器可以通過(guò)

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論