(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(45)授權(quán)公告日2025.06.27(21)申請?zhí)?02211264344.4(22)申請日2022.10.14(43)申請公布日2023.01.03地址300130天津市紅橋區(qū)丁字沽光榮道8(72)發(fā)明人向順王健儒王元全郭世杰蘇衛(wèi)華所(普通合伙)12210專利代理師蔡運紅GO6V10/82(2022.01)AU2020103715A4,2021.02.11審查員盧素齋基于跨模型相互教學半監(jiān)督的房顫輔助分析方法本發(fā)明為基于跨模型相互教學半監(jiān)督的房分析。該方法通過跨模型相互教學的半監(jiān)督機定義數(shù)據(jù)集，并對數(shù)據(jù)集進行增強：引入可變形的Transformer,構(gòu)建左心房分割模型：搭建基于跨模型相互教學的半監(jiān)督訓練框架，并設(shè)計損失函數(shù)進行模型訓練，最終生成左心房分割預測圖；基于重建后的左心房分割預測圖，計算左心房的直徑、體積、體積指數(shù)和左心房球形度四種臨床指標。21.一種基于跨模型相互教學半監(jiān)督的房顫輔助分析方法，其特征在于，該方法包括以S1、在訓練階段采用包含隨機翻轉(zhuǎn)、對比度增強以及隨機裁剪在內(nèi)的方式進行數(shù)據(jù)增強，在推理階段采用中心裁剪進行數(shù)據(jù)增強，將待分割的3D心臟核磁共振圖像裁剪為規(guī)定S2、引入可變形的Transformer,構(gòu)建左心房分割模型；左心房分割模型包括基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器、3D可變形的Transformer編碼器和基于卷積神經(jīng)網(wǎng)絡(luò)的解碼器；基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器包括多個級聯(lián)的編碼器層，每個編碼器層均包含卷積層、歸一化層、激活層和下采樣層，待分割的3D心臟核磁共振圖像通過基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器進行特征提取，得到多尺度空間特征圖；3D可變形的Transformer編碼器由多個3D可變形的Transformer編碼器層堆疊而成，每個3D可變形的Transformerr編碼器層均包括級聯(lián)的自注意力層、歸一化層、前向反饋層和歸一化層，自注意力層和前向反饋層采用殘差連接；基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器提取的空間特征圖輸入到3D可變形的Transformer編碼器中，通過3D位置編碼器對輸入的空間特征圖進行扁平化，同時將空間特征圖中左心房區(qū)域的像素點作為關(guān)鍵點；將扁平化后的空間特征圖和關(guān)鍵點輸入到自注意力層中，自注意力層利用3D可變形的多頭自注意力機制使3D可變形的Transformerr編碼器只關(guān)注空間特征圖的部分像素點，3D可變形的自注意力機制是將注意力機制在Z軸方向拓展得到，表達式坐標，Pq表示z的歸一化坐標，f1}L=2表示多尺度空間特征圖，m表示多頭注意力機制的自樣偏移量和注意力權(quán)重；φ(pq)表示將歸一化坐標Pq轉(zhuǎn)換為對應(yīng)的第1個空間特征圖；基于卷積神經(jīng)網(wǎng)絡(luò)的解碼器包括與編碼器層數(shù)量相同的解碼器層，除最后一個解碼器層為上采樣層外，其余解碼器層均為轉(zhuǎn)置卷積；S3、搭建基于跨模型相互教學的半監(jiān)督訓練框架；將左心房分割模型作為教師模型，V-式中，LcE(y;,p)、LDICE(y,p)分別表示左心房分割預測圖p與真實標簽y之間的交叉熵損失和骰子系數(shù)損失；對于未標簽數(shù)據(jù)，使用跨模型相互教學的半監(jiān)督訓練，3D心臟核磁共振圖像分別輸入到教師模型和學生模型中產(chǎn)生兩個偽標簽，利用教師模型為學生模型提供偽標簽，利用學生模型為教師模型提供偽標簽；對生成的偽標簽進行過濾，將左心房分割預測圖中像素點的置信度作為過濾指標，分別對左心房分割預測圖的前景和背景設(shè)置閾值，對于左心房分割預測圖的前景選擇置信度高于前景閾值的像素點，左心房分割預測圖的背景選擇置信度小于背景閾值的像素點，將左心房分割預測圖中的其余像素點刪除，得到過濾后的左心房3分割預測圖；利用過濾后的左心房分割預測圖和偽標簽計算模型訓練的二交叉熵損失為：其中，9i[0]、9i[1]分別表示左心房分割預測圖的前景和背景，γ和β分別表示前景閾值和背景閾值；9;表示偽標簽，包括教師模型為學生模型提供的偽標簽和學生模型為教師模型提供的偽標簽9;左心房分割預測圖p.包括教師模型和學生模型的預測結(jié)果；跨模型相互教學的策略損失函數(shù)Lcm定義為：Lcmt=LBCE(§,pT)+LBCE(T,p{)式中，LBCE({,pT)表示教師模型的預測結(jié)果與偽標簽的二交叉熵損失，LBCE(T,pS)表示學生模型的預測結(jié)果與偽標簽的二交叉熵損失；模型訓練總的損失函數(shù)表示為：其中，Lsup表示監(jiān)督損失，Lcm表示跨模型相互教學的策略損失，a表示平衡因子；平衡因子α的表達式為：式中，t表示模型當前的訓練步數(shù)，tma表示模型的最大訓練步數(shù)；S4、對同一張3D心臟核磁共振圖像生成的多張左心房分割預測圖按照原來的位置進行3D重建，得到重建后的左心房分割預測圖；基于重建后的左心房分割預測圖，計算左心房的直徑、體積、體積指數(shù)和左心房球形度四種臨床指標，醫(yī)生將這些臨床指標與正常參考值范圍進行比較，并結(jié)合臨床經(jīng)驗判斷患者是否有房顫，實現(xiàn)房顫的輔助分析。2.根據(jù)權(quán)利要求1所述的基于跨模型相互教學半監(jiān)督的房顫輔助分析方法，其特征在于，在步驟S4中，從重建后的左心房分割預測圖中獲取左心房的體積LA、左心房前后徑的直徑LAdia;左心房的體積指數(shù)LA為：其中，B表示患者的體表面積，計算公式為：Ba=0.0061×身高+0.0124×體重-0.0099(15)左心房球形度LAp為：其中，Vdia表示與左心房同容積球體的直徑。3.根據(jù)權(quán)利要求1或2所述的基于跨模型相互教學半監(jiān)督的房顫輔助分析方法，其特征在于，所述基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器包括四個編碼器層，編碼器層的卷積層的卷積核大小為2*2*2,步長為2;基于卷積神經(jīng)網(wǎng)絡(luò)的解碼器包括四個解碼器層，解碼器層的轉(zhuǎn)置卷積的卷積核大小為2*2*2,步長為2。4技術(shù)領(lǐng)域[0001]本發(fā)明屬于房顫輔助分析技術(shù)領(lǐng)域，特別是涉及一種基于跨模型相互教學半監(jiān)督的房顫輔助分析方法。背景技術(shù)[0002]房顫作為最常見的心臟疾病，通常表現(xiàn)為持續(xù)性心率失常和左心房增大，因此左心房的解剖結(jié)構(gòu)能夠為房顫病理分析提供重要信息，而左心房的直徑、體積、體積指數(shù)和球形度這四個指標可以為房顫評估和分析提供重要依據(jù)，故準確計算這些指標值對房顫評估具有重要作用。然而，準確計算指標值依賴于左心房輪廓的準確描繪，目前在臨床診斷上醫(yī)生主要通過從心臟核磁共振圖像手動分割左心房區(qū)域，不僅耗費時間，而且分割準確度較[0003]隨著深度學習技術(shù)的發(fā)展，基于深度學習的圖像分割方法取得了良好的效果。目前大多數(shù)可用的臨床數(shù)據(jù)庫規(guī)模較小，因此很難使用全監(jiān)督學習方式訓練模型。對于醫(yī)學影像來說獲取大量的標簽數(shù)據(jù)是一個費時費力的過程，標簽結(jié)果受到醫(yī)生主觀影像較大。相較于標簽數(shù)據(jù)，無標簽數(shù)據(jù)是容易獲得且能夠大量提供，如何利用有限的標簽數(shù)據(jù)和大量的無標簽數(shù)據(jù)進行半監(jiān)督學習已經(jīng)成為很多研究者關(guān)注的重點。目前，在半監(jiān)督學習中主要面臨兩大難點：1)一致性正則化約束問題。一致性正則化約束通過添加擾動加強模型在預測過程或者中間特征提取過程中的一致性。對于同一個無標簽數(shù)據(jù)通過在擾動過程中隨機擴充圖像，使得模型在前向傳播中獲得兩個不同的預測結(jié)果，并在增強圖像的預測之間加入一致性約束，從而使模型更加關(guān)注低密度區(qū)域，以教師-學生模型訓練框架中使用的是基于指數(shù)移動平均(EMA)方法更新教師參數(shù)。然而，指數(shù)移動平均更側(cè)重于在訓練過程中的每個階段對學生模型的參數(shù)進行加權(quán)，并沒有評估模型生成的偽標簽的質(zhì)量。隨著訓練次數(shù)的增加，教師模型會累積學習到學生模型的參數(shù)，同時也會累積參數(shù)中的錯誤知識，這樣不能夠保證教師模型能夠提供更好的偽標簽進行監(jiān)督。2)模型空間信息獲取能力不足。在已有的大多數(shù)研究中采用的是基于純卷積神經(jīng)網(wǎng)絡(luò)(CNN)的醫(yī)學影像分割方法，其中大部分模型都是基于U-Net/V-Net模型及其變體衍化而來的，雖然在各種任務(wù)中取得了不錯的結(jié)果，但是由于卷積運算有一定的局限性，基于CNN的方法對于全局信息和長依賴信息的建模能力有限，而且大多數(shù)醫(yī)學影像都是基于3D結(jié)構(gòu)的，每張圖像之間都有很多空間信息，這些空間信息在CNN模型中無法很好地被獲取。發(fā)明內(nèi)容[0004]針對現(xiàn)有技術(shù)的不足，本發(fā)明擬解決的技術(shù)問題是，提出一種基于跨模型相互教學半監(jiān)督的房顫輔助分析方法。[0005]本發(fā)明解決所述技術(shù)問題采用的技術(shù)方案如下：[0006]一種基于跨模型相互教學半監(jiān)督的房顫輔助分析方法，包括以下步驟：[0007]S1、在訓練階段采用包含隨機翻轉(zhuǎn)、對比度增強以及隨機裁剪在內(nèi)的方式進行數(shù)5[0010]3D可變形的Transformer[0011]基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器提取的空間特征圖輸入到3D可變形的Transformer編意力層利用3D可變形的多頭自注意力機制使3D可變形的Transformerr編碼器只關(guān)注空間點的采樣偏移量和注意力權(quán)重；中L(pq)表示將歸一化坐標Pq轉(zhuǎn)換為素點的置信度作為過濾指標，分別對左心房分割預測心房分割預測圖；利用過濾后的左心房分割預6[0020]其中，9i[0]、9i[1]分別表示左心房分割預測圖的前景和背景，γ和β分別表示前景閾值和背景閾值；;表示偽標簽，包括教師模型為學生模型提供的偽標簽和學生模型為教師模型提供的偽標簽9;左心房分割預測圖p?包括教師模型和學生模型的預測結(jié)果；[0021]跨模型相互教學的策略損失函數(shù)Lm定義為：表示教師模型的預測結(jié)果與偽標簽的二交叉熵損失，LBCE(T,pS)表示學生模型的預測結(jié)果與偽標簽的二交叉熵損失；[0024]模型訓練總的損失函數(shù)表示為：[0029]式中，t表示模型當前的訓練步數(shù)，tmx表示模型的最大訓練步數(shù)；[0030]S4、對同一張3D心臟核磁共振圖像生成的多張左心房分割預測圖按照原來的位置進行3D重建，得到重建后的左心房分割預測圖；基于重建后的左心房分割預測圖，計算左心房的直徑、體積、體積指數(shù)和左心房球形度四種臨床指標，醫(yī)生將這些臨床指標與正常參考值范圍進行比較，并結(jié)合臨床經(jīng)驗判斷患者是否有房顫，實現(xiàn)房顫的輔助分析。[0032]1、3D心臟核磁共振圖像中含有豐富的空間信息，有利于左心房的準確分割。為了對3D心臟核磁共振圖像進行分割，本發(fā)明在卷積神經(jīng)網(wǎng)絡(luò)中引入可變形的Transformer構(gòu)建左心房分割模型，充分利用CNN提取局部特征和Transformer可以對遠程長依賴信息進行建模，以提取空間信息的優(yōu)勢。與傳統(tǒng)的Transformer模塊相比，本發(fā)明的3D可變形的Transformer編碼器將左心房區(qū)域的像素點作為關(guān)鍵點，使得3D可變形的Transformer編碼器只關(guān)注左心房區(qū)域所在的關(guān)鍵點，而不管特征圖的空間大小。通過為每個查詢只分配少量固定數(shù)量的鍵，可以緩解收斂和特征空間分辨率的問題，減少計算量的同時加快了收斂[0033]2、在左心房分割模型與V-Net模型之間搭建跨模型相互教學的半監(jiān)督機制，能夠兼顧不同模型在同一數(shù)據(jù)上的信息類別，同時對預測結(jié)果設(shè)置了前景閾值和背景閾值，利用像素點的置信度對生成的偽標簽進行過濾，進而提供準確穩(wěn)定的偽標簽，使兩個模型預測逐漸達到一致性，從而提高左心房分割模型的分割精度。同時解決了現(xiàn)有的教師-學生模型半監(jiān)督訓練框架中，隨著訓練次數(shù)的增加，教師模型會累積錯誤的知識，而不能提供更好的偽標簽進行監(jiān)督的問題。在分割過程中充分利用了大量未標簽數(shù)據(jù)，很大程度上緩解了模型對標簽數(shù)據(jù)的依賴，減少了醫(yī)生對3DMRI數(shù)據(jù)的標注時間和精力，減少人力成本。[0034]3、本發(fā)明通過左心房分割模型獲取左心房區(qū)域的圖像，并通過3D重建左心房分割結(jié)果得到左心房直徑、體積、體積指數(shù)和左心房球形度四種臨床指標，能夠幫助醫(yī)生在房顫7癥狀和心臟疾病方面的診斷，在臨床實踐中具有重要意義，有利于醫(yī)學自動診斷技術(shù)從實驗室到臨床應(yīng)用。附圖說明[0035]圖1為本發(fā)明的整體流程圖；[0036]圖2為本發(fā)明的左心房分割模型的結(jié)構(gòu)圖；[0038]圖4為本發(fā)明的3D可變形的Transformerr編碼器層的結(jié)構(gòu)圖。具體實施方式[0039]下面結(jié)合附圖和具體實施方式對本發(fā)明的技術(shù)方案進行詳細描述，但并不以此限定本申請的保護范圍。[0040]本發(fā)明提供一種基于跨模型相互教學半監(jiān)督的房顫輔助分析方法(簡稱方法，參見圖1～4),具體包括以下步驟：[0041]S1、定義數(shù)據(jù)集：遵循標準的半監(jiān)督學習數(shù)據(jù)集設(shè)置，將數(shù)據(jù)集記為D,將標簽數(shù)據(jù)集表示為D?={x?,y?},未標簽數(shù)據(jù)集表示為D={x},其中x表示3D心臟核磁共振圖像，y?表示真實標簽；選取20%的標簽數(shù)據(jù)和80%的未標簽數(shù)據(jù)用于模型訓練，達到利用少量的標簽數(shù)據(jù)和大量的未標簽數(shù)據(jù)組成的樣本訓練模型的目的；[0042]對數(shù)據(jù)集進行增強：目前醫(yī)學影像的數(shù)據(jù)集與動輒幾千、幾萬張的自然圖像的數(shù)據(jù)集相比十分稀少，為了使模型的穩(wěn)健性更強，在訓練階段采用組合方式進行數(shù)據(jù)增強，包含隨機翻轉(zhuǎn)15°、對比度增強以及隨機裁剪等方式；在推理階段使用中心裁剪的方式進行數(shù)據(jù)增強，將待分割的3D心臟核磁共振圖像裁剪為240*240*80像素；[0043]S2、引入可變形的Transformer,構(gòu)建左心房分割模型；左心房分割模型包括基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器、3D可變形的Transformer編碼器和基于卷積神經(jīng)網(wǎng)絡(luò)的解碼器，參見圖2;[0044]S21、基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器包括四個級聯(lián)的編碼器層，每個編碼器層均包含級聯(lián)的卷積層、歸一化層、激活層和下采樣層；卷積層的卷積核大小為2*2*2,步長為2;激活層采用PRELU激活函數(shù)，歸一化層采用BatchNorm層歸一化函數(shù)；經(jīng)過卷積特征圖的通道數(shù)會增加一倍，分辨率減少一半；將待分割的3D心臟核磁共振圖像輸入到基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器中進行特征提取，得到多尺度空間特征圖，多尺度空間特征圖編碼器層數(shù)量，F(xiàn)CNN(.)表示基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器，[0047]S22、3D可變形的Transformer編碼器由多個3D可變形的Transformer編碼器層堆疊而成(本實施例為8個),每個3D可變形的Transformerr編碼器層均包括級聯(lián)的自注意力8層、歸一化層、前向反饋層和歸一化層，自注意力層和前向反饋層均采用殘差連接，參見圖3;將基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器的第二～四個編碼器層提取的空間特征圖輸入到3D可變形的Transformer編碼器中，得到Transformer編碼器提取的空間特征圖，進而提取到3D心臟核磁共振圖像之間的長依賴信息；[0048]Transformer是一種基于多頭注意機制的網(wǎng)絡(luò)架構(gòu)，主要應(yīng)用于自然語言處理，由于其在長依賴信息中的優(yōu)勢，在處理視覺任務(wù)中也取得了不錯的效果；在Transformer模塊中，給定一個查詢元素(例如分割區(qū)域的一個像素點)和一組關(guān)鍵元素(例如待分割圖像中的像素點),多頭注意力機制根據(jù)注意力權(quán)重自適應(yīng)地聚合關(guān)鍵元素查詢的匹配程度；為了讓模型關(guān)注來自不同表示子空間和不同位置的內(nèi)容，多頭注意力機制將不同注意力頭的輸出與可學習的注意力權(quán)重進行線性聚合；本申請在傳統(tǒng)Transformer模塊的基礎(chǔ)上進行改進，得到3D可變形的Transformer模塊，一方面為了解決傳統(tǒng)Transformer模塊在收斂之前方面為了解決傳統(tǒng)Transformer模塊計算的是圖像所有數(shù)據(jù)的權(quán)重，多頭注意力的計算和記憶復雜度很高，如果有許多查詢和關(guān)鍵元素，會使得計算量非常大難以適用于3D醫(yī)學影像的問題；[0049]因此，3D可變形的Transformer編碼器首先通過3D位置編碼器對輸入的空間特征圖進行扁平化，同時將空間特征圖中左心房區(qū)域的像素點作為關(guān)鍵點；3D位置編碼器的表達式為：像素點的索引編號；[0052]然后，將扁平化后的空間特征圖和關(guān)鍵點輸入到自注意力層中，自注意力層通過3D可變形的多頭自注意力機制使3D可變形的Transformerr編碼器只關(guān)注空間特征圖的部分像素點；3D可變形的自注意力機制是將注意力機制在Z軸方向(即增加一個通道)拓展得[0054]式中，TDDeforattn(zq,Pq,{f3}{=2)表示3D可變形的多頭注意力機制，z表示像素的自注意力頭索引編號，M表示自注意力頭數(shù)，L表示空間特征圖數(shù)量，W、W′均表示單位矩點的采樣偏移量和注意力權(quán)重；φ(pq)表示將歸一化坐標Pq轉(zhuǎn)換為對應(yīng)的第1個空間特征[0055]S23、基于卷積神經(jīng)網(wǎng)絡(luò)的解碼器包括四個級聯(lián)的解碼器層，前三個解碼器層均采用卷積核大小為2*2*2,步長為2的轉(zhuǎn)置卷積，將Transformer編碼器提取的空間特征圖返回到輸入分辨率；最后一個解碼器層為上采樣層，用于輸出左心房分割預測圖；為了保留更多的底層細節(jié)，基于卷積神經(jīng)