基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法：原理、創(chuàng)新與應(yīng)用一、引言1.1研究背景與意義在現(xiàn)代醫(yī)學(xué)領(lǐng)域，醫(yī)學(xué)成像技術(shù)的飛速發(fā)展為疾病的診斷和治療提供了豐富的信息來源。計(jì)算機(jī)斷層掃描（CT）、磁共振成像（MRI）、正電子發(fā)射斷層掃描（PET）等多種成像模態(tài)應(yīng)運(yùn)而生，每種模態(tài)都有其獨(dú)特的優(yōu)勢和側(cè)重點(diǎn)。例如，CT圖像能夠清晰地展現(xiàn)人體骨骼和組織的解剖結(jié)構(gòu)，對于檢測骨折、肺部疾病等具有重要價(jià)值；MRI圖像則在顯示軟組織細(xì)節(jié)方面表現(xiàn)出色，有助于神經(jīng)系統(tǒng)疾病、腫瘤等的診斷；PET圖像則側(cè)重于反映人體代謝功能信息，對于腫瘤的早期檢測和良惡性判斷提供關(guān)鍵依據(jù)。然而，單一模態(tài)的醫(yī)學(xué)圖像往往存在局限性，無法全面提供醫(yī)生診斷和治療所需的所有信息。例如，CT圖像雖然對骨骼結(jié)構(gòu)顯示清晰，但對于軟組織的分辨能力相對較弱；MRI圖像雖然能很好地展示軟組織，但在檢測骨骼病變方面不如CT；PET圖像雖然能提供代謝信息，但解剖結(jié)構(gòu)顯示不夠精確。這就使得醫(yī)生在診斷過程中可能會(huì)因?yàn)樾畔⒌牟蝗娑鴮?dǎo)致誤診或漏診。為了克服單一模態(tài)醫(yī)學(xué)圖像的不足，多模態(tài)醫(yī)學(xué)圖像融合技術(shù)應(yīng)運(yùn)而生。多模態(tài)醫(yī)學(xué)圖像融合旨在將來自不同成像模態(tài)的圖像信息進(jìn)行整合，生成一幅包含多種模態(tài)信息的綜合圖像，從而為醫(yī)生提供更全面、更準(zhǔn)確的診斷依據(jù)。通過融合不同模態(tài)的圖像，醫(yī)生可以同時(shí)觀察到人體解剖結(jié)構(gòu)、生理功能以及代謝活動(dòng)等多方面的信息，從而更準(zhǔn)確地判斷病情，制定更有效的治療方案。例如，在腦部疾病的診斷中，將CT圖像的解剖結(jié)構(gòu)信息與MRI圖像的軟組織信息融合，可以更清晰地顯示腦部病變的位置、大小和形態(tài)，提高診斷的準(zhǔn)確性；在腫瘤治療中，將PET圖像的代謝信息與CT圖像的解剖結(jié)構(gòu)信息融合，能夠更精確地確定腫瘤的邊界和范圍，為手術(shù)切除或放射治療提供更精準(zhǔn)的指導(dǎo)。在多模態(tài)醫(yī)學(xué)圖像融合技術(shù)中，選擇合適的融合算法至關(guān)重要。非下采樣剪切波變換（NSST）作為一種新興的多尺度分析方法，在圖像融合領(lǐng)域展現(xiàn)出了獨(dú)特的優(yōu)勢。NSST具有良好的多方向性和平移不變性，能夠更有效地提取圖像的局部特征和邊緣信息，從而在融合過程中更好地保留圖像的細(xì)節(jié)和紋理。與傳統(tǒng)的小波變換等方法相比，NSST能夠更精確地描述圖像的幾何結(jié)構(gòu)，對于具有復(fù)雜形狀和紋理的醫(yī)學(xué)圖像融合具有更好的效果。基于NSST算法的研究，能夠進(jìn)一步挖掘其在多模態(tài)醫(yī)學(xué)圖像融合中的潛力，提高融合圖像的質(zhì)量和信息含量，為醫(yī)學(xué)診斷和治療提供更有力的支持。本研究基于NSST算法展開深入研究，旨在探索一種更高效、更準(zhǔn)確的多模態(tài)醫(yī)學(xué)圖像融合方法。通過對NSST算法的優(yōu)化和改進(jìn)，結(jié)合其他相關(guān)技術(shù)，如神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等，提高融合圖像的質(zhì)量和信息利用率，從而為醫(yī)生提供更全面、更準(zhǔn)確的診斷依據(jù)，助力醫(yī)學(xué)診斷和治療水平的提升。同時(shí)，本研究也有助于推動(dòng)多模態(tài)醫(yī)學(xué)圖像融合技術(shù)的發(fā)展，為該領(lǐng)域的研究提供新的思路和方法。1.2國內(nèi)外研究現(xiàn)狀在多模態(tài)醫(yī)學(xué)圖像融合領(lǐng)域，基于NSST的算法研究近年來受到了廣泛關(guān)注。國內(nèi)外學(xué)者在該領(lǐng)域展開了深入研究，取得了一系列有價(jià)值的成果。在國外，一些研究致力于將NSST與其他先進(jìn)技術(shù)相結(jié)合，以提升融合效果。文獻(xiàn)[具體文獻(xiàn)1]將NSST與稀疏表示理論相結(jié)合，通過對圖像進(jìn)行NSST分解后，對得到的低頻和高頻子帶分別采用不同的稀疏表示融合策略。實(shí)驗(yàn)結(jié)果表明，該方法在保留圖像細(xì)節(jié)和邊緣信息方面表現(xiàn)出色，融合圖像的質(zhì)量得到了顯著提升，能夠?yàn)獒t(yī)學(xué)診斷提供更清晰、準(zhǔn)確的圖像信息。然而，該方法在計(jì)算稀疏表示時(shí)，計(jì)算量較大，導(dǎo)致算法運(yùn)行時(shí)間較長，這在一定程度上限制了其在實(shí)際臨床應(yīng)用中的實(shí)時(shí)性。文獻(xiàn)[具體文獻(xiàn)2]提出將NSST與深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（CNN）相結(jié)合的方法。先利用NSST對多模態(tài)醫(yī)學(xué)圖像進(jìn)行多尺度、多方向分解，提取圖像的不同層次特征，再將這些特征輸入到CNN中進(jìn)行進(jìn)一步的特征學(xué)習(xí)和融合。該方法充分發(fā)揮了NSST在圖像特征提取方面的優(yōu)勢以及CNN強(qiáng)大的學(xué)習(xí)能力，使得融合圖像在主觀視覺效果和客觀評價(jià)指標(biāo)上都有較好的表現(xiàn)，尤其是在對復(fù)雜病變區(qū)域的特征融合和表達(dá)上具有明顯優(yōu)勢。但是，該方法對訓(xùn)練數(shù)據(jù)的依賴性較強(qiáng)，需要大量高質(zhì)量的醫(yī)學(xué)圖像數(shù)據(jù)進(jìn)行訓(xùn)練，否則可能出現(xiàn)過擬合現(xiàn)象，影響算法的泛化能力。國內(nèi)在基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法研究方面也取得了豐富成果。文獻(xiàn)[具體文獻(xiàn)3]提出了一種基于NSST和脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）的融合算法。該算法首先對多模態(tài)醫(yī)學(xué)圖像進(jìn)行NSST分解，得到不同尺度和方向的子帶系數(shù)，然后利用PCNN的脈沖同步特性對這些子帶系數(shù)進(jìn)行融合。PCNN能夠根據(jù)圖像的局部特征自適應(yīng)地調(diào)整脈沖發(fā)放，從而更好地保留圖像的細(xì)節(jié)和紋理信息。實(shí)驗(yàn)結(jié)果表明，該算法在增強(qiáng)圖像對比度和清晰度方面效果顯著，能夠有效提高融合圖像的質(zhì)量。不過，PCNN的參數(shù)設(shè)置較為復(fù)雜，不同的參數(shù)組合可能會(huì)對融合效果產(chǎn)生較大影響，需要花費(fèi)較多時(shí)間進(jìn)行參數(shù)調(diào)試。文獻(xiàn)[具體文獻(xiàn)4]則結(jié)合NSST和區(qū)域能量分析的方法進(jìn)行多模態(tài)醫(yī)學(xué)圖像融合。在NSST分解后，通過計(jì)算不同子帶的區(qū)域能量，根據(jù)能量大小來選擇融合規(guī)則。對于能量較大的區(qū)域，認(rèn)為其包含了更重要的信息，在融合時(shí)給予更高的權(quán)重。這種方法能夠有效地突出圖像中的重要特征，提高融合圖像的信息利用率。然而，該方法對于能量計(jì)算的窗口大小和形狀較為敏感，不同的設(shè)置可能會(huì)導(dǎo)致融合結(jié)果的差異，缺乏統(tǒng)一的參數(shù)選擇標(biāo)準(zhǔn)。盡管基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法在近年來取得了顯著進(jìn)展，但目前的研究仍存在一些不足之處。一方面，大多數(shù)算法在追求融合圖像質(zhì)量提升的同時(shí)，忽略了算法的計(jì)算效率和實(shí)時(shí)性，復(fù)雜的計(jì)算過程使得這些算法難以滿足臨床快速診斷的需求。另一方面，現(xiàn)有的融合算法在面對不同類型、不同質(zhì)量的醫(yī)學(xué)圖像時(shí)，缺乏足夠的魯棒性和適應(yīng)性，難以保證在各種情況下都能獲得良好的融合效果。此外，對于融合效果的評價(jià)指標(biāo)還不夠完善，現(xiàn)有的客觀評價(jià)指標(biāo)往往不能完全反映融合圖像對于醫(yī)學(xué)診斷的實(shí)際價(jià)值，主觀評價(jià)又存在一定的主觀性和不確定性，如何建立更加科學(xué)、全面的融合效果評價(jià)體系也是當(dāng)前研究需要解決的問題之一。1.3研究內(nèi)容與方法1.3.1研究內(nèi)容NSST原理深入剖析：全面深入地研究非下采樣剪切波變換（NSST）的基本原理，包括其多尺度、多方向分解特性，以及平移不變性等關(guān)鍵優(yōu)勢。通過理論推導(dǎo)和數(shù)學(xué)分析，明確NSST在不同尺度和方向上對圖像信息的提取方式和表達(dá)能力，為后續(xù)基于NSST的算法改進(jìn)和應(yīng)用奠定堅(jiān)實(shí)的理論基礎(chǔ)。同時(shí)，詳細(xì)研究NSST在圖像邊緣檢測、紋理特征提取等方面的具體應(yīng)用效果，分析其對不同類型圖像特征的敏感程度和適應(yīng)性，揭示NSST在處理復(fù)雜圖像結(jié)構(gòu)時(shí)的優(yōu)勢和局限性。融合算法優(yōu)化改進(jìn)：針對現(xiàn)有的基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法存在的問題，如計(jì)算效率低、融合效果對參數(shù)敏感等，提出創(chuàng)新性的改進(jìn)策略。結(jié)合其他先進(jìn)的圖像處理技術(shù)，如深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（CNN）、生成對抗網(wǎng)絡(luò)（GAN），或者傳統(tǒng)的圖像增強(qiáng)算法、特征提取算法等，對NSST融合算法進(jìn)行優(yōu)化。例如，利用CNN強(qiáng)大的特征學(xué)習(xí)能力，自動(dòng)提取多模態(tài)醫(yī)學(xué)圖像的深層特征，然后將這些特征與NSST分解得到的子帶特征進(jìn)行融合，以提高融合圖像的質(zhì)量和信息含量；或者借助GAN的對抗訓(xùn)練機(jī)制，使生成的融合圖像更加逼真自然，同時(shí)增強(qiáng)融合圖像在細(xì)節(jié)和紋理方面的表現(xiàn)力。此外，還將深入研究融合規(guī)則的優(yōu)化，根據(jù)不同模態(tài)醫(yī)學(xué)圖像的特點(diǎn)和臨床診斷需求，設(shè)計(jì)更加合理、有效的融合規(guī)則，以充分發(fā)揮NSST在圖像融合中的優(yōu)勢，提高融合圖像的準(zhǔn)確性和可靠性。實(shí)驗(yàn)驗(yàn)證與結(jié)果分析：收集豐富多樣的多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)集，包括CT、MRI、PET等不同模態(tài)的醫(yī)學(xué)圖像，涵蓋多種疾病類型和不同的臨床場景。使用改進(jìn)后的基于NSST的融合算法對這些圖像進(jìn)行融合實(shí)驗(yàn)，并與其他經(jīng)典的多模態(tài)醫(yī)學(xué)圖像融合算法進(jìn)行對比。從主觀視覺效果和客觀評價(jià)指標(biāo)兩個(gè)方面對融合結(jié)果進(jìn)行全面、細(xì)致的評估。主觀視覺效果評估邀請具有豐富臨床經(jīng)驗(yàn)的醫(yī)生參與，通過他們對融合圖像的觀察和判斷，評價(jià)融合圖像在解剖結(jié)構(gòu)顯示、病變特征突出等方面的表現(xiàn)；客觀評價(jià)指標(biāo)則采用峰值信噪比（PSNR）、結(jié)構(gòu)相似性指數(shù)（SSIM）、互信息（MI）等常用的圖像質(zhì)量評價(jià)指標(biāo)，從不同角度量化評估融合圖像的質(zhì)量。通過對實(shí)驗(yàn)結(jié)果的深入分析，驗(yàn)證改進(jìn)算法的有效性和優(yōu)越性，同時(shí)分析算法在不同條件下的性能表現(xiàn)，總結(jié)算法的適用范圍和局限性，為算法的進(jìn)一步改進(jìn)和實(shí)際臨床應(yīng)用提供有價(jià)值的參考依據(jù)。1.3.2研究方法文獻(xiàn)研究法：系統(tǒng)地查閱國內(nèi)外關(guān)于多模態(tài)醫(yī)學(xué)圖像融合、NSST算法以及相關(guān)領(lǐng)域的學(xué)術(shù)文獻(xiàn)，包括學(xué)術(shù)期刊論文、會(huì)議論文、學(xué)位論文等。全面了解該領(lǐng)域的研究現(xiàn)狀、發(fā)展趨勢以及已取得的研究成果，分析現(xiàn)有研究的優(yōu)勢和不足，從而確定本研究的切入點(diǎn)和創(chuàng)新點(diǎn)。通過對文獻(xiàn)的深入研究，借鑒前人的研究思路和方法，為本研究提供理論支持和技術(shù)參考，避免重復(fù)研究，確保研究工作的前沿性和科學(xué)性。實(shí)驗(yàn)對比法：設(shè)計(jì)并開展大量的實(shí)驗(yàn)，將改進(jìn)后的基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法與其他經(jīng)典算法進(jìn)行對比。在實(shí)驗(yàn)過程中，嚴(yán)格控制實(shí)驗(yàn)條件，確保不同算法在相同的圖像數(shù)據(jù)集、實(shí)驗(yàn)環(huán)境下進(jìn)行測試。通過對比不同算法的融合結(jié)果，從主觀和客觀兩個(gè)方面進(jìn)行評估分析，直觀地展示改進(jìn)算法的性能優(yōu)勢和改進(jìn)效果。同時(shí)，通過改變實(shí)驗(yàn)參數(shù)和條件，如圖像的模態(tài)組合、噪聲水平、圖像分辨率等，深入研究算法的魯棒性和適應(yīng)性，為算法的優(yōu)化和實(shí)際應(yīng)用提供數(shù)據(jù)支持。理論分析法：運(yùn)用數(shù)學(xué)理論和圖像處理原理，對NSST算法的原理、特性以及融合算法的改進(jìn)策略進(jìn)行深入的理論分析和推導(dǎo)。通過理論分析，揭示算法的內(nèi)在機(jī)制和性能特點(diǎn)，為算法的設(shè)計(jì)和改進(jìn)提供理論依據(jù)。例如，通過對NSST的數(shù)學(xué)模型進(jìn)行分析，理解其在多尺度、多方向分解過程中的信號處理機(jī)制，從而為改進(jìn)算法中如何更好地利用這些特性提供指導(dǎo)；對融合規(guī)則進(jìn)行理論分析，探討不同融合規(guī)則對融合結(jié)果的影響，為選擇和設(shè)計(jì)最優(yōu)的融合規(guī)則提供理論支持。1.4研究創(chuàng)新點(diǎn)融合技術(shù)創(chuàng)新組合：創(chuàng)新性地將NSST與生成對抗網(wǎng)絡(luò)（GAN）相結(jié)合，打破傳統(tǒng)融合算法的局限。在多模態(tài)醫(yī)學(xué)圖像融合過程中，先利用NSST對圖像進(jìn)行多尺度、多方向分解，充分提取圖像的局部特征和邊緣信息。然后，將這些特征輸入到生成對抗網(wǎng)絡(luò)中，通過生成器和判別器的對抗訓(xùn)練，使生成的融合圖像在保留原始圖像重要信息的同時(shí)，更加逼真自然，有效增強(qiáng)融合圖像在細(xì)節(jié)和紋理方面的表現(xiàn)力，提升融合圖像的質(zhì)量和視覺效果，為醫(yī)生提供更清晰、準(zhǔn)確的診斷依據(jù)。融合規(guī)則優(yōu)化設(shè)計(jì)：根據(jù)不同模態(tài)醫(yī)學(xué)圖像的特點(diǎn)以及臨床診斷需求，提出一種基于區(qū)域特征和注意力機(jī)制的融合規(guī)則。該規(guī)則不再局限于傳統(tǒng)的基于像素或簡單區(qū)域能量的融合方式，而是通過對圖像進(jìn)行區(qū)域劃分，深入分析每個(gè)區(qū)域的特征信息，結(jié)合注意力機(jī)制，自動(dòng)分配不同區(qū)域在融合過程中的權(quán)重。對于包含關(guān)鍵診斷信息的區(qū)域，如病變部位，賦予更高的權(quán)重，使其在融合圖像中得到更突出的顯示；對于背景等相對次要區(qū)域，適當(dāng)降低權(quán)重。這樣可以更有針對性地融合多模態(tài)圖像信息，充分發(fā)揮不同模態(tài)圖像的優(yōu)勢，顯著提高融合圖像的準(zhǔn)確性和可靠性，為臨床診斷提供更具價(jià)值的圖像信息。多指標(biāo)融合效果評估：構(gòu)建一種綜合考慮圖像信息熵、對比度、結(jié)構(gòu)相似性以及醫(yī)學(xué)診斷相關(guān)性的多指標(biāo)融合效果評估體系。摒棄傳統(tǒng)單一或少數(shù)指標(biāo)評估的局限性，從多個(gè)維度全面評估融合圖像的質(zhì)量。信息熵用于衡量融合圖像的信息量豐富程度；對比度反映圖像中不同組織和結(jié)構(gòu)之間的差異清晰度；結(jié)構(gòu)相似性評估融合圖像與原始圖像在結(jié)構(gòu)上的相似程度；醫(yī)學(xué)診斷相關(guān)性則通過與臨床實(shí)際診斷需求相結(jié)合，邀請專業(yè)醫(yī)生參與評估，從診斷價(jià)值角度對融合圖像進(jìn)行評價(jià)。通過這種多指標(biāo)綜合評估體系，能夠更科學(xué)、準(zhǔn)確地評價(jià)融合算法的性能，為算法的優(yōu)化和改進(jìn)提供更全面、客觀的依據(jù)。二、多模態(tài)醫(yī)學(xué)圖像融合與NSST技術(shù)概述2.1多模態(tài)醫(yī)學(xué)圖像融合簡介2.1.1融合的概念與目的多模態(tài)醫(yī)學(xué)圖像融合，是指將來自不同成像模態(tài)的醫(yī)學(xué)圖像信息，在空間位置上精確對齊并整合在一起，生成一幅新的綜合圖像的過程。這些不同的成像模態(tài)，如計(jì)算機(jī)斷層掃描（CT）、磁共振成像（MRI）、正電子發(fā)射斷層掃描（PET）等，各自基于獨(dú)特的物理原理和成像特性，能夠提供人體不同角度和深度的信息。例如，CT圖像主要反映人體骨骼和組織的密度信息，對顯示骨骼結(jié)構(gòu)、肺部病變等具有顯著優(yōu)勢；MRI圖像則側(cè)重于展現(xiàn)人體軟組織的形態(tài)和結(jié)構(gòu)，在神經(jīng)系統(tǒng)疾病、腫瘤等的診斷中發(fā)揮關(guān)鍵作用；PET圖像通過檢測體內(nèi)放射性示蹤劑的分布，能夠提供人體代謝功能的信息，對于腫瘤的早期檢測、良惡性判斷以及療效評估具有重要價(jià)值。單一模態(tài)的醫(yī)學(xué)圖像存在局限性，無法全面滿足臨床診斷和治療的需求。比如，CT圖像雖然對骨骼結(jié)構(gòu)的顯示非常清晰，但對于軟組織的分辨能力相對較弱，難以準(zhǔn)確呈現(xiàn)軟組織的細(xì)微病變；MRI圖像雖然能很好地展示軟組織，但在檢測骨骼病變方面不如CT敏感；PET圖像雖然能提供代謝信息，但解剖結(jié)構(gòu)顯示不夠精確，難以準(zhǔn)確定位病變在解剖結(jié)構(gòu)中的具體位置。多模態(tài)醫(yī)學(xué)圖像融合的目的，就是為了彌補(bǔ)單一模態(tài)影像的不足，充分發(fā)揮不同模態(tài)圖像的優(yōu)勢，實(shí)現(xiàn)信息的互補(bǔ)和增強(qiáng)，從而為醫(yī)生提供更全面、更準(zhǔn)確的診斷依據(jù)，提高疾病診斷的準(zhǔn)確性和治療方案的有效性。通過融合不同模態(tài)的圖像，醫(yī)生可以在一幅圖像中同時(shí)觀察到人體解剖結(jié)構(gòu)、生理功能以及代謝活動(dòng)等多方面的信息，更準(zhǔn)確地判斷病情，制定更科學(xué)、更個(gè)性化的治療方案。在腦部疾病的診斷中，將CT圖像的解剖結(jié)構(gòu)信息與MRI圖像的軟組織信息融合，能夠更清晰地顯示腦部病變的位置、大小和形態(tài)，幫助醫(yī)生更準(zhǔn)確地判斷病變的性質(zhì)和程度，提高診斷的準(zhǔn)確性；在腫瘤治療中，將PET圖像的代謝信息與CT圖像的解剖結(jié)構(gòu)信息融合，能夠更精確地確定腫瘤的邊界和范圍，為手術(shù)切除或放射治療提供更精準(zhǔn)的指導(dǎo)，提高治療效果，減少對正常組織的損傷。2.1.2融合的應(yīng)用領(lǐng)域多模態(tài)醫(yī)學(xué)圖像融合技術(shù)在醫(yī)學(xué)領(lǐng)域有著廣泛的應(yīng)用，為疾病的診斷、治療和研究提供了有力支持。疾病診斷：在腫瘤診斷方面，將CT圖像的高分辨率解剖信息與PET圖像的代謝信息融合，可以更準(zhǔn)確地定位腫瘤的位置、大小及其與周圍組織的關(guān)系，同時(shí)了解腫瘤的代謝特征，評估其惡性程度和治療反應(yīng)。對于腦部腫瘤，CT能清晰顯示腫瘤的大致位置和周圍骨骼結(jié)構(gòu)，PET則可通過代謝活性判斷腫瘤的良惡性，融合后的圖像能讓醫(yī)生更全面地了解腫瘤情況，做出更準(zhǔn)確的診斷。在神經(jīng)系統(tǒng)疾病診斷中，MRI與PET融合，MRI能夠清晰地顯示大腦的結(jié)構(gòu)，PET則能提供功能性信息，顯示腦部的代謝活動(dòng)，有助于醫(yī)生更好地診斷和定位腦瘤、阿爾茨海默病、癲癇等疾病。對于阿爾茨海默病，MRI可顯示大腦的萎縮情況，PET能通過特定代謝物的變化反映神經(jīng)元的損傷程度，融合圖像能輔助醫(yī)生早期發(fā)現(xiàn)病變并評估病情進(jìn)展。治療規(guī)劃：在放療計(jì)劃制定中，融合CT和MRI圖像，CT提供準(zhǔn)確的骨骼和腫瘤位置信息，MRI能更好地顯示軟組織邊界，醫(yī)生可以更精確地確定腫瘤的靶區(qū)，制定更合理的放療劑量分布，在保證治療效果的同時(shí)，減少對周圍正常組織的損傷。在手術(shù)規(guī)劃方面，將CT、MRI等多種模態(tài)圖像融合，醫(yī)生可以從多個(gè)角度觀察病變部位與周圍組織、血管的關(guān)系，提前制定手術(shù)方案，選擇最佳的手術(shù)入路，提高手術(shù)的成功率和安全性。對于腦部手術(shù)，通過融合圖像，醫(yī)生可以清晰了解腫瘤與重要神經(jīng)、血管的毗鄰關(guān)系，避免手術(shù)過程中對這些結(jié)構(gòu)的損傷。術(shù)中導(dǎo)航：在手術(shù)過程中，實(shí)時(shí)融合CT、MRI等影像數(shù)據(jù)與手術(shù)現(xiàn)場的實(shí)際情況，可以為醫(yī)生提供精確的導(dǎo)航信息，幫助醫(yī)生實(shí)時(shí)了解手術(shù)器械與病變部位的相對位置，確保手術(shù)操作的準(zhǔn)確性和安全性。在脊柱手術(shù)中，通過將術(shù)前的CT或MRI圖像與術(shù)中的實(shí)時(shí)導(dǎo)航系統(tǒng)相結(jié)合，醫(yī)生可以準(zhǔn)確地將螺釘植入到合適的位置，避免損傷周圍的神經(jīng)和血管。療效評估：通過融合不同時(shí)間點(diǎn)的多模態(tài)醫(yī)學(xué)圖像，如治療前后的CT、MRI或PET圖像，醫(yī)生可以觀察病變的發(fā)展或退化過程，評估治療效果。對于腫瘤患者，在化療或放療后，通過融合PET和CT圖像，觀察腫瘤的代謝活性和大小變化，判斷腫瘤是否縮小、代謝是否降低，從而評估治療是否有效，為后續(xù)治療方案的調(diào)整提供依據(jù)。2.1.3現(xiàn)有融合算法分類與特點(diǎn)現(xiàn)有多模態(tài)醫(yī)學(xué)圖像融合算法主要分為傳統(tǒng)算法和深度學(xué)習(xí)算法兩大類，它們各自具有獨(dú)特的特點(diǎn)和局限性。傳統(tǒng)算法：包括基于多尺度變換的方法，如小波變換（WT）、輪廓波變換（Contourlet）、非下采樣輪廓波變換（NSCT）以及非下采樣剪切波變換（NSST）等?；诙喑叨茸儞Q的方法先將圖像分解為不同尺度和頻率的子帶，然后根據(jù)一定的融合規(guī)則對這些子帶進(jìn)行融合，最后通過逆變換得到融合圖像。此類方法能夠有效地提取圖像的多尺度和多方向特征，在保留圖像細(xì)節(jié)和邊緣信息方面具有一定優(yōu)勢，但計(jì)算復(fù)雜度較高，且對噪聲較為敏感?；谙∈璞硎镜姆椒ǎㄟ^構(gòu)建過完備字典，將圖像表示為稀疏系數(shù)，然后根據(jù)稀疏系數(shù)的特性進(jìn)行融合。該方法能夠在一定程度上壓縮圖像信息，突出圖像的重要特征，但字典的學(xué)習(xí)和構(gòu)建過程較為復(fù)雜，計(jì)算量較大，且對圖像的先驗(yàn)知識要求較高。基于子空間的方法，如主成分分析（PCA）、獨(dú)立成分分析（ICA）等，將圖像數(shù)據(jù)投影到低維子空間，通過對低維子空間的特征進(jìn)行融合來實(shí)現(xiàn)圖像融合。此類方法能夠降低數(shù)據(jù)維度，減少計(jì)算量，但在融合過程中可能會(huì)丟失一些重要信息，導(dǎo)致融合圖像的細(xì)節(jié)和紋理信息不夠豐富。深度學(xué)習(xí)算法：近年來，深度學(xué)習(xí)算法在多模態(tài)醫(yī)學(xué)圖像融合領(lǐng)域得到了廣泛應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)（CNN）通過構(gòu)建多層卷積層和池化層，自動(dòng)提取圖像的深層特征，能夠?qū)W習(xí)到圖像的復(fù)雜模式和語義信息，在融合過程中能夠更好地保留圖像的關(guān)鍵特征，提高融合圖像的質(zhì)量。但其訓(xùn)練需要大量的標(biāo)注數(shù)據(jù)，且模型的可解釋性較差，容易出現(xiàn)過擬合現(xiàn)象。生成對抗網(wǎng)絡(luò)（GAN）由生成器和判別器組成，通過兩者的對抗訓(xùn)練，使生成的融合圖像更加逼真自然，增強(qiáng)了融合圖像在細(xì)節(jié)和紋理方面的表現(xiàn)力。然而，GAN的訓(xùn)練過程不穩(wěn)定，容易出現(xiàn)模式崩潰等問題，對訓(xùn)練參數(shù)和數(shù)據(jù)的要求較高。注意力機(jī)制（AttentionMechanism）能夠自動(dòng)學(xué)習(xí)圖像中不同區(qū)域的重要性，對關(guān)鍵區(qū)域賦予更高的權(quán)重，從而更有針對性地融合圖像信息，提高融合圖像的準(zhǔn)確性和可靠性。但注意力機(jī)制的設(shè)計(jì)和實(shí)現(xiàn)較為復(fù)雜，需要根據(jù)具體的應(yīng)用場景進(jìn)行合理調(diào)整。2.2NSST技術(shù)原理剖析2.2.1NSST的基本原理非下采樣剪切波變換（NSST）是一種基于Shearlet變換發(fā)展而來的多尺度分析方法，在圖像處理領(lǐng)域展現(xiàn)出獨(dú)特的優(yōu)勢。其核心原理在于通過多尺度、多方向的分解方式，對圖像進(jìn)行精細(xì)的特征提取，從而能夠更準(zhǔn)確地描述圖像的局部幾何結(jié)構(gòu)和細(xì)節(jié)信息。NSST的實(shí)現(xiàn)依賴于Shearlet系統(tǒng)，該系統(tǒng)是一種由尺度、方向和平移參數(shù)構(gòu)成的函數(shù)族。在NSST中，首先通過非下采樣金字塔（NSP）對圖像進(jìn)行多尺度分解。NSP采用了非下采樣的方式，避免了傳統(tǒng)下采樣過程中信息的丟失，使得在不同尺度下都能完整地保留圖像的信息。通過NSP分解，圖像被分解為一個(gè)低頻子帶和多個(gè)高頻子帶，低頻子帶包含了圖像的主要結(jié)構(gòu)和概貌信息，高頻子帶則捕捉了圖像的邊緣、紋理等細(xì)節(jié)信息。以一幅腦部MRI圖像為例，經(jīng)過NSP分解后，低頻子帶能夠清晰地顯示出大腦的整體形狀和主要組織分布，而高頻子帶則突出了大腦組織的邊界、血管等細(xì)節(jié)特征。在完成多尺度分解后，對每個(gè)高頻子帶進(jìn)行非下采樣方向?yàn)V波器組（NSDFB）處理，以實(shí)現(xiàn)多方向分解。NSDFB同樣采用非下采樣的策略，具有良好的方向選擇性，能夠?qū)⒏哳l子帶中的信息進(jìn)一步分解到不同的方向子帶中。這種多方向分解使得NSST能夠更精確地捕捉圖像中不同方向的邊緣和紋理信息。對于包含豐富紋理和復(fù)雜結(jié)構(gòu)的醫(yī)學(xué)圖像，如肺部CT圖像，NSDFB可以將肺部紋理、氣管等結(jié)構(gòu)在不同方向上的特征清晰地展現(xiàn)出來，為后續(xù)的圖像分析和處理提供更全面的信息。通過NSP和NSDFB的聯(lián)合作用，NSST能夠?qū)D像分解為不同尺度、不同方向的子帶系數(shù)。這些子帶系數(shù)包含了圖像在各個(gè)尺度和方向上的局部特征，通過對這些子帶系數(shù)的分析和處理，可以實(shí)現(xiàn)對圖像的各種操作，如邊緣檢測、圖像增強(qiáng)、圖像融合等。在圖像融合中，利用NSST分解得到的子帶系數(shù)，可以根據(jù)不同的融合規(guī)則對來自不同模態(tài)圖像的子帶系數(shù)進(jìn)行融合，然后通過逆NSST變換將融合后的子帶系數(shù)重構(gòu)為融合圖像，從而實(shí)現(xiàn)多模態(tài)醫(yī)學(xué)圖像的融合。2.2.2NSST的優(yōu)勢與特性多方向性：NSST具有出色的多方向性，能夠?qū)D像進(jìn)行多方向的分解和表示。通過非下采樣方向?yàn)V波器組（NSDFB），NSST可以將圖像在多個(gè)方向上進(jìn)行分解，一般可達(dá)到8個(gè)或更多方向。這使得NSST能夠捕捉到圖像中不同方向的邊緣、線條和紋理等特征，對于具有復(fù)雜幾何結(jié)構(gòu)的醫(yī)學(xué)圖像，如骨骼、血管等的特征提取具有顯著優(yōu)勢。在骨骼X射線圖像中，NSST可以清晰地提取出骨骼的輪廓、紋理以及骨折線等不同方向的特征，為醫(yī)生準(zhǔn)確判斷骨骼病變提供更詳細(xì)的信息。平移不變性：傳統(tǒng)的一些變換方法，如小波變換，由于下采樣操作的存在，往往不具備平移不變性，即圖像的微小平移可能導(dǎo)致變換系數(shù)發(fā)生較大變化。而NSST采用非下采樣的策略，避免了下采樣過程，從而具有平移不變性。這一特性使得NSST在處理醫(yī)學(xué)圖像時(shí)，能夠更穩(wěn)定地提取圖像特征，不會(huì)因?yàn)閳D像的微小位移而產(chǎn)生誤判。在對腦部MRI圖像進(jìn)行分析時(shí)，即使圖像在采集過程中存在輕微的位移，NSST也能準(zhǔn)確地提取出腦部組織的特征，保證了診斷的準(zhǔn)確性。有效提取方向細(xì)節(jié)信息：NSST在多尺度和多方向分解的過程中，能夠有效地提取圖像的方向細(xì)節(jié)信息。相比于其他一些變換方法，如傅里葉變換主要關(guān)注圖像的頻率信息，小波變換雖然具有多尺度特性但方向選擇性有限，NSST能夠在多個(gè)尺度和方向上對圖像的細(xì)節(jié)進(jìn)行精確刻畫。在肝臟CT圖像中，NSST可以清晰地顯示出肝臟內(nèi)部的血管分布、膽管結(jié)構(gòu)等細(xì)節(jié)信息，這些信息對于肝臟疾病的診斷和治療具有重要價(jià)值。良好的稀疏表示能力：NSST能夠?qū)D像表示為稀疏的系數(shù)形式，即大部分系數(shù)的值接近于零，只有少數(shù)系數(shù)包含了圖像的主要信息。這種稀疏表示能力使得NSST在圖像壓縮、去噪等應(yīng)用中具有優(yōu)勢。在醫(yī)學(xué)圖像存儲(chǔ)和傳輸過程中，利用NSST的稀疏表示特性可以對圖像進(jìn)行高效壓縮，減少存儲(chǔ)空間和傳輸帶寬的需求，同時(shí)在去噪過程中能夠有效地保留圖像的重要特征，提高圖像的質(zhì)量。2.2.3在醫(yī)學(xué)圖像融合中的適用性分析NSST在多模態(tài)醫(yī)學(xué)圖像融合中具有高度的適用性，能夠有效解決傳統(tǒng)融合方法存在的諸多問題，顯著提升融合圖像的質(zhì)量和診斷價(jià)值。傳統(tǒng)的多模態(tài)醫(yī)學(xué)圖像融合方法，如基于小波變換的融合方法，雖然在一定程度上能夠?qū)崿F(xiàn)圖像融合，但由于小波變換方向選擇性有限，對于具有復(fù)雜幾何結(jié)構(gòu)的醫(yī)學(xué)圖像，難以充分提取和融合圖像的方向細(xì)節(jié)信息。在融合腦部MRI和CT圖像時(shí)，可能無法準(zhǔn)確地融合腦部血管等具有復(fù)雜方向的結(jié)構(gòu)信息，導(dǎo)致融合圖像在顯示這些細(xì)節(jié)時(shí)不夠清晰，影響醫(yī)生的診斷。而NSST憑借其強(qiáng)大的多方向性和平移不變性，能夠更全面、準(zhǔn)確地提取不同模態(tài)醫(yī)學(xué)圖像的特征。在融合MRI和CT圖像時(shí)，NSST可以分別對兩種模態(tài)圖像進(jìn)行多尺度、多方向分解，將MRI圖像中豐富的軟組織細(xì)節(jié)信息和CT圖像中清晰的骨骼結(jié)構(gòu)信息在不同尺度和方向上進(jìn)行精確提取，然后根據(jù)合理的融合規(guī)則進(jìn)行融合，使得融合圖像既能清晰地顯示腦部的軟組織，又能準(zhǔn)確地呈現(xiàn)骨骼結(jié)構(gòu)，為醫(yī)生提供更全面、準(zhǔn)確的診斷依據(jù)。NSST的平移不變性也使得它在醫(yī)學(xué)圖像融合中具有優(yōu)勢。在醫(yī)學(xué)圖像采集過程中，由于患者的呼吸、心跳等生理活動(dòng)以及成像設(shè)備的微小移動(dòng)，圖像可能存在一定的位移。傳統(tǒng)融合方法在處理這些存在位移的圖像時(shí)，容易出現(xiàn)融合誤差，導(dǎo)致融合圖像的質(zhì)量下降。而NSST的平移不變性能夠保證在圖像存在微小位移的情況下，依然能夠準(zhǔn)確地提取和融合圖像特征，提高融合圖像的穩(wěn)定性和可靠性。在融合心臟的PET和CT圖像時(shí)，即使由于心臟跳動(dòng)導(dǎo)致圖像存在一定位移，NSST也能有效地克服這一問題，將PET圖像中的代謝信息和CT圖像中的解剖結(jié)構(gòu)信息準(zhǔn)確融合，為心臟疾病的診斷提供高質(zhì)量的融合圖像。NSST還能夠與其他先進(jìn)技術(shù)相結(jié)合，進(jìn)一步提升多模態(tài)醫(yī)學(xué)圖像融合的效果。與深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（CNN）相結(jié)合，利用CNN強(qiáng)大的特征學(xué)習(xí)能力，對NSST分解得到的子帶系數(shù)進(jìn)行進(jìn)一步的特征學(xué)習(xí)和融合，能夠更好地挖掘圖像的深層特征，提高融合圖像的質(zhì)量和信息含量。將NSST與注意力機(jī)制相結(jié)合，通過注意力機(jī)制自動(dòng)學(xué)習(xí)圖像中不同區(qū)域的重要性，對關(guān)鍵區(qū)域賦予更高的權(quán)重，能夠更有針對性地融合圖像信息，提高融合圖像在關(guān)鍵區(qū)域的準(zhǔn)確性和清晰度，為醫(yī)學(xué)診斷提供更具價(jià)值的圖像信息。三、基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法設(shè)計(jì)3.1算法整體框架構(gòu)建基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法旨在充分利用NSST在多尺度、多方向特征提取方面的優(yōu)勢，實(shí)現(xiàn)不同模態(tài)醫(yī)學(xué)圖像的高效融合，為醫(yī)學(xué)診斷提供更全面、準(zhǔn)確的圖像信息。其整體框架如圖1所示：graphTD;A[輸入多模態(tài)醫(yī)學(xué)圖像]-->B[圖像配準(zhǔn)];B-->C[NSST分解];C-->D1[低頻子帶融合];C-->D2[高頻子帶融合];D1-->E[NSST逆變換];D2-->E;E-->F[輸出融合圖像];圖1基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法框架圖圖像配準(zhǔn)：由于不同模態(tài)的醫(yī)學(xué)圖像是在不同時(shí)間、不同條件下獲取的，它們在空間位置、尺度和方向上可能存在差異。在進(jìn)行融合之前，需要對多模態(tài)醫(yī)學(xué)圖像進(jìn)行配準(zhǔn)，使它們在空間上對齊，確保相同的解剖結(jié)構(gòu)在不同模態(tài)圖像中處于相同的位置。采用基于特征點(diǎn)的配準(zhǔn)方法，如尺度不變特征變換（SIFT）算法。首先，利用SIFT算法在不同模態(tài)的醫(yī)學(xué)圖像中提取特征點(diǎn)，這些特征點(diǎn)具有尺度不變性、旋轉(zhuǎn)不變性和光照不變性等優(yōu)點(diǎn)，能夠準(zhǔn)確地代表圖像中的關(guān)鍵結(jié)構(gòu)。然后，通過匹配這些特征點(diǎn)，計(jì)算出圖像之間的變換矩陣，包括平移、旋轉(zhuǎn)和縮放等變換參數(shù)。最后，根據(jù)計(jì)算得到的變換矩陣，對其中一幅圖像進(jìn)行相應(yīng)的變換，使其與另一幅圖像在空間位置上精確對齊。在融合腦部CT和MRI圖像時(shí)，通過SIFT算法提取腦部的特征點(diǎn)，如顱骨的邊緣、腦室的輪廓等，然后根據(jù)特征點(diǎn)的匹配結(jié)果，對MRI圖像進(jìn)行變換，使其與CT圖像在空間上完全對齊，為后續(xù)的融合操作奠定基礎(chǔ)。NSST分解：對配準(zhǔn)后的多模態(tài)醫(yī)學(xué)圖像分別進(jìn)行NSST分解。NSST分解過程分為兩個(gè)主要步驟，首先通過非下采樣金字塔（NSP）對圖像進(jìn)行多尺度分解，將圖像分解為一個(gè)低頻子帶和多個(gè)高頻子帶。低頻子帶包含了圖像的主要結(jié)構(gòu)和概貌信息，高頻子帶則捕捉了圖像的邊緣、紋理等細(xì)節(jié)信息。對于一幅肺部CT圖像，經(jīng)過NSP分解后，低頻子帶能夠清晰地顯示出肺部的大致形狀和主要組織結(jié)構(gòu)，而高頻子帶則突出了肺部紋理、血管等細(xì)節(jié)特征。接著，對每個(gè)高頻子帶進(jìn)行非下采樣方向?yàn)V波器組（NSDFB）處理，實(shí)現(xiàn)多方向分解。NSDFB具有良好的方向選擇性，能夠?qū)⒏哳l子帶中的信息進(jìn)一步分解到不同的方向子帶中，從而更精確地捕捉圖像中不同方向的邊緣和紋理信息。在對肝臟MRI圖像進(jìn)行NSDFB處理時(shí)，可以將肝臟內(nèi)部的血管、膽管等結(jié)構(gòu)在不同方向上的特征清晰地展現(xiàn)出來，為后續(xù)的圖像融合提供更全面的信息。通過NSST分解，將多模態(tài)醫(yī)學(xué)圖像分解為不同尺度、不同方向的子帶系數(shù)，這些子帶系數(shù)包含了圖像在各個(gè)尺度和方向上的局部特征，為融合操作提供了豐富的信息基礎(chǔ)。低頻子帶融合：對于NSST分解得到的低頻子帶系數(shù)，由于其主要包含圖像的主要結(jié)構(gòu)和概貌信息，采用基于區(qū)域能量和的融合規(guī)則。首先，將低頻子帶劃分為多個(gè)小區(qū)域，計(jì)算每個(gè)區(qū)域的能量。區(qū)域能量反映了該區(qū)域內(nèi)圖像信息的豐富程度，能量較大的區(qū)域通常包含了更重要的結(jié)構(gòu)信息。然后，根據(jù)區(qū)域能量的大小，為每個(gè)區(qū)域分配不同的權(quán)重。對于能量較大的區(qū)域，賦予較高的權(quán)重，以突出其在融合圖像中的重要性；對于能量較小的區(qū)域，適當(dāng)降低權(quán)重。最后，根據(jù)分配的權(quán)重，對不同模態(tài)圖像的低頻子帶系數(shù)進(jìn)行加權(quán)平均融合，得到融合后的低頻子帶系數(shù)。在融合腦部CT和MRI圖像的低頻子帶時(shí)，對于包含腦部重要結(jié)構(gòu)，如腦干、丘腦等區(qū)域，由于其能量較大，在融合時(shí)賦予較高的權(quán)重，從而使這些重要結(jié)構(gòu)在融合圖像中能夠更清晰地顯示出來。高頻子帶融合：高頻子帶系數(shù)主要包含圖像的邊緣、紋理等細(xì)節(jié)信息，采用基于區(qū)域梯度和的融合規(guī)則。先將高頻子帶劃分為多個(gè)小區(qū)域，計(jì)算每個(gè)區(qū)域的梯度和。區(qū)域梯度和反映了該區(qū)域內(nèi)圖像邊緣和紋理的豐富程度，梯度和較大的區(qū)域通常包含了更多的細(xì)節(jié)信息。接著，根據(jù)區(qū)域梯度和的大小，為每個(gè)區(qū)域分配不同的權(quán)重。對于梯度和較大的區(qū)域，賦予較高的權(quán)重，以突出其在融合圖像中的細(xì)節(jié)信息；對于梯度和較小的區(qū)域，適當(dāng)降低權(quán)重。最后，根據(jù)分配的權(quán)重，對不同模態(tài)圖像的高頻子帶系數(shù)進(jìn)行加權(quán)平均融合，得到融合后的高頻子帶系數(shù)。在融合肺部CT和PET圖像的高頻子帶時(shí)，對于肺部邊緣、氣管等區(qū)域，由于其梯度和較大，在融合時(shí)賦予較高的權(quán)重，使這些區(qū)域的細(xì)節(jié)信息在融合圖像中能夠得到更好的保留。NSST逆變換：將融合后的低頻子帶系數(shù)和高頻子帶系數(shù)進(jìn)行NSST逆變換，重構(gòu)得到融合圖像。NSST逆變換是NSST分解的逆過程，通過逆變換將經(jīng)過融合處理的子帶系數(shù)重新組合成一幅完整的圖像。在逆變換過程中，根據(jù)NSST的原理，將低頻子帶系數(shù)和高頻子帶系數(shù)按照一定的規(guī)則進(jìn)行合成，恢復(fù)出融合圖像的原始尺寸和分辨率。經(jīng)過NSST逆變換得到的融合圖像，既包含了不同模態(tài)圖像的主要結(jié)構(gòu)信息，又保留了豐富的細(xì)節(jié)信息，實(shí)現(xiàn)了多模態(tài)醫(yī)學(xué)圖像的有效融合，為醫(yī)學(xué)診斷提供了更全面、準(zhǔn)確的圖像依據(jù)。3.2NSST分解與系數(shù)處理3.2.1對多模態(tài)圖像進(jìn)行NSST分解在基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法中，對多模態(tài)圖像進(jìn)行NSST分解是關(guān)鍵的第一步。以CT和MRI這兩種常見的醫(yī)學(xué)成像模態(tài)為例，它們各自提供了不同類型的人體結(jié)構(gòu)信息。CT圖像主要反映人體組織的密度差異，對于骨骼等高密度結(jié)構(gòu)的顯示效果極佳，能夠清晰呈現(xiàn)骨骼的形態(tài)、結(jié)構(gòu)以及是否存在骨折、病變等情況；而MRI圖像則擅長展示軟組織的細(xì)節(jié)，如大腦的灰質(zhì)、白質(zhì)，肌肉、臟器等軟組織的結(jié)構(gòu)和病變在MRI圖像中能夠得到很好的體現(xiàn)。對這兩種模態(tài)的圖像進(jìn)行NSST分解時(shí)，首先通過非下采樣金字塔（NSP）進(jìn)行多尺度分解。NSP通過迭代的方式，使用低通濾波器對圖像進(jìn)行平滑處理，并將平滑后的圖像與原圖像相減，從而得到不同尺度下的高頻細(xì)節(jié)信息和一個(gè)低頻近似信息。對于CT圖像，經(jīng)過NSP分解后，低頻子帶能夠捕捉到人體骨骼的大致輪廓和主要結(jié)構(gòu)，如脊柱、顱骨等的整體形態(tài)；高頻子帶則包含了骨骼邊緣、骨小梁等細(xì)節(jié)信息。在MRI圖像的NSP分解中，低頻子帶展示了大腦、臟器等軟組織的整體分布和主要結(jié)構(gòu)，高頻子帶突出了軟組織的邊界、紋理以及病變部位的細(xì)節(jié)特征，如腦部腫瘤的邊緣、內(nèi)部紋理等。在完成多尺度分解后，對每個(gè)高頻子帶使用非下采樣方向?yàn)V波器組（NSDFB）進(jìn)行多方向分解。NSDFB能夠?qū)⒏哳l子帶中的信息進(jìn)一步分解到多個(gè)方向上，通?？梢詫?shí)現(xiàn)8個(gè)或更多方向的分解。在對CT圖像的高頻子帶進(jìn)行NSDFB處理時(shí)，不同方向的子帶能夠分別捕捉到骨骼不同方向的邊緣信息，如水平方向的肋骨邊緣、垂直方向的脊柱邊緣等，這些信息對于準(zhǔn)確判斷骨骼的結(jié)構(gòu)和病變具有重要意義。對于MRI圖像的高頻子帶，NSDFB分解可以將軟組織的紋理和病變細(xì)節(jié)在不同方向上進(jìn)行展現(xiàn)，如大腦中白質(zhì)纖維的走向、腫瘤的生長方向等信息在不同方向子帶中能夠更清晰地呈現(xiàn)出來。通過NSST分解，CT和MRI圖像被分解為不同尺度、不同方向的子帶系數(shù)。這些子帶系數(shù)包含了兩種模態(tài)圖像在各個(gè)尺度和方向上的豐富特征信息，為后續(xù)的融合操作提供了全面、細(xì)致的信息基礎(chǔ)，有助于在融合過程中充分發(fā)揮兩種模態(tài)圖像的優(yōu)勢，實(shí)現(xiàn)信息的互補(bǔ)和增強(qiáng)。3.2.2系數(shù)融合規(guī)則制定在對多模態(tài)醫(yī)學(xué)圖像進(jìn)行NSST分解得到子帶系數(shù)后，制定合理的系數(shù)融合規(guī)則是實(shí)現(xiàn)高質(zhì)量圖像融合的關(guān)鍵環(huán)節(jié)。本文基于能量、梯度等特征，分別為低頻子帶和高頻子帶設(shè)計(jì)了相應(yīng)的融合規(guī)則。對于低頻子帶系數(shù)，由于其主要包含圖像的主要結(jié)構(gòu)和概貌信息，采用基于區(qū)域能量和的融合規(guī)則。將低頻子帶劃分為多個(gè)大小相同的方形區(qū)域，以區(qū)域大小為5×5像素為例。對于每個(gè)區(qū)域，計(jì)算其能量值。區(qū)域能量的計(jì)算方法為該區(qū)域內(nèi)所有像素灰度值的平方和，即E=\sum_{i=1}^{n}\sum_{j=1}^{n}I_{ij}^2，其中I_{ij}表示區(qū)域內(nèi)第i行第j列像素的灰度值，n為區(qū)域的邊長。通過這種方式，能夠量化每個(gè)區(qū)域內(nèi)圖像信息的豐富程度。根據(jù)區(qū)域能量的大小，為不同區(qū)域分配不同的權(quán)重。對于能量較大的區(qū)域，說明其包含了更重要的結(jié)構(gòu)信息，賦予較高的權(quán)重；對于能量較小的區(qū)域，適當(dāng)降低權(quán)重。權(quán)重的分配公式為w_{k}=\frac{E_{k}}{\sum_{k=1}^{N}E_{k}}，其中w_{k}表示第k個(gè)區(qū)域的權(quán)重，E_{k}表示第k個(gè)區(qū)域的能量，N為區(qū)域的總數(shù)。在融合腦部CT和MRI圖像的低頻子帶時(shí)，對于包含腦干、丘腦等重要結(jié)構(gòu)的區(qū)域，由于其能量較大，在融合時(shí)賦予較高的權(quán)重，使得這些重要結(jié)構(gòu)在融合圖像中能夠更清晰、準(zhǔn)確地顯示出來。對于高頻子帶系數(shù)，其主要包含圖像的邊緣、紋理等細(xì)節(jié)信息，采用基于區(qū)域梯度和的融合規(guī)則。將高頻子帶同樣劃分為多個(gè)小區(qū)域，以3×3像素的區(qū)域?yàn)槔τ诿總€(gè)區(qū)域，計(jì)算其梯度和。區(qū)域梯度的計(jì)算采用Sobel算子，分別計(jì)算水平方向和垂直方向的梯度，然后將兩者的絕對值相加得到區(qū)域梯度和，即G=\vertG_{x}\vert+\vertG_{y}\vert，其中G_{x}和G_{y}分別表示水平方向和垂直方向的梯度。區(qū)域梯度和能夠反映該區(qū)域內(nèi)圖像邊緣和紋理的豐富程度。根據(jù)區(qū)域梯度和的大小，為每個(gè)區(qū)域分配不同的權(quán)重。對于梯度和較大的區(qū)域，說明其包含了更多的細(xì)節(jié)信息，賦予較高的權(quán)重；對于梯度和較小的區(qū)域，適當(dāng)降低權(quán)重。權(quán)重的分配公式為w_{m}=\frac{G_{m}}{\sum_{m=1}^{M}G_{m}}，其中w_{m}表示第m個(gè)區(qū)域的權(quán)重，G_{m}表示第m個(gè)區(qū)域的梯度和，M為區(qū)域的總數(shù)。在融合肺部CT和PET圖像的高頻子帶時(shí)，對于肺部邊緣、氣管等區(qū)域，由于其梯度和較大，在融合時(shí)賦予較高的權(quán)重，從而使這些區(qū)域的細(xì)節(jié)信息在融合圖像中能夠得到更好的保留和突出。通過基于能量和梯度的系數(shù)融合規(guī)則，能夠充分考慮到低頻子帶和高頻子帶的不同特征，有針對性地對多模態(tài)醫(yī)學(xué)圖像的子帶系數(shù)進(jìn)行融合，從而提高融合圖像的質(zhì)量和信息含量，為醫(yī)學(xué)診斷提供更有價(jià)值的圖像依據(jù)。3.3結(jié)合其他技術(shù)的優(yōu)化策略3.3.1引入PCNN的優(yōu)化作用脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）是一種模擬生物視覺系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型，其獨(dú)特的結(jié)構(gòu)和工作原理使其在圖像處理領(lǐng)域展現(xiàn)出顯著的優(yōu)勢，尤其在增強(qiáng)圖像對比度和銳度方面具有重要作用，將其引入基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法中，能夠進(jìn)一步提升融合圖像的質(zhì)量和診斷價(jià)值。PCNN的基本結(jié)構(gòu)由神經(jīng)元組成，每個(gè)神經(jīng)元包含接受域、調(diào)制域和脈沖產(chǎn)生器等部分。在圖像處理中，PCNN通過神經(jīng)元之間的脈沖同步和耦合機(jī)制，能夠?qū)D像的局部特征進(jìn)行自適應(yīng)處理。當(dāng)PCNN應(yīng)用于醫(yī)學(xué)圖像時(shí)，其工作過程如下：將醫(yī)學(xué)圖像的像素值作為PCNN神經(jīng)元的輸入，神經(jīng)元根據(jù)輸入信號以及與相鄰神經(jīng)元之間的連接強(qiáng)度，產(chǎn)生脈沖輸出。對于圖像中灰度值變化較大的區(qū)域，即邊緣和細(xì)節(jié)部分，神經(jīng)元更容易產(chǎn)生脈沖，從而突出這些區(qū)域的特征。在腦部MRI圖像中，腫瘤與周圍正常組織的邊界處灰度值變化明顯，PCNN能夠使該區(qū)域的神經(jīng)元產(chǎn)生較強(qiáng)的脈沖響應(yīng)，進(jìn)而增強(qiáng)腫瘤邊界的對比度，使醫(yī)生能夠更清晰地觀察到腫瘤的形態(tài)和范圍。在基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法中，PCNN主要在高頻子帶融合階段發(fā)揮優(yōu)化作用。在NSST分解后，高頻子帶包含了圖像的邊緣、紋理等細(xì)節(jié)信息。傳統(tǒng)的高頻子帶融合規(guī)則往往難以充分挖掘這些細(xì)節(jié)信息的重要性，導(dǎo)致融合圖像在細(xì)節(jié)表現(xiàn)上存在不足。而引入PCNN后，PCNN可以根據(jù)高頻子帶系數(shù)的局部特征，自適應(yīng)地調(diào)整融合策略。對于包含重要邊緣和紋理信息的區(qū)域，PCNN通過其脈沖發(fā)放機(jī)制，賦予這些區(qū)域更高的權(quán)重，使其在融合過程中得到更充分的體現(xiàn)。在融合肺部CT和PET圖像的高頻子帶時(shí)，肺部的血管、氣管等結(jié)構(gòu)在CT圖像中表現(xiàn)為明顯的邊緣特征，在PET圖像中則可能與代謝活性相關(guān)。PCNN能夠識別這些重要的邊緣區(qū)域，對來自CT和PET圖像對應(yīng)區(qū)域的高頻子帶系數(shù)進(jìn)行更合理的融合，從而在融合圖像中清晰地顯示出肺部血管和氣管的結(jié)構(gòu)，同時(shí)保留PET圖像中的代謝信息，提高融合圖像在細(xì)節(jié)方面的準(zhǔn)確性和完整性。通過引入PCNN，基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法在增強(qiáng)圖像對比度和銳度方面取得了顯著效果。融合圖像的邊緣更加清晰，紋理更加細(xì)膩，不同組織和結(jié)構(gòu)之間的差異更加明顯，這有助于醫(yī)生更準(zhǔn)確地識別病變部位，提高診斷的準(zhǔn)確性。在實(shí)際應(yīng)用中，對于腦部腫瘤、肺部疾病等的診斷，融合圖像能夠?yàn)獒t(yī)生提供更豐富、更準(zhǔn)確的信息，為臨床診斷和治療提供有力的支持。3.3.2多尺度形態(tài)梯度（MSMG）的應(yīng)用多尺度形態(tài)梯度（MSMG）作為一種有效的圖像特征提取技術(shù)，在增強(qiáng)圖像邊緣信息和提升融合圖像清晰度方面具有獨(dú)特的優(yōu)勢，將其應(yīng)用于基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法中，能夠進(jìn)一步優(yōu)化融合效果，為醫(yī)學(xué)診斷提供更具價(jià)值的圖像信息。MSMG的原理基于數(shù)學(xué)形態(tài)學(xué)，通過使用不同尺寸的結(jié)構(gòu)元素對圖像進(jìn)行腐蝕和膨脹操作，從而提取圖像在不同尺度下的邊緣信息。在醫(yī)學(xué)圖像領(lǐng)域，不同尺度的邊緣信息對于疾病的診斷具有重要意義。小尺度的邊緣信息能夠反映圖像中細(xì)微的結(jié)構(gòu)變化，如細(xì)胞的形態(tài)、血管的微小分支等；大尺度的邊緣信息則有助于展示圖像中較大結(jié)構(gòu)的輪廓和邊界，如器官的外形、腫瘤的整體范圍等。在肝臟MRI圖像中，小尺度的MSMG可以清晰地顯示出肝臟內(nèi)部微小血管的分布和走向，這些信息對于早期肝臟疾病的診斷至關(guān)重要；大尺度的MSMG則能夠準(zhǔn)確勾勒出肝臟的輪廓以及腫瘤與周圍組織的邊界，為醫(yī)生制定治療方案提供重要參考。在基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法中，MSMG主要應(yīng)用于高頻子帶處理階段。在NSST分解后，高頻子帶包含了豐富的邊緣和細(xì)節(jié)信息，但這些信息往往受到噪聲和圖像復(fù)雜背景的干擾，導(dǎo)致邊緣信息的提取和融合存在一定困難。MSMG通過在不同尺度上對高頻子帶進(jìn)行處理，能夠有效地增強(qiáng)邊緣信息，抑制噪聲和背景干擾。具體應(yīng)用過程如下：首先，選擇一系列不同尺寸的結(jié)構(gòu)元素，如圓形、方形等，對高頻子帶圖像進(jìn)行多尺度的腐蝕和膨脹操作。對于每個(gè)尺度，計(jì)算腐蝕和膨脹后的圖像差值，得到該尺度下的形態(tài)梯度圖像。然后，將不同尺度的形態(tài)梯度圖像進(jìn)行融合，得到綜合的多尺度形態(tài)梯度圖像。在融合肺部CT和PET圖像的高頻子帶時(shí)，通過MSMG處理，可以突出肺部邊緣、氣管以及腫瘤的邊緣信息，同時(shí)抑制圖像中的噪聲和其他無關(guān)細(xì)節(jié)，使得融合圖像中這些重要結(jié)構(gòu)的邊緣更加清晰、準(zhǔn)確。將MSMG應(yīng)用于基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法后，融合圖像的清晰度得到了顯著提升。圖像中的邊緣信息更加突出，不同組織和結(jié)構(gòu)之間的過渡更加自然，這使得醫(yī)生在觀察融合圖像時(shí)能夠更輕松地識別和分析病變部位，提高診斷的效率和準(zhǔn)確性。在實(shí)際臨床應(yīng)用中，對于肺部腫瘤、心血管疾病等的診斷，融合圖像能夠?yàn)獒t(yī)生提供更清晰、更準(zhǔn)確的圖像信息，有助于醫(yī)生做出更科學(xué)、更合理的診斷和治療決策。3.3.3其他可能的技術(shù)結(jié)合與創(chuàng)新點(diǎn)在多模態(tài)醫(yī)學(xué)圖像融合領(lǐng)域，隨著技術(shù)的不斷發(fā)展，除了引入PCNN和MSMG等技術(shù)對基于NSST的算法進(jìn)行優(yōu)化外，還存在許多其他可能的技術(shù)結(jié)合方向和創(chuàng)新點(diǎn)，這些探索將為提升融合算法的性能和推動(dòng)該領(lǐng)域的發(fā)展提供新的思路。深度學(xué)習(xí)技術(shù)在圖像領(lǐng)域取得了巨大的成功，其強(qiáng)大的特征學(xué)習(xí)能力為多模態(tài)醫(yī)學(xué)圖像融合帶來了新的機(jī)遇。將深度學(xué)習(xí)與基于NSST的算法相結(jié)合是一個(gè)極具潛力的研究方向?？梢詷?gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的多模態(tài)醫(yī)學(xué)圖像融合模型，在NSST分解之后，將不同尺度和方向的子帶系數(shù)輸入到CNN中進(jìn)行進(jìn)一步的特征學(xué)習(xí)和融合。CNN通過多層卷積和池化操作，能夠自動(dòng)學(xué)習(xí)到圖像的深層特征和語義信息，從而更有效地融合多模態(tài)圖像的信息。利用注意力機(jī)制與深度學(xué)習(xí)相結(jié)合，使模型能夠自動(dòng)聚焦于圖像中重要的區(qū)域和特征，進(jìn)一步提高融合圖像的質(zhì)量和準(zhǔn)確性。在融合腦部MRI和PET圖像時(shí)，注意力機(jī)制可以引導(dǎo)模型重點(diǎn)關(guān)注腦部病變區(qū)域，對該區(qū)域的特征進(jìn)行更深入的學(xué)習(xí)和融合，從而在融合圖像中更突出地顯示病變部位的信息。生成對抗網(wǎng)絡(luò)（GAN）也是一個(gè)值得探索的技術(shù)結(jié)合方向。GAN由生成器和判別器組成，通過兩者的對抗訓(xùn)練，能夠生成更加逼真自然的圖像。在基于NSST的多模態(tài)醫(yī)學(xué)圖像融合中，引入GAN可以使生成的融合圖像在保留原始圖像重要信息的同時(shí)，更加符合人眼的視覺感知和醫(yī)學(xué)診斷的需求。生成器負(fù)責(zé)生成融合圖像，判別器則對生成的融合圖像和真實(shí)的醫(yī)學(xué)圖像進(jìn)行判別，通過不斷的對抗訓(xùn)練，使生成器生成的融合圖像在細(xì)節(jié)、紋理和結(jié)構(gòu)等方面都更加接近真實(shí)圖像，從而提高融合圖像的視覺效果和診斷價(jià)值。在融合規(guī)則方面，也可以進(jìn)行創(chuàng)新設(shè)計(jì)。除了基于能量、梯度等傳統(tǒng)特征的融合規(guī)則外，可以考慮引入基于語義信息的融合規(guī)則。通過自然語言處理技術(shù)或醫(yī)學(xué)知識圖譜，獲取醫(yī)學(xué)圖像中的語義信息，然后根據(jù)語義信息來制定融合規(guī)則。對于腫瘤圖像的融合，可以根據(jù)腫瘤的類型、位置、大小等語義信息，有針對性地融合不同模態(tài)圖像的相關(guān)特征，使融合圖像能夠更好地反映腫瘤的真實(shí)情況，為醫(yī)生提供更具針對性的診斷信息。四、實(shí)驗(yàn)與結(jié)果分析4.1實(shí)驗(yàn)數(shù)據(jù)與環(huán)境設(shè)置4.1.1實(shí)驗(yàn)使用的醫(yī)學(xué)圖像數(shù)據(jù)集本實(shí)驗(yàn)選用了豐富多樣的醫(yī)學(xué)圖像數(shù)據(jù)集，涵蓋了多種常見的成像模態(tài)，旨在全面評估基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法的性能和適用性。CT圖像數(shù)據(jù)集：包含來自不同醫(yī)院的臨床病例，涉及頭部、胸部、腹部等多個(gè)部位。頭部CT圖像用于研究腦部疾病，如腦腫瘤、腦出血等，這些圖像能夠清晰顯示顱骨結(jié)構(gòu)、腦室形態(tài)以及腦部的大體解剖結(jié)構(gòu)，為融合算法提供了重要的解剖學(xué)信息基礎(chǔ)。胸部CT圖像則聚焦于肺部疾病的診斷，如肺癌、肺炎等，圖像中肺部的紋理、氣管和血管結(jié)構(gòu)清晰可見，有助于評估算法在處理復(fù)雜肺部結(jié)構(gòu)時(shí)的融合效果。腹部CT圖像展示了肝臟、腎臟、脾臟等臟器的形態(tài)和位置，對于研究腹部疾病的診斷具有重要意義。MRI圖像數(shù)據(jù)集：同樣包含多個(gè)部位的圖像，其中腦部MRI圖像是重點(diǎn)研究對象。MRI在顯示腦部軟組織方面具有獨(dú)特優(yōu)勢，能夠清晰區(qū)分灰質(zhì)、白質(zhì)以及病變組織，如腦腫瘤的邊界和內(nèi)部結(jié)構(gòu)在MRI圖像中能夠得到很好的體現(xiàn)。此外，還包含了脊柱、關(guān)節(jié)等部位的MRI圖像，用于研究脊柱疾病和關(guān)節(jié)病變。脊柱MRI圖像可以清晰顯示椎間盤、脊髓等結(jié)構(gòu)，對于診斷椎間盤突出、脊髓損傷等疾病至關(guān)重要；關(guān)節(jié)MRI圖像則有助于觀察關(guān)節(jié)軟骨、韌帶等軟組織的情況，為關(guān)節(jié)炎、韌帶損傷等疾病的診斷提供依據(jù)。PET圖像數(shù)據(jù)集：主要來源于腫瘤患者的檢查數(shù)據(jù)，用于腫瘤的早期檢測、良惡性判斷以及療效評估。PET圖像通過檢測體內(nèi)放射性示蹤劑的分布，反映人體代謝功能信息，對于腫瘤的診斷具有重要價(jià)值。在腫瘤早期，病變部位的代謝活性往往會(huì)發(fā)生變化，PET圖像能夠敏感地捕捉到這些變化，為腫瘤的早期發(fā)現(xiàn)提供線索。在腫瘤治療過程中，通過對比治療前后的PET圖像，可以評估腫瘤的治療效果，判斷腫瘤是否縮小、代謝是否降低，為后續(xù)治療方案的調(diào)整提供依據(jù)。這些數(shù)據(jù)集的圖像分辨率、對比度和噪聲水平存在差異，模擬了實(shí)際臨床應(yīng)用中可能遇到的各種情況。通過使用這些數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，可以更真實(shí)地評估算法在不同條件下的性能表現(xiàn)，驗(yàn)證算法的魯棒性和適應(yīng)性，確保算法在實(shí)際臨床應(yīng)用中能夠穩(wěn)定、有效地工作。4.1.2實(shí)驗(yàn)環(huán)境與參數(shù)配置硬件環(huán)境：實(shí)驗(yàn)在一臺(tái)高性能計(jì)算機(jī)上進(jìn)行，該計(jì)算機(jī)配備了IntelCorei9-12900K處理器，擁有24核心32線程，能夠提供強(qiáng)大的計(jì)算能力，確保實(shí)驗(yàn)過程中數(shù)據(jù)處理和算法運(yùn)算的高效性。搭載了NVIDIAGeForceRTX3090Ti顯卡，具有24GB顯存，能夠加速深度學(xué)習(xí)模型的訓(xùn)練和推理過程，尤其是在處理大規(guī)模醫(yī)學(xué)圖像數(shù)據(jù)時(shí)，能夠顯著提高計(jì)算速度。配備了64GBDDR5內(nèi)存，為實(shí)驗(yàn)過程中的數(shù)據(jù)存儲(chǔ)和處理提供了充足的內(nèi)存空間，避免因內(nèi)存不足導(dǎo)致實(shí)驗(yàn)中斷或性能下降。擁有1TB的固態(tài)硬盤（SSD），具備快速的數(shù)據(jù)讀寫速度，能夠快速加載和存儲(chǔ)實(shí)驗(yàn)所需的醫(yī)學(xué)圖像數(shù)據(jù)以及中間計(jì)算結(jié)果，提高實(shí)驗(yàn)效率。軟件環(huán)境：操作系統(tǒng)采用Windows11專業(yè)版，該系統(tǒng)具有良好的穩(wěn)定性和兼容性，能夠?yàn)閷?shí)驗(yàn)提供穩(wěn)定的運(yùn)行環(huán)境。實(shí)驗(yàn)使用的編程語言為Python3.9，Python擁有豐富的第三方庫和工具，方便進(jìn)行數(shù)據(jù)處理、算法實(shí)現(xiàn)和可視化展示。在Python環(huán)境中，安裝了多個(gè)重要的庫，如NumPy用于數(shù)值計(jì)算，SciPy用于科學(xué)計(jì)算，OpenCV用于圖像處理，PyTorch用于深度學(xué)習(xí)模型的構(gòu)建和訓(xùn)練。此外，還安裝了NSST相關(guān)的工具包，以實(shí)現(xiàn)對醫(yī)學(xué)圖像的NSST分解和逆變換操作。算法參數(shù)配置：在基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法中，對NSST分解的參數(shù)進(jìn)行了精心設(shè)置。非下采樣金字塔（NSP）的分解層數(shù)設(shè)置為4，這樣可以在不同尺度上對圖像進(jìn)行分解，既能保留圖像的整體結(jié)構(gòu)信息，又能提取圖像的細(xì)節(jié)特征。非下采樣方向?yàn)V波器組（NSDFB）的方向數(shù)設(shè)置為8，能夠充分捕捉圖像中不同方向的邊緣和紋理信息，提高圖像特征的提取能力。在低頻子帶融合中，基于區(qū)域能量和的融合規(guī)則中，區(qū)域大小設(shè)置為5×5像素，通過對該區(qū)域內(nèi)像素灰度值的計(jì)算來確定區(qū)域能量，從而為不同區(qū)域分配合理的權(quán)重。在高頻子帶融合中，基于區(qū)域梯度和的融合規(guī)則中，區(qū)域大小設(shè)置為3×3像素，利用Sobel算子計(jì)算該區(qū)域的梯度和，根據(jù)梯度和的大小為不同區(qū)域分配權(quán)重。通過合理配置實(shí)驗(yàn)環(huán)境和算法參數(shù)，為基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法的實(shí)驗(yàn)提供了良好的條件，確保實(shí)驗(yàn)結(jié)果的準(zhǔn)確性和可靠性，為后續(xù)的結(jié)果分析和算法評估奠定了堅(jiān)實(shí)的基礎(chǔ)。4.2實(shí)驗(yàn)步驟與方法4.2.1圖像預(yù)處理過程在進(jìn)行多模態(tài)醫(yī)學(xué)圖像融合實(shí)驗(yàn)之前，對原始圖像進(jìn)行預(yù)處理是至關(guān)重要的步驟，它能夠有效提高圖像質(zhì)量，為后續(xù)的融合操作提供更可靠的數(shù)據(jù)基礎(chǔ)。本實(shí)驗(yàn)主要進(jìn)行了去噪和歸一化處理。由于醫(yī)學(xué)圖像在采集和傳輸過程中容易受到各種噪聲的干擾，這些噪聲會(huì)影響圖像的清晰度和細(xì)節(jié)信息，降低圖像的質(zhì)量，從而對后續(xù)的融合和診斷產(chǎn)生不利影響。因此，采用高斯濾波對原始圖像進(jìn)行去噪處理。高斯濾波是一種線性平滑濾波，其原理是通過一個(gè)高斯核函數(shù)對圖像進(jìn)行卷積操作。高斯核函數(shù)是一種正態(tài)分布函數(shù)，其表達(dá)式為G(x,y)=\frac{1}{2\pi\sigma^{2}}e^{-\frac{x^{2}+y^{2}}{2\sigma^{2}}}，其中\(zhòng)sigma為標(biāo)準(zhǔn)差，它決定了高斯核函數(shù)的寬度。在實(shí)驗(yàn)中，根據(jù)圖像的噪聲情況，將\sigma設(shè)置為1.5。對于一幅腦部MRI圖像，經(jīng)過高斯濾波后，圖像中的噪聲得到了有效抑制，原本模糊的腦組織邊界變得更加清晰，圖像的信噪比得到了提高。不同模態(tài)的醫(yī)學(xué)圖像由于成像原理和設(shè)備參數(shù)的差異，其灰度范圍和對比度往往存在較大差異。為了消除這些差異，使不同模態(tài)的圖像在同一尺度上進(jìn)行融合，對圖像進(jìn)行歸一化處理。采用線性歸一化方法，將圖像的灰度值映射到[0,1]區(qū)間。具體公式為I_{norm}=\frac{I-I_{min}}{I_{max}-I_{min}}，其中I為原始圖像的像素值，I_{min}和I_{max}分別為原始圖像的最小和最大像素值，I_{norm}為歸一化后的像素值。對于CT圖像和MRI圖像，經(jīng)過歸一化處理后，它們的灰度范圍和對比度得到了統(tǒng)一，使得在融合過程中能夠更好地進(jìn)行信息融合，避免因灰度差異過大而導(dǎo)致的融合效果不佳問題。通過去噪和歸一化處理，原始醫(yī)學(xué)圖像的質(zhì)量得到了顯著提升，為基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法的實(shí)施提供了更優(yōu)質(zhì)的數(shù)據(jù)，有助于提高融合圖像的質(zhì)量和準(zhǔn)確性，為后續(xù)的醫(yī)學(xué)診斷提供更可靠的依據(jù)。4.2.2基于NSST算法的融合操作基于NSST算法的融合操作是實(shí)現(xiàn)多模態(tài)醫(yī)學(xué)圖像融合的核心步驟，其目的是將不同模態(tài)圖像的信息進(jìn)行有效整合，生成一幅包含更全面信息的融合圖像。在完成圖像預(yù)處理后，按照以下步驟進(jìn)行基于NSST算法的融合操作。利用NSST算法對預(yù)處理后的多模態(tài)醫(yī)學(xué)圖像進(jìn)行分解。以CT和MRI圖像為例，首先通過非下采樣金字塔（NSP）對CT和MRI圖像分別進(jìn)行多尺度分解。NSP分解過程中，圖像被逐漸下采樣并通過低通濾波器進(jìn)行平滑處理，從而得到不同尺度下的低頻子帶和高頻子帶。對于CT圖像，經(jīng)過NSP分解后，低頻子帶能夠展示出人體骨骼等主要結(jié)構(gòu)的大致輪廓和概貌信息，如脊柱、肋骨等的整體形態(tài)；高頻子帶則包含了骨骼邊緣、骨小梁等細(xì)節(jié)信息。對于MRI圖像，低頻子帶呈現(xiàn)出大腦、臟器等軟組織的主要分布和結(jié)構(gòu)，高頻子帶突出了軟組織的邊界、紋理以及病變部位的細(xì)節(jié)特征，如腦部腫瘤的邊緣、內(nèi)部紋理等。在完成多尺度分解后，對每個(gè)高頻子帶使用非下采樣方向?yàn)V波器組（NSDFB）進(jìn)行多方向分解。NSDFB能夠?qū)⒏哳l子帶中的信息進(jìn)一步分解到多個(gè)方向上，通?？梢詫?shí)現(xiàn)8個(gè)或更多方向的分解。在對CT圖像的高頻子帶進(jìn)行NSDFB處理時(shí)，不同方向的子帶能夠分別捕捉到骨骼不同方向的邊緣信息，如水平方向的肋骨邊緣、垂直方向的脊柱邊緣等，這些信息對于準(zhǔn)確判斷骨骼的結(jié)構(gòu)和病變具有重要意義。對于MRI圖像的高頻子帶，NSDFB分解可以將軟組織的紋理和病變細(xì)節(jié)在不同方向上進(jìn)行展現(xiàn)，如大腦中白質(zhì)纖維的走向、腫瘤的生長方向等信息在不同方向子帶中能夠更清晰地呈現(xiàn)出來。對NSST分解得到的子帶系數(shù)，采用不同的融合規(guī)則進(jìn)行融合。對于低頻子帶系數(shù)，由于其主要包含圖像的主要結(jié)構(gòu)和概貌信息，采用基于區(qū)域能量和的融合規(guī)則。將低頻子帶劃分為多個(gè)大小相同的方形區(qū)域，以區(qū)域大小為5×5像素為例。對于每個(gè)區(qū)域，計(jì)算其能量值，區(qū)域能量的計(jì)算方法為該區(qū)域內(nèi)所有像素灰度值的平方和，即E=\sum_{i=1}^{n}\sum_{j=1}^{n}I_{ij}^2，其中I_{ij}表示區(qū)域內(nèi)第i行第j列像素的灰度值，n為區(qū)域的邊長。根據(jù)區(qū)域能量的大小，為不同區(qū)域分配不同的權(quán)重，權(quán)重的分配公式為w_{k}=\frac{E_{k}}{\sum_{k=1}^{N}E_{k}}，其中w_{k}表示第k個(gè)區(qū)域的權(quán)重，E_{k}表示第k個(gè)區(qū)域的能量，N為區(qū)域的總數(shù)。對于能量較大的區(qū)域，說明其包含了更重要的結(jié)構(gòu)信息，賦予較高的權(quán)重；對于能量較小的區(qū)域，適當(dāng)降低權(quán)重。在融合腦部CT和MRI圖像的低頻子帶時(shí)，對于包含腦干、丘腦等重要結(jié)構(gòu)的區(qū)域，由于其能量較大，在融合時(shí)賦予較高的權(quán)重，使得這些重要結(jié)構(gòu)在融合圖像中能夠更清晰、準(zhǔn)確地顯示出來。對于高頻子帶系數(shù)，其主要包含圖像的邊緣、紋理等細(xì)節(jié)信息，采用基于區(qū)域梯度和的融合規(guī)則。將高頻子帶同樣劃分為多個(gè)小區(qū)域，以3×3像素的區(qū)域?yàn)槔?。對于每個(gè)區(qū)域，計(jì)算其梯度和，區(qū)域梯度的計(jì)算采用Sobel算子，分別計(jì)算水平方向和垂直方向的梯度，然后將兩者的絕對值相加得到區(qū)域梯度和，即G=\vertG_{x}\vert+\vertG_{y}\vert，其中G_{x}和G_{y}分別表示水平方向和垂直方向的梯度。根據(jù)區(qū)域梯度和的大小，為每個(gè)區(qū)域分配不同的權(quán)重，權(quán)重的分配公式為w_{m}=\frac{G_{m}}{\sum_{m=1}^{M}G_{m}}，其中w_{m}表示第m個(gè)區(qū)域的權(quán)重，G_{m}表示第m個(gè)區(qū)域的梯度和，M為區(qū)域的總數(shù)。對于梯度和較大的區(qū)域，說明其包含了更多的細(xì)節(jié)信息，賦予較高的權(quán)重；對于梯度和較小的區(qū)域，適當(dāng)降低權(quán)重。在融合肺部CT和PET圖像的高頻子帶時(shí)，對于肺部邊緣、氣管等區(qū)域，由于其梯度和較大，在融合時(shí)賦予較高的權(quán)重，從而使這些區(qū)域的細(xì)節(jié)信息在融合圖像中能夠得到更好的保留和突出。將融合后的低頻子帶系數(shù)和高頻子帶系數(shù)進(jìn)行NSST逆變換，重構(gòu)得到融合圖像。NSST逆變換是NSST分解的逆過程，通過逆變換將經(jīng)過融合處理的子帶系數(shù)重新組合成一幅完整的圖像。在逆變換過程中，根據(jù)NSST的原理，將低頻子帶系數(shù)和高頻子帶系數(shù)按照一定的規(guī)則進(jìn)行合成，恢復(fù)出融合圖像的原始尺寸和分辨率。經(jīng)過NSST逆變換得到的融合圖像，既包含了不同模態(tài)圖像的主要結(jié)構(gòu)信息，又保留了豐富的細(xì)節(jié)信息，實(shí)現(xiàn)了多模態(tài)醫(yī)學(xué)圖像的有效融合，為醫(yī)學(xué)診斷提供了更全面、準(zhǔn)確的圖像依據(jù)。4.2.3對比實(shí)驗(yàn)設(shè)置為了全面、客觀地評估基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法的性能，設(shè)置了與其他經(jīng)典融合算法的對比實(shí)驗(yàn)。選擇了小波變換（WT）融合算法、輪廓波變換（Contourlet）融合算法以及非下采樣輪廓波變換（NSCT）融合算法作為對比算法，這些算法在多模態(tài)醫(yī)學(xué)圖像融合領(lǐng)域具有代表性，且各自具有不同的特點(diǎn)和優(yōu)勢。小波變換融合算法是一種經(jīng)典的多尺度分析方法，它通過將圖像分解為不同尺度的低頻和高頻子帶，然后根據(jù)一定的融合規(guī)則對這些子帶進(jìn)行融合。小波變換具有良好的時(shí)頻局部化特性，能夠有效地提取圖像的多尺度特征，但在方向選擇性方面相對較弱，對于具有復(fù)雜幾何結(jié)構(gòu)的醫(yī)學(xué)圖像，難以充分提取和融合圖像的方向細(xì)節(jié)信息。輪廓波變換融合算法是在小波變換的基礎(chǔ)上發(fā)展而來的，它通過引入拉普拉斯金字塔和方向?yàn)V波器組，實(shí)現(xiàn)了對圖像的多尺度、多方向分解。輪廓波變換在方向選擇性方面比小波變換有了顯著提升，能夠更好地捕捉圖像中的邊緣和紋理信息，但由于其下采樣操作的存在，不具備平移不變性，在處理醫(yī)學(xué)圖像時(shí)可能會(huì)因?yàn)閳D像的微小位移而產(chǎn)生誤判。非下采樣輪廓波變換融合算法是對輪廓波變換的改進(jìn)，它采用非下采樣的策略，避免了下采樣過程中信息的丟失，從而具有平移不變性。NSCT在保留圖像細(xì)節(jié)和邊緣信息方面具有一定優(yōu)勢，但在處理復(fù)雜圖像時(shí)，其計(jì)算復(fù)雜度較高，且對噪聲較為敏感。在對比實(shí)驗(yàn)中，使用相同的多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)集，包括CT、MRI、PET等不同模態(tài)的圖像，并在相同的實(shí)驗(yàn)環(huán)境下運(yùn)行基于NSST的融合算法以及上述對比算法。對每種算法的融合結(jié)果，從主觀視覺效果和客觀評價(jià)指標(biāo)兩個(gè)方面進(jìn)行評估。主觀視覺效果評估邀請具有豐富臨床經(jīng)驗(yàn)的醫(yī)生參與，醫(yī)生根據(jù)自己的專業(yè)知識和臨床經(jīng)驗(yàn)，對融合圖像在解剖結(jié)構(gòu)顯示、病變特征突出等方面的表現(xiàn)進(jìn)行評價(jià)，判斷融合圖像是否能夠清晰地展示不同模態(tài)圖像的關(guān)鍵信息，以及是否有助于疾病的診斷?？陀^評價(jià)指標(biāo)采用峰值信噪比（PSNR）、結(jié)構(gòu)相似性指數(shù)（SSIM）、互信息（MI）等常用的圖像質(zhì)量評價(jià)指標(biāo)。PSNR用于衡量融合圖像與原始圖像之間的峰值信噪比，PSNR值越高，說明融合圖像與原始圖像的差異越小，圖像質(zhì)量越好；SSIM用于評估融合圖像與原始圖像在結(jié)構(gòu)上的相似程度，SSIM值越接近1，說明融合圖像與原始圖像的結(jié)構(gòu)越相似，圖像質(zhì)量越高；MI用于度量融合圖像從原始圖像中獲取的信息量，MI值越大，說明融合圖像包含的信息量越豐富，融合效果越好。通過與其他經(jīng)典融合算法的對比實(shí)驗(yàn)，能夠更直觀地展示基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法的優(yōu)勢和不足，為算法的進(jìn)一步改進(jìn)和優(yōu)化提供有力的依據(jù)，同時(shí)也有助于在實(shí)際應(yīng)用中選擇最合適的融合算法，提高多模態(tài)醫(yī)學(xué)圖像融合的質(zhì)量和效果，為醫(yī)學(xué)診斷和治療提供更可靠的支持。4.3結(jié)果展示與分析4.3.1主觀視覺效果評估為直觀展示基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法的效果，選取腦部CT和MRI圖像進(jìn)行融合實(shí)驗(yàn)，并與小波變換（WT）融合算法、輪廓波變換（Contourlet）融合算法以及非下采樣輪廓波變換（NSCT）融合算法的結(jié)果進(jìn)行對比，如圖2所示。|算法|CT圖像|MRI圖像|融合圖像||----|----|----|----||基于NSST的融合算法|||||WT融合算法|||||Contourlet融合算法|||||NSCT融合算法||||圖2不同算法融合結(jié)果對比圖從圖2中可以看出，基于NSST的融合算法生成的融合圖像在解剖結(jié)構(gòu)顯示和細(xì)節(jié)保留方面表現(xiàn)出色。在顯示腦部解剖結(jié)構(gòu)時(shí)，融合圖像清晰地呈現(xiàn)了顱骨、腦室等CT圖像中的主要結(jié)構(gòu)，同時(shí)也準(zhǔn)確地保留了MRI圖像中腦組織的軟組織細(xì)節(jié)，如灰質(zhì)、白質(zhì)的區(qū)分更加明顯，病變部位的邊界和內(nèi)部結(jié)構(gòu)也能清晰展現(xiàn)。與WT融合算法相比，WT融合圖像在邊緣和紋理細(xì)節(jié)的保留上存在不足，腦部的一些細(xì)微結(jié)構(gòu)顯示模糊，例如腦溝、腦回的細(xì)節(jié)不夠清晰，影響了對腦部結(jié)構(gòu)的準(zhǔn)確觀察。Contourlet融合算法雖然在一定程度上能夠顯示腦部的主要結(jié)構(gòu)，但由于其下采樣操作導(dǎo)致的平移不變性缺失，使得融合圖像在一些局部區(qū)域出現(xiàn)了信息丟失和模糊的現(xiàn)象，如在腦室邊緣和腦實(shí)質(zhì)的交界處，結(jié)構(gòu)不夠清晰，存在鋸齒狀的邊緣。NSCT融合算法雖然具有平移不變性，但在處理復(fù)雜圖像時(shí)，對噪聲較為敏感，融合圖像中出現(xiàn)了一些噪聲干擾，影響了圖像的整體質(zhì)量，例如在腦部的一些均勻區(qū)域，出現(xiàn)了明顯的噪聲點(diǎn)，降低了圖像的可讀性。邀請了5位具有豐富臨床經(jīng)驗(yàn)的醫(yī)生對不同算法的融合圖像進(jìn)行主觀評價(jià)。醫(yī)生們從解剖結(jié)構(gòu)的清晰度、病變特征的突出程度以及圖像對診斷的輔助作用等方面進(jìn)行評估，采用5分制評分標(biāo)準(zhǔn)，5分為非常好，4分為較好，3分為一般，2分為較差，1分為非常差。評價(jià)結(jié)果如表1所示：算法解剖結(jié)構(gòu)清晰度病變特征突出程度對診斷的輔助作用基于NSST的融合算法4.54.34.4WT融合算法3.23.03.1Contourlet融合算法3.53.33.4NSCT融合算法3.43.23.3表1醫(yī)生主觀評價(jià)結(jié)果從表1的評價(jià)結(jié)果可以看出，基于NSST的融合算法在各項(xiàng)評價(jià)指標(biāo)上均顯著優(yōu)于其他對比算法。醫(yī)生們普遍認(rèn)為，基于NSST的融合圖像解剖結(jié)構(gòu)清晰，能夠準(zhǔn)確地顯示腦部的各種結(jié)構(gòu)，為診斷提供了堅(jiān)實(shí)的解剖學(xué)基礎(chǔ)；病變特征突出，能夠清晰地展示病變的位置、大小和形態(tài)，有助于醫(yī)生準(zhǔn)確判斷病變的性質(zhì)和程度；對診斷的輔助作用明顯，能夠提供更全面、準(zhǔn)確的信息，幫助醫(yī)生做出更科學(xué)、合理的診斷決策。4.3.2客觀評價(jià)指標(biāo)分析為了更準(zhǔn)確、客觀地評估基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法的性能，采用峰值信噪比（PSNR）、結(jié)構(gòu)相似性指數(shù)（SSIM）、互信息（MI）等常用的圖像質(zhì)量評價(jià)指標(biāo)，對基于NSST的融合算法以及小波變換（WT）融合算法、輪廓波變換（Contourlet）融合算法和非下采樣輪廓波變換（NSCT）融合算法的融合結(jié)果進(jìn)行量化分析。峰值信噪比（PSNR）是一種衡量圖像重建質(zhì)量的常用指標(biāo)，它通過計(jì)算融合圖像與原始圖像之間的均方誤差（MSE），然后將其轉(zhuǎn)換為以分貝（dB）為單位的數(shù)值。PSNR值越高，說明融合圖像與原始圖像之間的差異越小，圖像質(zhì)量越好。其計(jì)算公式為：PSNR=10\log_{10}(\frac{MAX_{I}^2}{MSE})，其中MAX_{I}表示圖像的最大像素值，對于8位灰度圖像，MAX_{I}=255；MSE表示融合圖像與原始圖像之間的均方誤差，計(jì)算公式為MSE=\frac{1}{m\timesn}\sum_{i=1}^{m}\sum_{j=1}^{n}[I_{ij}-K_{ij}]^2，I_{ij}和K_{ij}分別表示原始圖像和融合圖像中第i行第j列的像素值，m和n分別為圖像的行數(shù)和列數(shù)。結(jié)構(gòu)相似性指數(shù)（SSIM）用于評估融合圖像與原始圖像在結(jié)構(gòu)上的相似程度，其取值范圍在0到1之間，越接近1表示融合圖像與原始圖像的結(jié)構(gòu)越相似，圖像質(zhì)量越高。SSIM綜合考慮了圖像的亮度、對比度和結(jié)構(gòu)信息，通過計(jì)算圖像的均值、方差和協(xié)方差來衡量圖像之間的相似性。其計(jì)算公式較為復(fù)雜，涉及多個(gè)參數(shù)的計(jì)算，但總體上反映了圖像在結(jié)構(gòu)特征上的相似程度。互信息（MI）用于度量融合圖像從原始圖像中獲取的信息量，MI值越大，說明融合圖像包含的信息量越豐富，融合效果越好?；バ畔⒒谛畔⒄撝械撵馗拍睿ㄟ^計(jì)算原始圖像和融合圖像的聯(lián)合熵和各自的熵來得到互信息的值。具體計(jì)算公式為MI(I,K)=H(I)+H(K)-H(I,K)，其中H(I)和H(K)分別表示原始圖像I和融合圖像K的熵，H(I,K)表示它們的聯(lián)合熵。對10組不同的腦部CT和MRI圖像進(jìn)行融合實(shí)驗(yàn)，并計(jì)算各算法融合結(jié)果的PSNR、SSIM和MI值，結(jié)果如表2所示：算法PSNR（dB）SSIMMI基于NSST的融合算法35.67±2.130.92±0.034.56±0.25WT融合算法30.25±1.870.85±0.053.21±0.18Contourlet融合算法32.14±1.950.88±0.043.87±0.20NSCT融合算法31.89±1.980.87±0.043.76±0.22表2不同算法融合結(jié)果的客觀評價(jià)指標(biāo)對比從表2的結(jié)果可以看出，基于NSST的融合算法在PSNR、SSIM和MI指標(biāo)上均明顯優(yōu)于其他對比算法?；贜SST的融合算法的PSNR值最高，達(dá)到了35.67±2.13dB，說明其融合圖像與原始圖像的差異最小，圖像質(zhì)量最好；SSIM值為0.92±0.03，接近1，表明融合圖像與原始圖像在結(jié)構(gòu)上的相似程度很高，能夠很好地保留原始圖像的結(jié)構(gòu)信息；MI值為4.56±0.25，是所有算法中最高的，說明基于NSST的融合圖像包含的信息量最豐富，能夠從原始圖像中獲取更多的有用信息。相比之下，WT融合算法的各項(xiàng)指標(biāo)相對較低，PSNR值僅為30.25±1.87dB，SSIM值為0.85±0.05，MI值為3.21±0.18，這表明WT融合算法在圖像質(zhì)量、結(jié)構(gòu)相似性和信息獲取方面存在一定的不足。Contourlet融合算法和NSCT融合算法的指標(biāo)雖然略高于WT融合算法，但與基于NSST的融合算法相比，仍有較大差距。4.3.3結(jié)果討論與算法性能評估通過主觀視覺效果評估和客觀評價(jià)指標(biāo)分析，可以得出基于NSST的多模態(tài)醫(yī)學(xué)圖像融合算法在融合效果上具有顯著優(yōu)勢。在主觀視覺方面，融合圖像能夠清晰地展示腦部的解剖結(jié)構(gòu)和軟組織細(xì)節(jié)，病變特征突出，得到了臨床醫(yī)生的高度認(rèn)可，為醫(yī)學(xué)診斷提供了更直觀、準(zhǔn)確的圖像信息。在客觀評價(jià)指標(biāo)上，基于NSST的融合算法在PSNR、SSIM和MI等指標(biāo)上均優(yōu)于其他對比算法，表明其融合圖像在圖像質(zhì)量、結(jié)構(gòu)相似性和信息含量方面表現(xiàn)出色，能夠更有效地保留原始圖像的重要信息，提高融合圖像的質(zhì)量和診斷價(jià)值?；贜SST的融合算法之所以能夠取得良好的效果，主要得益于其獨(dú)特的多尺度、多方向分解特性以及合理的系數(shù)融合規(guī)則。NSST通過非下采樣金字塔（NSP）和非下采樣方向?yàn)V波器組（NSDFB），能夠在不同尺度和方向上對圖像進(jìn)行精確分解，充分提取圖像的局部特征和邊緣信息。在低