IMaxwell方程組是電磁學(xué)中的基本方程,它描述了電磁場(chǎng)的本質(zhì)和行為.傳統(tǒng)數(shù)值方法求解麥克斯韋方程組存在一些問題,例如計(jì)算誤差較大,計(jì)算復(fù)雜度較高等問題.最近通過神經(jīng)網(wǎng)絡(luò)方法求解Maxwell方程組成為熱點(diǎn)研究問題,基于深度學(xué)習(xí)方法可以快速得到Maxwell方程組的近似解.隨著2019年內(nèi)嵌物理知識(shí)神經(jīng)網(wǎng)絡(luò)(PINN)模型的提出,大大降低了神經(jīng)網(wǎng)絡(luò)求解偏微分方程的訓(xùn)練成本.本文介紹了麥克斯識(shí),綜述了神經(jīng)網(wǎng)絡(luò)求解Maxwell方程的幾種模型:內(nèi)嵌物理知識(shí)神經(jīng)網(wǎng)算子網(wǎng)絡(luò)(DeepONet)[2],物理約束深度算子網(wǎng)以及上述模型的求解結(jié)果.本文的工作可以為后續(xù)的相關(guān)研究持.traditionalnumerications.Withtheintroductionoftheembeddedphysicalknowledgeneuralne2019,thetrainingcostofneuralnetworksolvingpartialdifferentialeqbackgroundandliteraturesupportforsubsequentKeywords:Maxwell’seqV1Maxwell方程組作為描述電磁場(chǎng)本質(zhì)和行為的基本方程,對(duì)其求解一直是人們所關(guān)心的問題.由于其往往伴隨著較為復(fù)雜的定解條件,大部分的MMaxwell方程組的求解離不開高效穩(wěn)定的數(shù)值方法.傳統(tǒng)的數(shù)值計(jì)算方法包括有限差分法[5],有限元法[6],有限體積法[7],無解問題變成離散模型,在網(wǎng)格的節(jié)點(diǎn)處完成方程的解的近似求解或解的近似式求解,由于網(wǎng)格的劃分很大程度上會(huì)影響求解的精度,因此對(duì)于某些復(fù)雜問題選擇合適的網(wǎng)格十分困難.無網(wǎng)格方法利用靈活的節(jié)點(diǎn)代替預(yù)置的網(wǎng)格,通過求解點(diǎn)與支持域內(nèi)的配置點(diǎn)距離函數(shù)近似模型真實(shí)解,雖然該方法解決了有網(wǎng)格方法的網(wǎng)格選取困難的問題,但其過大的計(jì)算量導(dǎo)致該方法效率過低.2022年山東大學(xué)任清華嘗試把徑向基配點(diǎn)一定程度上減少了求解的計(jì)算量,但該模型在Neumann邊界條件情況下的求解誤差仍然很大.和傳統(tǒng)的計(jì)算方法不同,神經(jīng)網(wǎng)絡(luò)方法可以在一定程度上解決傳統(tǒng)方法存在的問題,是當(dāng)下的熱點(diǎn)研究方向.該方法同樣不依賴于網(wǎng)格的選取,也不需要大量的標(biāo)簽數(shù)據(jù).附錄A通用逼近定理的介紹表明:神經(jīng)網(wǎng)絡(luò)可以逼近任何連續(xù)函數(shù)[10],其本質(zhì)是通過參數(shù)與激活函數(shù)來擬合特征與目標(biāo)之間的關(guān)系.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程包括:首先要確的監(jiān)督數(shù)據(jù)的輸入值神經(jīng)網(wǎng)絡(luò)中,正向傳播得到模型的輸出值,與監(jiān)督數(shù)據(jù)的函數(shù)值進(jìn)行對(duì)比得到誤差函數(shù)Lloss,Lloss按照誤差反向傳播法對(duì)于各層權(quán)重參數(shù)求梯度,的學(xué)習(xí)率更新權(quán)重參數(shù),再不斷重復(fù)上述過程,最后得到一個(gè)使得損失函數(shù)最小的權(quán)重參數(shù),習(xí)到更高級(jí)別的特征,從而更好地捕捉數(shù)據(jù)中的復(fù)雜參數(shù)數(shù)量,提高模型的計(jì)算效率和訓(xùn)練速度,因此在此基礎(chǔ)上的深度學(xué)習(xí)模型也成為機(jī)器學(xué)習(xí)領(lǐng)域中的又一熱門方向.第一類方法是用神經(jīng)網(wǎng)絡(luò)去近似單個(gè)PDE的解.這類方法主要依賴控制方程和邊界條件來訓(xùn)練神經(jīng)網(wǎng)絡(luò).例如,物理信息神經(jīng)網(wǎng)絡(luò)PINN[1].此類方法通過約出來滿足給定的控制方程和邊界條件,可以在無監(jiān)督的方式下工作,即不需要利用傳統(tǒng)的數(shù)值方法來生成標(biāo)簽數(shù)據(jù).第二類方法使用神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)兩個(gè)無限維函數(shù)空間之間的解映射(即PDE參數(shù)到方碼,并將兩個(gè)子網(wǎng)的輸出做內(nèi)積以得到方程的解;PI-DeepONet[3]可以在無標(biāo)簽數(shù)據(jù)和無需重新訓(xùn)練的情況下學(xué)習(xí)PDE參數(shù)到方程解的映射并且不需要一個(gè)預(yù)定義的網(wǎng)格;元自動(dòng)解碼器(MAD)[4]將不同的PDE參數(shù)對(duì)應(yīng)的方程求解視一個(gè)泛化能力更強(qiáng)的初始模型,使其能夠在少量梯度更新下就能處理新的學(xué)習(xí)任務(wù).基于目前的研究,將上述方法用于Maxwell方程組的求解是十分可行的:首先PINN方2法可以儲(chǔ)存底層數(shù)學(xué)模型,可以更好滿足Maxwell在定解條件部分的限制,滿足真實(shí)狀態(tài)下電磁場(chǎng)的分布性質(zhì);其次,DeepONet方法對(duì)于介電系數(shù)來說,其解映射的想法可以大大優(yōu)化求解速度,一旦訓(xùn)練好了神經(jīng)網(wǎng)絡(luò),預(yù)測(cè)時(shí)間幾乎可以忽略不計(jì);PI-DeepONet融合了二者的優(yōu)點(diǎn),滿足物理模型的前提下實(shí)現(xiàn)PDE參數(shù)到方程解的映射的學(xué)習(xí);包括MAD方法在內(nèi)的元學(xué)習(xí)方算法本身,給定一定數(shù)目的介電系數(shù)和相對(duì)磁導(dǎo)率組作為訓(xùn)練任務(wù)進(jìn)行元學(xué)習(xí),便可實(shí)現(xiàn)對(duì)未知系數(shù)組合的預(yù)測(cè),其在求解Maxwell方程組方面取得了一定成種方法,主要組織結(jié)構(gòu)如下:第一章為緒論部分,介紹了Maxwell方程組的重要意義,求解微分方程的經(jīng)典方法以及神經(jīng)網(wǎng)絡(luò)求解微分方程的原理與優(yōu)點(diǎn).同時(shí)簡(jiǎn)單總結(jié)了包分方程模型的基本想法.方程組Helmholtz方程并驗(yàn)證電磁的波動(dòng)傳導(dǎo)形式;介紹了神經(jīng)網(wǎng)絡(luò)的基本知識(shí)和原理并利用神經(jīng)網(wǎng)絡(luò)求解簡(jiǎn)單的一維線性函數(shù).第三章詳細(xì)介紹了內(nèi)涵物理知識(shí)神經(jīng)網(wǎng)絡(luò)PINN的模型架構(gòu),并利Helmholtz方程.第四章詳細(xì)介紹兩類算子網(wǎng)絡(luò)–深度算子網(wǎng)絡(luò)DeepONet的網(wǎng)絡(luò)模型及其推廣物理約束第五章首先闡述元學(xué)習(xí)的概念,緊接著闡述了MAD模型的結(jié)構(gòu),最后用數(shù)值例子對(duì)模型加以分析.第六章總結(jié)了上述模型的優(yōu)缺點(diǎn),并提出未來3Maxwell方程組于19世紀(jì)被物理學(xué)家麥克斯韋提出,該方程組包括積分和微分兩種形式[12],共包括高斯電場(chǎng),磁場(chǎng)定律,法拉第定律以及安培-麥克斯韋定律四個(gè)方程,該方程組描述了電場(chǎng)磁場(chǎng)與電荷電流之間的關(guān)系.首先看積分形式的Maxwell方程組,共包括下面四個(gè)方fSE.da=,fSB.da=0,fCE.dl=JS.da,E.da),上面四個(gè)方程,(2.1)為高斯電場(chǎng)定律,即穿過閉合曲面的電通量正比于這個(gè)曲面包含的電荷面的磁通量的變化率等于感生電場(chǎng)的環(huán)流;(2的變化率和曲面包含的電流等于感生磁場(chǎng)的環(huán)流.對(duì)于(2.1),左端表示穿過閉合曲面的電通量,在這里利用電場(chǎng)線來描述帶電物體的電場(chǎng).考慮一個(gè)單位正電荷,該電荷不斷向外發(fā)出電場(chǎng)線,選擇任意形狀的閉合曲面S,發(fā)出的電場(chǎng)用來刻畫穿過閉合曲面電場(chǎng)線多少的物理量.在平面情況下,電通量可以用電場(chǎng)強(qiáng)度E與面積A進(jìn)行矢量點(diǎn)乘得到,面積的方向用平面的不同,因此采用微分的思想,將曲面S微分成很多小塊da,每一塊的面積可以用E·da來表示.最后通過曲面積分,得到通過曲面的電通量,得到高斯電場(chǎng)定律的表達(dá)式:閉合曲面電通量與曲面包含電荷量成正比.對(duì)于(2.2),左端表示穿過閉合曲面的磁通量,類比電場(chǎng),可以用磁感線來描述物體的磁曲面S,再?gòu)腟極穿入曲面S,穿過曲面的磁感線數(shù)目用磁通量表示,則流入和流出的磁通量產(chǎn)生電場(chǎng),這個(gè)電場(chǎng)與磁通量的變化快慢有關(guān),在法拉第定慮磁感應(yīng)強(qiáng)度的變化,因此有了右端磁感應(yīng)強(qiáng)度B對(duì)時(shí)間t求導(dǎo).至于感生電擇一個(gè)新的物理量——電場(chǎng)環(huán)流來表示,即在C,電場(chǎng)強(qiáng)度E在閉合曲線C上的線積分即為感生電場(chǎng)的環(huán)流.由電流的磁效應(yīng),磁4變的基礎(chǔ)上加上了一個(gè)曲面圍繞的電流大小,這是由于安培定理提到:在穩(wěn)恒磁場(chǎng)中,磁感應(yīng)強(qiáng)度B沿任何閉合路徑的線積分,等于這閉合路徑所包圍的各個(gè)電流的代數(shù)和乘以磁導(dǎo)率.因此感生磁場(chǎng)的環(huán)流不僅與電通量的變化率有關(guān),也與其中的包圍的電流代數(shù)和有關(guān).其中的μ0與ε0均為常數(shù),分別表示真空磁導(dǎo)率與真空絕對(duì)介電常數(shù).安培-麥克斯韋定律的物理意義為感生磁場(chǎng)的環(huán)流等于穿過曲面的電通量的變化率和曲面包含的電流.接下來看微分形式的Maxwell方程組,微分形式的四個(gè)方程可以表示為:??E=,?×B=μ0(J+ε0,此時(shí)四個(gè)方程表示的物理意義為:(2.5)為高斯電場(chǎng)定律,意義為電場(chǎng)強(qiáng)度的散度跟這點(diǎn)的電荷密度成正比;(2.6)為高斯磁場(chǎng)定律,意義為磁感應(yīng)強(qiáng)度的散度處處為0;(2.7)為法拉第定律,意義為感生電場(chǎng)的旋度等于負(fù)的磁感應(yīng)強(qiáng)度的變化率;(2.8)為安培-麥克斯韋定律,意義為感生磁場(chǎng)的旋度等于電流密度和電場(chǎng)強(qiáng)度變化率之和.描述,左右同時(shí)除以體積,得到:EQ\*jc3\*hps21\o\al(\s\up2(li),v)此時(shí)將定義為體積縮到無窮小一點(diǎn)時(shí)該點(diǎn)的電荷密度,左端定義電場(chǎng)E在某點(diǎn)的散度EQ\*jc3\*hps21\o\al(\s\up2(li),v)diuE=??E,度就是:5綜上得出式(2.5),且電場(chǎng)E在某點(diǎn)的散度計(jì)算公式由式(2.1.1)場(chǎng)的散度跟電荷密度成正比.對(duì)于(2.6),左端同(2.5)表示某點(diǎn)磁感線強(qiáng)度的故微分形式右端仍然為0,得到微分形式高斯磁場(chǎng)定律,其物理意義為某點(diǎn)磁感應(yīng)強(qiáng)度的散于右端本質(zhì)是負(fù)的磁感應(yīng)強(qiáng)度變化率乘以面積,故除以面積只剩下負(fù)的磁感應(yīng)強(qiáng)度變化率,可以得到:EQ\*jc3\*hps21\o\al(\s\up3(l),s),curl(E)=?×E,其中nabla算子?與電場(chǎng)E的叉乘運(yùn)算為若電場(chǎng)E可表示為E(x,y,z)=Ex分量具有一階連續(xù)偏導(dǎo)數(shù),則:綜上得出式(2.7),且電場(chǎng)E在某點(diǎn)的旋度計(jì)算公式由式(2.10)場(chǎng)的旋度等于負(fù)的磁感應(yīng)強(qiáng)度的變化率.對(duì)于(2.8),積分形式為(2.4),同樣按照微分形對(duì)于,引入新的物理量電流密度J來表示,單位是A/綜上得出式(2.8),物理意義為感生磁場(chǎng)的旋度等于電流密度和電場(chǎng)強(qiáng)度變化率之和.至此完成了Maxwell方程組積分微分形式以及物理意義的介2.1.2Maxwell方程組與波動(dòng)方程的聯(lián)系并推導(dǎo)He經(jīng)典的波動(dòng)方程為:21d2f其中?2等于拉普拉斯算子Δ,對(duì)于n維空間的標(biāo)量函數(shù)f(x1,x2,…,xn),拉普拉斯算子Δ作?2f=EQ\*jc3\*hps21\o\al(\s\up6(d),d)EQ\*jc3\*hps15\o\al(\s\up10(2),x)+EQ\*jc3\*hps21\o\al(\s\up6(d),d)EQ\*jc3\*hps15\o\al(\s\up10(2),x)+…+EQ\*jc3\*hps15\o\al(\s\up8(d2),dx)=0,6若電場(chǎng)E可表示為E(x,y,z)=Ex?2E=(?2Exy)+(?2Ez).?2E=μ0ε0,?×(?×B)=?(??B)??B考慮波動(dòng)方程最基本的形式:ΔV(x)?k2V=0,將V改寫成一般情況的u得證式(2.18).Helmholtz方程描述了電磁波在空間中傳播時(shí)的變磁波在空間中的傳播和衰減情況,它可以用于分析和預(yù)測(cè)電磁波在各種介質(zhì)中的傳播特性,從而為電磁的應(yīng)用提供理論基礎(chǔ).7用圖來說明神經(jīng)網(wǎng)絡(luò)的話,如圖2.1所示.f(x)=wnσn?1(wn?1σn?2(...(w2σ1(w1x+b1)+b2)+..)+bn?1)+bn(2.19)圖中展示的感知機(jī)模型接收兩個(gè)輸入信號(hào)x1和x2,并y={EQ\*jc3\*hps21\o\al(\s\up14(1),0)(b+w1x1+w2x2>0),(b+w1x1+w2x2≤0),參數(shù)b被稱為偏置,它決定了神經(jīng)元被激活的難易程度.而w1和w2則是權(quán)重參數(shù),分別代8y=?(b+w1x1+w2x2),(2.21)?(x)={EQ\*jc3\*hps21\o\al(\s\up8(1),0)EQ\*jc3\*hps21\o\al(\s\up7(x),x)EQ\*jc3\*hps21\o\al(\s\up8(0),0)EQ\*jc3\*hps21\o\al(\s\up4(,),,)(2.22)它將輸入信號(hào)的加權(quán)求和轉(zhuǎn)換為輸出信號(hào).這一轉(zhuǎn)換過程的核心在于:激活函數(shù)決定了如何根據(jù)輸入信號(hào)的總和來生成輸出信號(hào),進(jìn)而實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的激活.為了對(duì)式(2.21)進(jìn)行更深入的分析和改寫,可以將其拆分為兩個(gè)步驟的加權(quán)總和,這一步涉及到對(duì)各個(gè)輸入信號(hào)進(jìn)行加權(quán)求和;其次,利用激活函數(shù)對(duì)這一加權(quán)總a=b+w1x1+w2x2,式(2.23),(2.24)可以由圖2.3來表示:數(shù).神經(jīng)網(wǎng)絡(luò)中用sigmoid函數(shù)作為激活函數(shù)進(jìn)行信號(hào)間的轉(zhuǎn)換,轉(zhuǎn)換后的信號(hào)被傳遞給下一個(gè)9通過拉格朗日乘數(shù)法[18](尋找變量受一個(gè)或多個(gè)條件限制的多元函數(shù)極值的方法)求偏導(dǎo)?(x)={EQ\*jc3\*hps21\o\al(\s\up8(0),x)EQ\*jc3\*hps21\o\al(\s\up7(x),x)EQ\*jc3\*hps21\o\al(\s\up8(0),0)EQ\*jc3\*hps21\o\al(\s\up4(,),,)(2.26)示.3.雙曲正切tanh函數(shù)(hyperbolictangentfunc提高模型的穩(wěn)定性和收斂速度.x一些情況下有更好的表現(xiàn).其圖像如圖2.7所示.神經(jīng)網(wǎng)絡(luò)可以按照以下步驟求解問題.對(duì)于求解的問題,確定適合的神經(jīng)網(wǎng)絡(luò)模型,隨后初始化網(wǎng)始神經(jīng)網(wǎng)絡(luò)模型.2.正向傳遞,計(jì)算初始模型的輸出并計(jì)算損失函數(shù):將訓(xùn)練數(shù)據(jù)輸入進(jìn)模型中,通過層級(jí)之間的正向傳遞得到輸出值,與預(yù)期函數(shù)值比較得到損失函數(shù).3.反向傳播,計(jì)算損失函數(shù)對(duì)權(quán)重的梯度:根據(jù)誤差反向傳播法,計(jì)算損失函數(shù)相對(duì)于待訓(xùn)練參數(shù)的梯度.根據(jù)梯度下降法和給定學(xué)習(xí)率更新參數(shù)替代原來的權(quán)重和偏置參數(shù),得到訓(xùn)練一次后的神經(jīng)網(wǎng)絡(luò)模型.按照預(yù)設(shè)的迭代次數(shù),重復(fù)第二步至第四步,不斷對(duì)模型進(jìn)行訓(xùn)練,最終訓(xùn)練出較為理想迭代結(jié)束后,選擇一些測(cè)試數(shù)據(jù)輸入網(wǎng)絡(luò)下面按照利用神經(jīng)網(wǎng)絡(luò)求解一個(gè)簡(jiǎn)單的一元線性函數(shù)擬合問題:確定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2.8所示,其中x為輸入單元,w為輸入單元對(duì)應(yīng)的權(quán)重,b為模型的偏置,其權(quán)重為1.w與b為模型要訓(xùn)練的參數(shù),為輸出單元,其中激活函數(shù)?為恒等函a=b+wx,(2.29)=?(a)=a=b+wx,(2.30)隨機(jī)初始化訓(xùn)練參數(shù),令w=2,b=6,學(xué)習(xí)率1=0.05,訓(xùn)練次數(shù)為5次.2.正向傳遞,計(jì)算初始模型的輸出并計(jì)算損失函數(shù):計(jì)算輸出與訓(xùn)練數(shù)據(jù)給定的函數(shù)值y=1的損失函數(shù)L,這里的L選擇均方誤差函數(shù),即L=(?y)2.按照誤差反向傳播法,計(jì)算L對(duì)參數(shù)w和b的梯度,結(jié)果為式(2.31)EQ\*jc3\*hps21\o\al(\s\up6(d),d)EQ\*jc3\*hps21\o\al(\s\up6(L),w)EQ\*jc3\*hps21\o\al(\s\up6(d),d)EQ\*jc3\*hps21\o\al(\s\up6(d),d)如式(2.33),(2.34)用梯度下降法更新w和b得到w1和b1.w1=w?1EQ\*jc3\*hps21\o\al(\s\up6(dL),dw)=2?0.05×36=0.2,將w1和b1賦予給模型的權(quán)重和偏置.5.按照預(yù)設(shè)迭代次數(shù)重復(fù)第二至四步,訓(xùn)練五次的結(jié)果如下:權(quán)重w=2.00權(quán)重w1=0.20權(quán)重w2=?0.70權(quán)重w3=?1.15權(quán)重w4=?1.38權(quán)重w5=?1.49由于該問題僅有一個(gè)數(shù)據(jù),故無法通過測(cè)試數(shù)據(jù)來評(píng)估模型的擬合效果,直接通過第5步中的損失函數(shù)便可以看出模型的擬合效果,根據(jù)表6僅僅經(jīng)過五次訓(xùn)練,模型的損失函數(shù)數(shù)量級(jí)已經(jīng)達(dá)到了10?2.損失函數(shù)L損失函數(shù)L1=20.2500損失函數(shù)L2=5.0625損失函數(shù)L4=0.3164損失函數(shù)L5=0.0791本章將介紹內(nèi)嵌物理知識(shí)神經(jīng)網(wǎng)絡(luò)(PINN)模型的作用機(jī)制,并利用PINN求解標(biāo)準(zhǔn)的Helmholtz方程和電磁波動(dòng)方程.大多數(shù)神經(jīng)網(wǎng)絡(luò)在求解微分方程時(shí)并不理解方程背后的數(shù)學(xué)模型,這是由于網(wǎng)絡(luò)僅僅由數(shù)里共同訓(xùn)練[1],使得訓(xùn)練得到的模型既滿足控制方程又符合其背后的數(shù)學(xué)模型.額外物理約束的加入也使得網(wǎng)絡(luò)對(duì)數(shù)據(jù)的依賴性降低,減少數(shù)據(jù)需求量進(jìn)而降低訓(xùn)練成本.PINN的界條件.對(duì)于該方程,建立神經(jīng)網(wǎng)絡(luò)模型,最基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)是全連接神經(jīng)網(wǎng)其結(jié)構(gòu)如圖所示:式中:EQ\*jc3\*hps15\o\al(\s\up14(2),2)EQ\*jc3\*hps15\o\al(\s\up5(2),2)EQ\*jc3\*hps15\o\al(\s\up6(2),2)點(diǎn).對(duì)于邊界項(xiàng)權(quán)重參數(shù),為了加速滿足邊界條件的收斂,其選擇要遠(yuǎn)遠(yuǎn)大于PDE項(xiàng)參數(shù),提出自動(dòng)調(diào)整PDE殘差損失和邊界損失的權(quán)重方法,以平衡損失函數(shù)中來自不同項(xiàng)的反向傳播梯度的大小.建立損失函數(shù)后,通過損失函數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)各參數(shù)求梯度來進(jìn)行更新,完成更新后會(huì)得到一個(gè)神經(jīng)網(wǎng)絡(luò)模型,使得該模型既近似微分方程的解,同時(shí)也滿足方程滿足的底層數(shù)學(xué)邏輯.邊值條件,方程整體可寫為:EQ\*jc3\*hps15\o\al(\s\up6(d),d)EQ\*jc3\*hps12\o\al(\s\up9(2),x)EQ\*jc3\*hps15\o\al(\s\up6(u),2)EQ\*jc3\*hps15\o\al(\s\up7(d2u),dy2)?x,?每個(gè)隱藏層設(shè)有32個(gè)神經(jīng)元.選定初始內(nèi)部配置點(diǎn)個(gè)數(shù)下面兩組圖像為不同激活函數(shù)PINN求解標(biāo)準(zhǔn)Helmholtz方程的可視化結(jié)果圖,從訓(xùn)練運(yùn)行時(shí)間相對(duì)也很短;SiLU函數(shù)由于其相對(duì)更復(fù)雜的表達(dá)式,導(dǎo)致其運(yùn)算時(shí)間最長(zhǎng),長(zhǎng)度但其在計(jì)算精度上取得了最好的效果.由此可見選取適當(dāng)激活程效率很高,同時(shí)四種激活函數(shù)的神經(jīng)網(wǎng)絡(luò)求解盡管PINN很有效,但PINN是針對(duì)特定的方程進(jìn)行訓(xùn)練的,并且在推理過程中需要昂貴的訓(xùn)練.以DeepONet形式推出的神經(jīng)算子實(shí)現(xiàn)了針對(duì)不同參數(shù)都能快速擬合要新條件位于輸入空間內(nèi),就不需要進(jìn)一步的訓(xùn)練.對(duì)于不符合預(yù)定進(jìn)一步訓(xùn)練,但如果輸入空間經(jīng)過充分采樣,訓(xùn)練次數(shù)也相對(duì)較少.DeepONet的另一個(gè)重要表明DeepONet可以打破維數(shù)災(zāi)難,即處理高維數(shù)更多的參數(shù)來擬合數(shù)據(jù),但是訓(xùn)練數(shù)據(jù)的數(shù)量卻沒有相應(yīng)地增加,導(dǎo)致網(wǎng)絡(luò)過擬合和泛化能力下降的現(xiàn)象.DeepXDE是一個(gè)專為科學(xué)機(jī)器學(xué)習(xí)設(shè)計(jì)的Python庫,在其中封裝了DeepXDE,在接下來的實(shí)例分析中將舉例說明用DeepXDE求解簡(jiǎn)化的Maxwell方程組.參數(shù)化偏微分方程可以表示成:N是非線性微分算子,u是輸入函數(shù),s是要求的方程的解,s依據(jù)u的變化得出.設(shè)DeepONet的想法是,選取不同的點(diǎn){x1,x2,?,xm}及隨機(jī)的點(diǎn)y12要訓(xùn)練出一個(gè)網(wǎng)絡(luò),使得對(duì)于任何y的取值,MLP[29],ResNet[30],把固定的{x1,x2,?,xm}以及一b:圖中具體展示了a中訓(xùn)練數(shù)據(jù)的輸入,左邊在每個(gè)輸入函數(shù)u(x)上選擇的坐標(biāo)點(diǎn){x1,x2,?,xm}位置都是相同的,不同函數(shù)的點(diǎn)一一?(xm)]T和y,基于算子通用近似定理(圖4.2)提出了堆疊的DeepONet.d:使用大量的分支網(wǎng)絡(luò)是低效的,因此d將所有的分支網(wǎng)絡(luò)合并成一個(gè)單一的分支網(wǎng)為具有共享相同參數(shù)集的所有分支網(wǎng)絡(luò)的堆疊的DeepONet,主干網(wǎng)絡(luò)和分支網(wǎng)絡(luò)個(gè)數(shù)均為1個(gè),此時(shí)圖4.2表達(dá)式不變,只是圖4.3中的p=1.用N表示輸出函數(shù)u(x)的個(gè)數(shù),P表示輸1NP1NP1NP1NP=GEQ\*jc3\*hps15\o\al(\s\up5(i),j)EQ\*jc3\*hps15\o\al(\s\up5(i),j)12EQ\*jc3\*hps15\o\al(\s\up5(i),j)EQ\*jc3\*hps15\o\al(\s\up5(i),j)2,與PINN想法類似,PI-DeepONet在原DeepONet的基礎(chǔ)上,加上了物理信息ONet只強(qiáng)調(diào)針對(duì)不同定解條件模型都會(huì)得到微分方程的解,而PI-DeepONet加上了方程本身非線性算子N即方程本身的損失,通過方程與定解條件共同組成損失函數(shù)進(jìn)而實(shí)現(xiàn)物理PDE(4.3)的解s.對(duì)于給定的輸入函數(shù)ui:ui=?D?GEQ\*jc3\*hps15\o\al(\s\up4(i),θ)EQ\*jc3\*hps15\o\al(\s\up1(i),θ)故控制方程物理損失為:LcEQ\*jc3\*hps15\o\al(\s\up6(i),θ)EQ\*jc3\*hps15\o\al(\s\up6(i),r)EQ\*jc3\*hps15\o\al(\s\up6(i),r)EQ\*jc3\*hps15\o\al(\s\up6(i),r)個(gè)數(shù),為了與DeepONet的損失函數(shù)區(qū)分,這里的評(píng)價(jià)點(diǎn)加了角標(biāo)r在定解條件處,損失函數(shù)表示為:LBEQ\*jc3\*hps15\o\al(\s\up6(i),u)EQ\*jc3\*hps15\o\al(\s\up6(i),u)EQ\*jc3\*hps15\o\al(\s\up6(i),u)EQ\*jc3\*hps15\o\al(\s\up6(i),u)EQ\*jc3\*hps15\o\al(\s\up4(i),u)EQ\*jc3\*hps15\o\al(\s\up4(i),u)LB可寫為:EQ\*jc3\*hps15\o\al(\s\up6(i),u)EQ\*jc3\*hps15\o\al(\s\up6(i),u)其中N為輸入函數(shù)u(x)的個(gè)數(shù),P為定解條件評(píng)價(jià)點(diǎn)(xu,j,tu,j)的個(gè)數(shù),最后訓(xùn)練總的損失訓(xùn)練步驟:4.在求解域內(nèi)選擇P個(gè)輸出點(diǎn)y1,y2,…,yP,輸入主干網(wǎng)絡(luò)tk(y1,y2,…,yP).6.計(jì)算總損失函數(shù),依據(jù)損失函數(shù)更新參數(shù)并重復(fù).首先是DeepONet在學(xué)習(xí)效率上有巨大優(yōu)勢(shì),考慮相比于PINN,DeepONet通過訓(xùn)練大量的樣本來擬合算子,因此對(duì)于不同的輸入函數(shù)不t在原有基礎(chǔ)上在損失函數(shù)中加入了控制方程本身的物理信息,使得擬合的模型更好符合方程在第二節(jié)中已經(jīng)證明出電場(chǎng)磁場(chǎng)均滿足波動(dòng)方程,而電磁波在傳輸線或波導(dǎo)中傳播時(shí)有完全垂直于傳播方向和波導(dǎo)的橫截面,即電場(chǎng)只有橫向分量,沒有沿傳播方向的分量;TM波是指電磁波在傳播時(shí)磁場(chǎng)分量完全垂直于傳播方的分量,而磁場(chǎng)只有橫向分量.考慮TE模式的時(shí)諧電磁波在無源、均勻、各向同性的媒質(zhì)中傳導(dǎo),傳播方向沿x軸=iΦμHz,按上述規(guī)定,求得結(jié)果如下:?4利用DeepXDE和DeepONet求解微分方程效率很高,并且可以實(shí)現(xiàn)傳統(tǒng)機(jī)器學(xué)習(xí)通常只關(guān)注單一學(xué)習(xí)任務(wù),而元學(xué)習(xí)(MetaLearning)則不同,它通過利用一系列相關(guān)聯(lián)的學(xué)習(xí)任務(wù)來不斷完善學(xué)習(xí)算法本身,從而讓模型能更加快速高效地適應(yīng)新的算法都致力于尋找一個(gè)具有強(qiáng)大泛化能力的初始模型,使其僅需少量梯度更新便能應(yīng)對(duì)新的學(xué)習(xí)任務(wù).元學(xué)習(xí)的理念也可以應(yīng)用于參數(shù)化偏微分方程的求解,也就是把每個(gè)具有不同PDE參數(shù)的方程都被視為一個(gè)獨(dú)立的學(xué)習(xí)任務(wù).Meta-MgNet[32]是首個(gè)將參數(shù)化偏微分方程求解視為元學(xué)習(xí)問題的方法,它融合了超網(wǎng)絡(luò)和多重網(wǎng)格算法,通過利用任務(wù)間的相似性自適應(yīng)地生成高效的平滑算子,進(jìn)而加速求解過程.然而,這種方法并不適用于無法使用多重網(wǎng)格算法的偏微分方程.最近,有研究者嘗試將Reptile算法與PINN結(jié)合以但實(shí)驗(yàn)結(jié)果顯示,對(duì)于某些具有挑戰(zhàn)性的偏微分方程(如參數(shù)化帶點(diǎn)源的麥克斯韋方程組),方法.該方法采用自動(dòng)解碼器架構(gòu),將偏微分方程的參數(shù)隱式編碼為隱向量,從而使得預(yù)訓(xùn)練模型能夠迅速適應(yīng)新的方程實(shí)例,這一技術(shù)的出現(xiàn)為處理復(fù)雜偏微分方程提供了新的思路和方向.元學(xué)習(xí)是通過一系列訓(xùn)練任務(wù),使得模型獲取一種學(xué)會(huì)學(xué)習(xí)調(diào)參的能力,即通過原有的知識(shí)快速完成對(duì)新任務(wù)的學(xué)習(xí),而機(jī)器學(xué)習(xí)是先人為調(diào)參,之后直接訓(xùn)練特定任務(wù)下深度模型.元學(xué)習(xí)則是先通過其它的任務(wù)訓(xùn)練出一個(gè)較好的參數(shù),然后再對(duì)特定任務(wù)進(jìn)行訓(xùn)練.在機(jī)器學(xué)習(xí)中,數(shù)據(jù)是訓(xùn)練的基礎(chǔ)單位,模型通過數(shù)據(jù)來進(jìn)行優(yōu)化和調(diào)整,這些數(shù)據(jù)通常秀的參數(shù)使模型能夠快速適應(yīng)新任務(wù),而測(cè)試任務(wù)則是利用從訓(xùn)練任務(wù)中學(xué)到的參數(shù)來進(jìn)一步訓(xùn)練特定任務(wù),每個(gè)任務(wù)的數(shù)據(jù)集都包含自己的驗(yàn)證集和測(cè)試集,以確保模型的有效性和泛化能力.d2u=其中LY1和BY2分別是由Y1和Y2參數(shù)化的偏微分算子,是笛卡爾坐標(biāo)系下的坐標(biāo),無限維算子G∶A→U,該算子將任何PDE參數(shù)1映射到其對(duì)應(yīng)的將任意一個(gè)PDE參數(shù)1i對(duì)應(yīng)的方程的求解視作是一個(gè)單獨(dú)的任務(wù).MAD方法的目的是學(xué)到一個(gè)好的預(yù)訓(xùn)練模型,使得該預(yù)訓(xùn)練模型在多個(gè)不同的任務(wù)之間有一定的泛化能力,并且可以使得模型在未見過的任務(wù)上快速學(xué)習(xí).MAD方法包含兩個(gè)階段:預(yù)訓(xùn)練階段和微調(diào)階段.在預(yù)訓(xùn)練階段,MAD方法將每個(gè)任務(wù)隱式編碼為一個(gè)可訓(xùn)練的隱向量zi.不同的任EQ\*jc3\*hps21\o\al(\s\up0(~),x)EQ\*jc3\*hps21\o\al(\s\up0(~),x)EQ\*jc3\*hps15\o\al(\s\up4(*),i)EQ\*jc3\*hps15\o\al(\s\up4(*),i)有的知識(shí).在微調(diào)階段,需要去求解一個(gè)新的PDE參數(shù)對(duì)應(yīng)的新任務(wù),這時(shí)有兩種微調(diào)的策給定任意的PDE參數(shù)1EA,對(duì)于方程(5.1),物理信息損失函數(shù)為:L1EQ\*jc3\*hps15\o\al(\s\up4(2),L)EQ\*jc3\*hps15\o\al(\s\up4(2),L)具體可寫為:EQ\*jc3\*hps21\o\al(\s\up3(人),L)EQ\*jc3\*hps21\o\al(\s\up6(1),M)EQ\*jc3\*hps21\o\al(\s\up0(~),x)EQ\*jc3\*hps15\o\al(\s\up5(r),j)EQ\*jc3\*hps15\o\al(\s\up5(2),2)EQ\*jc3\*hps15\o\al(\s\up7(λb),M)EQ\*jc3\*hps15\o\al(\s\up6(c),b)EQ\*jc3\*hps15\o\al(\s\up5(~bc),xj)EQ\*jc3\*hps15\o\al(\s\up5(2),2)EQ\*jc3\*hps15\o\al(\s\up4(~r),xj)EQ\*jc3\*hps15\o\al(\s\up4(~bc),xj)機(jī)采樣點(diǎn).1.預(yù)訓(xùn)練階段:給定N個(gè)隨機(jī)生成的PDE參數(shù)11,…,1NEA,通過求解以下優(yōu)化問zEQ\*jc3\*hps15\o\al(\s\up5(*),i)EQ\*jc3\*hps21\o\al(\s\up3(人),L)2EQ\*jc3\*hps21\o\al(\s\up6(人),L)2.MAD-L的微調(diào)階段:給定一個(gè)新的PDE參數(shù)1new,MAD-L加載預(yù)訓(xùn)練好的網(wǎng)絡(luò)權(quán)重*并固定不變,通過求解如下的優(yōu)化問題來獲得最優(yōu)的隱向量zEQ\*jc3\*hps15\o\al(\s\up4(*),n)ew.EQ\*jc3\*hps15\o\al(\s\up4(*),n)EQ\*jc3\*hps21\o\al(\s\up2(人),L)2,EQ\*jc3\*hps15\o\al(\s\up4(*),n)ew)即為新的PDE參數(shù)1new對(duì)應(yīng)的方程近似解.3.MAD-LM的微調(diào)階段:給定一個(gè)新的PDE參數(shù)1new,MAD-LM首先加載預(yù)訓(xùn)練好的EQ\*jc3\*hps15\o\al(\s\up4(?),n)EQ\*jc3\*hps15\o\al(\s\up4(?),n)EQ\*jc3\*hps21\o\al(\s\up0(m),z,)EQ\*jc3\*hps21\o\al(\s\up0(in),θ)2?從流形角度解釋MAD方法的有效性1.MAD—L:將偏微分方程的解所在的函數(shù)空間U映射到二維平面上.藍(lán)色實(shí)線表示所有PDE參數(shù)對(duì)應(yīng)的真解所在的流形G(A),而藍(lán)色實(shí)線上的每個(gè)點(diǎn)代表每一個(gè)P每個(gè)點(diǎn)對(duì)應(yīng)一個(gè)隱向量z.給定一個(gè)新的PDE參數(shù)1new,MAD—L方法不是在整個(gè)函數(shù)空間一條曲線),所以微調(diào)的速度將非常快.2.MAD—LM:在某些復(fù)雜情況下,所有PDE參數(shù)而是表示成某個(gè)流形所在的鄰域,這個(gè)鄰域就是圖中淺藍(lán)色表示小窄帶.橙色實(shí)線依舊表示預(yù)訓(xùn)練模型預(yù)測(cè)得到的方程解對(duì)應(yīng)的流形Gθ?(Z),橙色實(shí)線上的每個(gè)點(diǎn)依舊對(duì)應(yīng)一個(gè)隱向橙色實(shí)線之外的地方搜索.橙色實(shí)線上的搜索對(duì)應(yīng)著微調(diào)隱向量z,而在橙色實(shí)線之外的地用于微調(diào).EQ\*jc3\*hps15\o\al(\s\up24(d),d)EQ\*jc3\*hps12\o\al(\s\up22(x),y)EQ\*jc3\*hps15\o\al(\s\up13(e),e)EQ\*jc3\*hps15\o\al(\s\up24(d),er)其中Ex,Ey和Hz為電磁場(chǎng),J(x,y,t)=e?()2δ(x?x0)δ(y?y0)是點(diǎn)源,即在仿真模型中用來產(chǎn)生電磁場(chǎng)的源頭,它的作用是模擬真實(shí)對(duì)比不同方法在微調(diào)時(shí)的收斂速度和精度,結(jié)果表明MAD-L和MAD-LM方法相較于其他方法能夠明顯提升模型在微調(diào)時(shí)的收斂速度.圖5.8,5.9表明兩種方法對(duì)方程求解的精度也達(dá)到了很本文綜述了Maxwell方程組的內(nèi)容和神經(jīng)網(wǎng)絡(luò)求解該方程組及變式方程的想法,包括內(nèi)嵌物理知識(shí)神經(jīng)網(wǎng)絡(luò)PINN[1],深度算子網(wǎng)絡(luò)DeepONet[2],物理約束深度算子網(wǎng)絡(luò)PI-DeepONet[3]和元自動(dòng)解碼器MAD[4].文中針對(duì)PINN模型和深度算子網(wǎng)絡(luò)模型進(jìn)行了1.PINN在求解簡(jiǎn)單微分方程時(shí)已達(dá)到很高的準(zhǔn)確性,不同的激活函數(shù)會(huì)有不一樣的求2.兩種深度算子網(wǎng)絡(luò)對(duì)于參數(shù)改變的一族方程有較快的求解速度和精度,可以實(shí)時(shí)推斷系統(tǒng)對(duì)許多不同邊界或者初始條件的響應(yīng),無需進(jìn)一步訓(xùn)練或可能只需非常簡(jiǎn)單的訓(xùn)練,求解速度與傳統(tǒng)求解器相比加快數(shù)千倍;3.MAD算法基于元學(xué)習(xí)的思想,在求解一族方程時(shí)能夠顯著提高模型的收斂速度.相信本文的工作可以為后續(xù)的相關(guān)研究提供很好的研究背景和文獻(xiàn)支持.連續(xù)函數(shù)空間記為C(X).?f∈C(X),?ε>0,?n∈N,aij,bi,wi,i∈{1...n},j∈{1...m},則有函數(shù)f(·)的近似Anf,其中n表示隱藏層神經(jīng)元的個(gè)數(shù):(Anf)(x1,…,xm)=wiΦ(aijxj+bi)st.||f?Anf||<ε,(A.1)通用逼近定理的說明主要參考[34],在這里考慮簡(jiǎn)單線性函數(shù)的逼近,對(duì)于簡(jiǎn)單線性函數(shù)f(x):????????x>4x>6x>8稍作變形為:1梯中心位置恰好在y軸.w+B,w決定疊加函數(shù)的值域的拉伸,B決定疊加函數(shù)圖像的移動(dòng),即值域的上下平移,因此w和B可以決定疊加函數(shù)整體的值域變化.整理一下上面的疊加函數(shù),將其寫為:w1+exp[?(wx+b)]+B,123因此f(x)便可以通過上面三者的加和來得到擬合值,而上面的表達(dá)式可以用一個(gè)單層的偏置,權(quán)重和偏置的具體表達(dá)式取值為:EQ\*jc3\*hps15\o\al(\s\up4(1),1)EQ\*jc3\*hps15\o\al(\s\up4(1),2)EQ\*jc3\*hps15\o\al(\s\up4(1),3)EQ\*jc3\*hps15\o\al(\s\up4(1),1)EQ\*jc3\*hps15\o\al(\s\up4(1),2)EQ\*jc3\*hps15\o\al(\s\up4(1),3)EQ\*jc3\*hps15\o\al(\s\up4(2),1)EQ\*jc3\*hps15\o\al(\s\up4(2),2)EQ\*jc3\*hps15\o\al(\s\up4(2),3)EQ\*jc3\*hps15\o\al(\s\up4(2),1)EQ\*jc3\*hps15\o\al(\s\up4(2),2)EQ\*jc3\*hps15\o\al(\s\up4(2),3)任意連續(xù)函數(shù),均可以寫成n個(gè)階梯函數(shù)的加和,此時(shí)單即一個(gè)含有單獨(dú)隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),給定充分的神經(jīng)元,那么這個(gè)神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近任意連續(xù)函數(shù).證明,將其中的一些字母進(jìn)行替換.引理B.1(通用逼近定理?).設(shè)K是Rn中的緊集,U是C(K)中的緊集,g是一個(gè)連續(xù)的非多EQ\*jc3\*hps15\o\al(\s\up4(k),i)i=1,?,N,N取決于f(N為隱藏層神經(jīng)元的個(gè)數(shù),f∈C(K)),使得:證明.該引理已在附錄A中雖未嚴(yán)格推導(dǎo),射f都可擴(kuò)張到X上,即總存在g∶X→R是連續(xù)映射,且g|C=f.于閉集的極限點(diǎn)含在自身中,故x∈A.對(duì)于X中的兩個(gè)不交閉集A,B,存在一個(gè)連續(xù)函數(shù)如:對(duì)于連續(xù)函數(shù)f,若f有界,設(shè)f的界為M,令A(yù)1=f?1((?∞,?]),B1=f?1([,+∞)),則≤M,|f?g1?g2(x)|≤M,|f?gi(x)|≤EQ\*jc3\*hps15\o\al(\s\up7(2n),3n)M,EQ\*jc3\*hps12\o\al(\s\up8(n?),3n)x∈C上f?=0,且在X上連續(xù),有界情況成立.=1gEQ\*jc3\*hps15\o\al(\s\up4(′),i)中總有g(shù)EQ\*jc3\*hps15\o\al(\s\up4(′),i)(x)<2EQ\*jc3\*hps12\o\al(\s\up8(n?),3n)1,故有:=gi(x)<=1,引理B.3.設(shè)X是Banach空間,K是X中的緊集,V是C(K)中的緊集,可以找到一個(gè)序EQ\*jc3\*hps15\o\al(\s\up1(?),EQ\*jc3\*hps15\o\al(\s\up4(?),1k)EQ\*jc3\*hps15\o\al(\s\up5(n),j)EQ\*jc3\*hps12\o\al(\s\up3(k),1EQ\*jc3\*hps15\o\al(\s\up5(n),j)EQ\*jc3\*hps12\o\al(\s\up3(k),1)EQ\*jc3\*hps15\o\al(\s\up3(?),1k)V,定義函數(shù):令V1k={u1k∶u∈V},V?1V1k)則:C(K)<δk,③V?是C(K)中的緊集.k,V中的序列,使得:k=∑kk,EQ\*jc3\*hps15\o\al(\s\up4(i),n)k0,EQ\*jc3\*hps15\o\al(\s\up5(i),n)滿足:引理B.4.設(shè)X是Banach空間,K是X中的緊集,V是C(K)中的緊集,g是一個(gè)連續(xù)的非多項(xiàng)式函數(shù)(神經(jīng)網(wǎng)絡(luò)的任意激活函數(shù)),f是一個(gè)定義在V上的連續(xù)函數(shù),任意的e>0,存在=1,?,N,j=1,?,m,使得:f?kk,<,和B.7比較得出:X是Banac?空間,K1?X,K2?Rn分別是X,Rn中的兩個(gè)緊集,V是C(K1)中的緊集,非線性連續(xù)算子G將V映射到C(K2)上,任意的e>0,存在正整數(shù)M,N,EQ\*jc3\*hps15\o\al(\s\up4(k),i)EQ\*jc3\*hps15\o\al(\s\up4(k),i)k∈Rn,xj∈K1,i=1,?,M,k=1,?,N,j=1,?,m,使得:EQ\*jc3\*hps15\o\al(\s\up6(k),i)EQ\*jc3\*hps15\o\al(\s\up6(k),ij)EQ\*jc3\*hps15\o\al(\s\up6(k),i)kk)<e,對(duì)所有的u∈V,y∈K2均成立,其中C(K)是定義在K上的所有連續(xù)函數(shù)的Banac?空間,范數(shù)為||f|C(K)=maxx∈K|f(x)|.該定理說明一個(gè)含有單個(gè)隱藏層的神經(jīng)證明.通過假設(shè)可知,G是一個(gè)連續(xù)算子,將C(K1)中的緊集V映射到C(K2),可以直觀證Rn,k=1,2,?,N,G是一個(gè)連續(xù)算子,可以得到對(duì)于每一個(gè)V滿足:kEQ\*jc3\*hps15\o\al(\s\up4(k),i)EQ\*jc3\*hps15\o\al(\s\up4(k),ij)EQ\*jc3\*hps15\o\al(\s\up4(k)