“新工科建設(shè)之路·計(jì)算機(jī)類專業(yè)系列教材混合架構(gòu)超算并行程序設(shè)計(jì)與應(yīng)用異構(gòu)混合架構(gòu)上并行應(yīng)用程序開(kāi)發(fā)示例第九章01MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化分子動(dòng)力學(xué)模擬是指依靠牛頓力學(xué)來(lái)模擬系統(tǒng)中分子之間運(yùn)動(dòng)的方法，由系統(tǒng)中的微觀樣本經(jīng)過(guò)積分等計(jì)算體現(xiàn)為宏觀上的空間位置信息、熱力學(xué)量等性質(zhì)。本章的分子動(dòng)力學(xué)模擬軟件MISA-MD可用于模擬材料在輻照下，受到高能粒子撞擊，發(fā)生級(jí)聯(lián)碰撞，造成離位損傷，進(jìn)而產(chǎn)生大量缺陷并不斷演化的過(guò)程。由于計(jì)算高能粒子撞擊對(duì)應(yīng)的模擬體系往往較大，計(jì)算復(fù)雜度較高，因此對(duì)計(jì)算性能要求較高，需要開(kāi)展面向異構(gòu)的優(yōu)化。分子動(dòng)力學(xué)模擬概述MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化對(duì)分子動(dòng)力學(xué)算法設(shè)計(jì)而言，在DCU/GPU硬件上進(jìn)行的勢(shì)函數(shù)異構(gòu)加速的計(jì)算也遵循該模式，即分四個(gè)步驟:粒子數(shù)據(jù)從主機(jī)內(nèi)存復(fù)制到設(shè)備內(nèi)存:啟動(dòng)一個(gè)核函數(shù)(或算子)進(jìn)行勢(shì)函數(shù)計(jì)算，計(jì)算結(jié)束后，數(shù)據(jù)從設(shè)備端復(fù)制回主機(jī)端:進(jìn)行后續(xù)的CPU端的計(jì)算和MPI通信。在DCU和GPU平臺(tái)上進(jìn)行勢(shì)函數(shù)計(jì)算的挑戰(zhàn)性問(wèn)題是，主機(jī)端與設(shè)備端來(lái)回的數(shù)據(jù)傳輸，可能會(huì)影響程序性能，必須設(shè)計(jì)高效的數(shù)據(jù)傳輸模式及其優(yōu)化方法;面向DCU上的算子計(jì)算，需要研究高效的計(jì)算策略，進(jìn)行訪存模式的研究與計(jì)算優(yōu)化的研究，最終充分利用設(shè)備的高訪存帶寬和計(jì)算能力。面向DCU的MD優(yōu)化的挑戰(zhàn)性及優(yōu)化思路MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化主機(jī)-設(shè)備間通信及其優(yōu)化1.雙緩沖優(yōu)化雙緩沖區(qū)是一種常用于異構(gòu)架構(gòu)上的用于重疊計(jì)算和數(shù)據(jù)復(fù)制的優(yōu)化方法。得益于MISA-MD的粒子存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)，其采用連續(xù)的內(nèi)存布局來(lái)進(jìn)行粒子信息的存儲(chǔ)，因此可以將粒子數(shù)組劃分為n個(gè)數(shù)據(jù)塊(一個(gè)數(shù)據(jù)塊稱為“batch”或者“批次”)，之后每個(gè)數(shù)據(jù)塊上對(duì)應(yīng)的數(shù)據(jù)復(fù)制與計(jì)算任務(wù)可以分開(kāi)處理?？梢栽谟?jì)算數(shù)據(jù)塊的同時(shí)，將數(shù)據(jù)塊i-1從設(shè)備端傳輸?shù)街鳈C(jī)端，并同時(shí)將數(shù)據(jù)塊計(jì)i+1從主機(jī)端傳輸?shù)皆O(shè)備端，從而實(shí)現(xiàn)計(jì)算與數(shù)據(jù)復(fù)制任務(wù)的重疊。MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化主機(jī)-設(shè)備間通信及其優(yōu)化2.pinnedmemory主機(jī)端的數(shù)據(jù)分配默認(rèn)是可分頁(yè)的，這可能會(huì)導(dǎo)致額外的數(shù)據(jù)復(fù)制(先將可分頁(yè)的內(nèi)存復(fù)制到一個(gè)臨時(shí)頁(yè)鎖定內(nèi)存，再傳輸?shù)皆O(shè)備內(nèi)存)。CUDA和ROCm都提供了頁(yè)鎖定內(nèi)存(pinnedmemory或者lockmemory)下的快速數(shù)據(jù)傳輸模式。因此，通過(guò)申請(qǐng)pinnedmemory，可以直接將粒子數(shù)據(jù)放到pinnedmemory中，計(jì)算時(shí)可直接將其從頁(yè)鎖定內(nèi)存復(fù)制到設(shè)備內(nèi)存中，從而省去從可分頁(yè)內(nèi)存到臨時(shí)的頁(yè)鎖定內(nèi)存間額外復(fù)制的開(kāi)銷。MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化主機(jī)-設(shè)備間通信及其優(yōu)化3.SoA(StructofArray)數(shù)據(jù)排布在之前的CPU版本的分子動(dòng)力學(xué)的計(jì)算中，粒子是以AoS(ArrayofStruct)格式進(jìn)行組織的(如圖9-2所示)，主要是為了便于編程與擴(kuò)展。但是，這種數(shù)據(jù)排布方式在GPU或者異構(gòu)平臺(tái)上，可能會(huì)帶來(lái)額外的數(shù)據(jù)復(fù)制開(kāi)銷。MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化4.通信優(yōu)化效果圖9-4展示了通信優(yōu)化方法的測(cè)試結(jié)果。與基準(zhǔn)的DCU版本相比，獨(dú)立的pinned內(nèi)存優(yōu)化可以實(shí)現(xiàn)大約67%的通信性能提升。如果再加上SOA數(shù)據(jù)結(jié)構(gòu)改進(jìn)的優(yōu)化，與基準(zhǔn)的DCU版本相比，還可以繼續(xù)獲得253%到268%的通信性能提升，以及降低超過(guò)83%的數(shù)據(jù)復(fù)制開(kāi)銷。主機(jī)-設(shè)備間通信及其優(yōu)化MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化如圖9-5所示，當(dāng)采用更多的批次時(shí)，更多的通信開(kāi)銷可以被粒子受力的計(jì)算所隱藏，因此可以獲得更多的性能提升。主機(jī)-設(shè)備間通信及其優(yōu)化MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化并行計(jì)算策略數(shù)據(jù)復(fù)制部分優(yōu)化后，可以考慮核心計(jì)算部分的優(yōu)化。為此，我們?cè)O(shè)計(jì)了三種并行計(jì)算策略:一個(gè)線程計(jì)算一個(gè)粒子受力的策略(thread-atom)、一個(gè)wavefront計(jì)算一個(gè)粒子受力的策略(wavefront-atom或wf-atom)，以及一個(gè)Block計(jì)算一個(gè)粒子受力的策略(block-atom)。thread-atom不僅考慮了線程訪問(wèn)中心粒子的訪存合并，還考慮了鄰居粒子的訪存合并。而另兩種計(jì)算策略僅僅考慮了鄰居粒子的訪存合并效果，而且可能會(huì)存在分支分歧。綜合分析，thread-atom策略的訪存性能會(huì)更好。MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化其他訪存優(yōu)化技術(shù)除了以上的不同計(jì)算策略對(duì)核心計(jì)算方程的性能影響，我們針對(duì)thread-atom計(jì)算策略進(jìn)行了進(jìn)一步的性能優(yōu)化。主要考慮三點(diǎn):一是采用SOA數(shù)據(jù)結(jié)構(gòu)帶來(lái)的收益，減少了不必要的數(shù)據(jù)load和store開(kāi)銷;二是將訪問(wèn)鄰居粒子的偏移索引進(jìn)行排序，實(shí)現(xiàn)臨近的鄰居粒子能夠馬上被訪問(wèn)，從而提高cache的數(shù)據(jù)重用能力;三是采用LDS來(lái)存儲(chǔ)偏移索引，這樣就不用每次都從設(shè)備內(nèi)存中加載，而是直接從LDS中讀取，提高了偏移索引的訪問(wèn)效率。MISA-MD分子動(dòng)力學(xué)模擬程序異構(gòu)優(yōu)化其他訪存優(yōu)化技術(shù)實(shí)際上，很多程序的優(yōu)化都是關(guān)于訪存優(yōu)化的。在DCU上，需要重點(diǎn)設(shè)計(jì)好計(jì)算策略和數(shù)據(jù)結(jié)構(gòu)，充分利用硬件的訪存合并特性和cache的數(shù)據(jù)重用能力。此外,還可以通過(guò)LDS進(jìn)行常用數(shù)據(jù)的緩存，避免過(guò)多的直接訪存操作。同時(shí)，主機(jī)端和設(shè)備端之間的數(shù)據(jù)傳輸也可能是程序的性能瓶頸，可以考慮采用pinnedmemory、雙緩沖等機(jī)制同時(shí)充分考慮好數(shù)據(jù)組織方式，做到盡量減少數(shù)據(jù)傳輸量和數(shù)據(jù)傳輸次數(shù)。02SUMMER-CDSUMMER-CD軟件介紹對(duì)裂變氣體的微觀演化行為進(jìn)行精細(xì)化模擬能夠幫助我們了解及預(yù)測(cè)核燃料工況條件下的輻照性能。團(tuán)簇動(dòng)力學(xué)方法是近年來(lái)在核燃料研究領(lǐng)域快速發(fā)展的數(shù)值模擬方法，能夠有效地進(jìn)行裂變氣體在核燃料內(nèi)的動(dòng)力學(xué)行為模擬，但因其計(jì)算量的需求十分龐大，限制了其應(yīng)用的場(chǎng)景及模擬尺度。SUMMER-CD基于空間團(tuán)族動(dòng)力學(xué)模型，結(jié)合多種優(yōu)化方法，在曙光超算異構(gòu)體系架構(gòu)上進(jìn)行了加速團(tuán)簇動(dòng)力學(xué)算法的設(shè)計(jì)。SUMMER-CD物理模型團(tuán)簇動(dòng)力學(xué)是基于平均場(chǎng)速率理論發(fā)展而來(lái)的數(shù)值模擬方法，通過(guò)建立不同尺寸團(tuán)簇濃度的速率方程，來(lái)計(jì)算團(tuán)簇的尺寸分布及隨時(shí)間的演化過(guò)程。由于其對(duì)不同尺寸團(tuán)簇的動(dòng)力學(xué)行為能夠進(jìn)行良好的描述，因此是描述裂變氣體氣泡(氣體原子團(tuán)族)演化的有效模型，目前已應(yīng)用于裂變氣體擴(kuò)散、氣泡成核、高燃耗結(jié)構(gòu)下的裂變氣體釋放等方面的研究。團(tuán)簇動(dòng)力學(xué)使用一個(gè)主方程對(duì)缺陷團(tuán)簇濃度隨時(shí)間的變化進(jìn)行描述，方程各項(xiàng)表示團(tuán)簇在反應(yīng)中的各種過(guò)程，最終轉(zhuǎn)化為對(duì)一組剛性微分方程組的求解。SUMMER-CD三層并行模型基于空間依賴的團(tuán)簇動(dòng)力學(xué)模型是以網(wǎng)格為單元，將空間區(qū)域分割開(kāi)來(lái)，并在每個(gè)網(wǎng)格內(nèi)對(duì)不同尺寸的氣體團(tuán)簇隨時(shí)間的濃度及數(shù)密度變化進(jìn)行求解的。本節(jié)基于全尺寸空間依賴的團(tuán)簇動(dòng)力學(xué)模型，結(jié)合曙光超算CPU-DCU異構(gòu)架構(gòu)特點(diǎn)，設(shè)計(jì)了團(tuán)簇動(dòng)力學(xué)計(jì)算模擬的三層并行模型(three-hierarchyparallelmodel)。SUMMER-CD自適應(yīng)異構(gòu)數(shù)據(jù)傳輸在目前設(shè)計(jì)的核燃料裂變氣體團(tuán)簇動(dòng)力學(xué)求解算法中，DCU負(fù)責(zé)團(tuán)族濃度初值計(jì)算方程組系數(shù)計(jì)算等，CPU端負(fù)責(zé)偏微分方程組的求解及與鄰居進(jìn)程的通信，因此在每個(gè)時(shí)間步，CPU與DCU之間需要進(jìn)行數(shù)據(jù)交換，來(lái)更新各自的數(shù)據(jù)。頻繁的CPU與DCU之間的數(shù)據(jù)交換對(duì)計(jì)算效率是一個(gè)很大的影響，本書(shū)基于核燃料裂變氣體模擬的特點(diǎn)，設(shè)計(jì)了自適應(yīng)異構(gòu)數(shù)據(jù)傳輸(adaptiveCPU-DCUdatatransfer)方法。SUMMER-CD基于Stream的計(jì)算通信重疊CPU與DCU之間的數(shù)據(jù)傳輸是在DCU上進(jìn)行核燃料裂變氣體CD計(jì)算帶來(lái)的額外開(kāi)銷，嚴(yán)重影響計(jì)算效率。為了進(jìn)一步優(yōu)化數(shù)據(jù)交互部分，本節(jié)將CPU與DCU之間的數(shù)據(jù)傳輸和CPU的計(jì)算任務(wù)進(jìn)行重疊，來(lái)掩蓋部分CPU與DCU之間的通信時(shí)間，以提高計(jì)算效率。將DCU計(jì)算后的結(jié)果向CPU傳輸?shù)牟糠峙cCPU進(jìn)行方程矩陣填裝的計(jì)算任務(wù)進(jìn)行拆分，形成“流”的作業(yè)方式，有效地掩蓋部分CPU-DCU通信時(shí)間。03有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化圣維南方程組是一個(gè)用于精確刻畫(huà)洪水在河道中演化的方程組，在水文模擬領(lǐng)域常用于計(jì)算河道洪水演化過(guò)程。使用圣維南方程組進(jìn)行河道匯流模擬，可以有效提高模擬程序?qū)α饔蛩翟跁r(shí)間和空間尺度上的描述與模擬能力，同時(shí)能夠提高模擬結(jié)果的精度，對(duì)模擬精度要求較高的場(chǎng)景有著重要的應(yīng)用價(jià)值。使用有限體積法求解偏微分方程組，需要將計(jì)算區(qū)域進(jìn)行網(wǎng)格劃分，每個(gè)網(wǎng)格周圍有一個(gè)互不重疊的控制體，將待求的控制方程在每一個(gè)控制體上積分，繼而可以得到一組在控制體上滿足守恒規(guī)律的離散方程物理模型簡(jiǎn)介有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化Athread線程庫(kù)是針對(duì)SW26010處理器的主從加速編程模型所設(shè)計(jì)的加速庫(kù)，相比OpenACC而言編程難度更大，但可以靈活、快捷地對(duì)核組內(nèi)的從核進(jìn)行控制和調(diào)度，提供更加細(xì)粒度的并行性，能夠充分發(fā)揮從核陣列的加速性能，從而深入挖掘程序的優(yōu)化潛力。主核加速線程庫(kù)提供了用于控制線程組初始化、創(chuàng)建、分配任務(wù)和終止環(huán)境等供主核程序使用的操作接口，而從核加速線程庫(kù)則提供了用于從核線程標(biāo)識(shí)、核組內(nèi)同步和DMA讀寫(xiě)等供從核程序使用的操作接口。使用Athread線程庫(kù)加速有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化在主程序中，首先要聲明從核函數(shù)的接口，并調(diào)用athread_init()函數(shù)來(lái)完成加速線程的初始化。當(dāng)主程序運(yùn)行到需要加速的代碼段時(shí)，調(diào)用athread_spawn(slave_fun,(void*)param)方法，創(chuàng)建從核線程組，將從核函數(shù)加載到從核上執(zhí)行。之后從核完成局存內(nèi)部本地變量的定義、綁定線程號(hào)、從主存讀取數(shù)據(jù)、執(zhí)行從核函數(shù)中的計(jì)算任務(wù)，然后將結(jié)果回傳給主核所在的主程序。使用Athread線程庫(kù)加速有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化使用Athread線程庫(kù)加速有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化使用Athread線程庫(kù)加速對(duì)兩個(gè)從核函數(shù)func_Fplus_hu()和func_Fminus_hu的編寫(xiě)，實(shí)現(xiàn)的大致步驟可以表示如下。定義LDM中的本地變量。獲得從核ID和要計(jì)算的單元數(shù)n。根據(jù)單元數(shù)n在LDM中開(kāi)辟存儲(chǔ)空間。將要計(jì)算的數(shù)據(jù)通過(guò)DMA方式從主存讀入LDM中。有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化使用Athread線程庫(kù)加速判斷所有數(shù)據(jù)是否都已成功讀入LDM中。完成核心段的計(jì)算。將計(jì)算結(jié)果通過(guò)DMA方式從LDM傳回主存中。判斷所有結(jié)果是否都已成功傳回主存。釋放在LDM中開(kāi)辟的存儲(chǔ)空間。有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化示例:stencil計(jì)算優(yōu)化等到核組內(nèi)所有從核都計(jì)算完畢后，在主核中調(diào)用athread_join()函數(shù)來(lái)回收結(jié)果，然后主核繼續(xù)運(yùn)行其他代碼段。最后，當(dāng)不再需要使用從核進(jìn)行加速時(shí)，調(diào)用athread_halt()函數(shù)終止從核環(huán)境。對(duì)串行圣維南方程組求解程序的加速，先進(jìn)行計(jì)算熱點(diǎn)分析，得到計(jì)算熱點(diǎn)函數(shù)在于FPlus函數(shù)和FMinus函數(shù)。在實(shí)現(xiàn)中，采用的是主從動(dòng)態(tài)并行設(shè)計(jì)模式，即主核負(fù)責(zé)給各個(gè)從核分配各自的計(jì)算任務(wù)，完成加載操作，并等待接收計(jì)算結(jié)果，從核陣列負(fù)責(zé)完成對(duì)核心段的加速計(jì)算。有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化SIMD神威·太湖之光的SW26010處理器支持SIMD擴(kuò)展，主核和從核支持的SIMD向量寬度均為256位。在圣維南方程組求解程序中，計(jì)算變量都是單精度浮點(diǎn)數(shù)，根據(jù)官方提供的編譯系統(tǒng)用戶手冊(cè)，可以使用數(shù)據(jù)類型為floatv4的向量，把現(xiàn)有的計(jì)算改寫(xiě)為64*4的向量運(yùn)算，即一次向量操作處理4個(gè)單精度浮點(diǎn)運(yùn)算。有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化雙緩沖機(jī)制多緩沖技術(shù)常用于消除圖像在屏幕上的閃爍問(wèn)題、網(wǎng)絡(luò)傳輸中對(duì)數(shù)據(jù)的接收丟失問(wèn)題和計(jì)算機(jī)的多級(jí)緩存機(jī)制等方面。為了解決這個(gè)問(wèn)題，一般會(huì)在內(nèi)存中設(shè)置多個(gè)圖像緩沖區(qū)，當(dāng)前顯示的一幀畫(huà)面存儲(chǔ)在一個(gè)緩沖區(qū)中，而在顯示這一幀的過(guò)程中，同時(shí)將下一圖像提前加載到另一個(gè)緩沖區(qū)中，這樣下一幀繪制的時(shí)間會(huì)大大降低，加快了圖像的顯示過(guò)程。同樣，雙緩沖機(jī)制也可以用到從核函數(shù)計(jì)算的加速上，雙緩沖思想的本質(zhì)是預(yù)取下一次要處理的數(shù)據(jù)。有限體積法求解圣維南方程組在神威·太湖之光上的優(yōu)化優(yōu)化效果對(duì)基于Athread線程庫(kù)使用從核陣列加速后的圣維南方程組求解程序進(jìn)行測(cè)試，串行程序和加速后的程序都使用sw5cc編譯器進(jìn)行編譯。對(duì)用Athread線程庫(kù)加速后的程序進(jìn)行可擴(kuò)展性測(cè)試,測(cè)試規(guī)模為:32000個(gè)控制單元模擬水文時(shí)間為60秒;提交作業(yè)