并行程序設(shè)計任課教師：主要內(nèi)容

并行計算介紹

Linux

操作系統(tǒng)與編程環(huán)境

并行編程環(huán)境－－MPI/OpenMP(重點)并行程序性能評價與優(yōu)化

C

編程介紹

并行算法設(shè)計（數(shù)值計算）（重點）1.

什么是并行計算?傳統(tǒng)上，一般的軟件設(shè)計都是串行式計算：

軟件在一臺只有一個CPU的電腦上運(yùn)行；問題被分解成離散的指令序列；指令被一條接一條的執(zhí)行；在任何時間CPU上最多只有一條指令在運(yùn)行在最簡單的情形下，并行計算是使用多個計算資源去解決可計算問題。

用多核CPU來運(yùn)行；問題被分解成離散的部分可以被同時解決；每一部分被細(xì)分成一系列指令；每一部分的指令可以在不同的CPU上同時的執(zhí)行；計算資源可以包括：多核CPU；任意數(shù)量的CPU用網(wǎng)絡(luò)連接起來；或者以上兩者結(jié)合；可并行計算問題通常展示出如下的特性：能分解成可以同時解決的離散的工作塊；同一時刻可以執(zhí)行多條程序指令；通常用多個計算資源解決問題所花的時間要比單個計算資源要短；并行計算的用途在歷史上，并行計算被認(rèn)為是高端計算，并用于為復(fù)雜的科學(xué)計算和基于真實世界的工程問題建模。大氣層、地球、環(huán)境物理學(xué)應(yīng)用、核能、原子能、凝聚態(tài)、高壓、溶解、光電子；生物科學(xué)、生物工程、基因?qū)W化學(xué)、分子科學(xué)地理和地震學(xué)機(jī)械工程、從彌補(bǔ)術(shù)到空間飛行器電氣工程、電路設(shè)計、微電子學(xué)計算機(jī)科學(xué)、數(shù)學(xué)

今天，商務(wù)應(yīng)用是推動快速計算機(jī)發(fā)展的更大的推動力。這些應(yīng)用需要用復(fù)雜的方法處理大量數(shù)據(jù)。例如：數(shù)據(jù)庫、數(shù)據(jù)挖掘BigData石油勘探

網(wǎng)絡(luò)搜索引擎、基于網(wǎng)絡(luò)的商務(wù)服務(wù)醫(yī)學(xué)成像和診斷制藥設(shè)計國有企業(yè)或跨國企業(yè)的管理金融經(jīng)濟(jì)建模虛擬現(xiàn)實

（娛樂，游戲主機(jī)等）網(wǎng)絡(luò)視頻和多媒體技術(shù)協(xié)同工作環(huán)境創(chuàng)：戰(zhàn)紀(jì)簡介20世紀(jì)80年代，電子軟體天才凱文·弗林創(chuàng)建了英康公司，將人類帶入一個全新的時代。可是在輝煌的時代開創(chuàng)不久后，凱文神秘失蹤。在此之后，凱文年幼的兒子薩姆繼承了父親的位置，實際工作則由其他工作人員主持。薩姆天資聰穎，充滿冒險精神，經(jīng)常給英康的高層們?nèi)莵砺闊?。這一天，他得知一間荒廢已久的工作室內(nèi)竟傳來父親的訊息。薩姆前去探查，結(jié)果竟進(jìn)入一個全數(shù)字化的虛擬世界。這個世界的掌控者克魯與父親有著同樣的容貌，卻野心勃勃，邪惡無比。薩姆被迫卷入一場充滿陰謀的電子爭霸戰(zhàn)中……渲染與超級計算機(jī)1985年，工業(yè)光魔又在《年輕的福爾摩斯》中創(chuàng)造了史上第一個計算機(jī)動畫渲染角色：彩色玻璃騎士。雖然影片中計算機(jī)生成的鏡頭只有短短30秒時間，以當(dāng)時的計算機(jī)技術(shù)卻花費(fèi)了6個月時間來完成?！栋⒎策_(dá)》推動超級計算機(jī)的電影制作

電影《阿凡達(dá)》經(jīng)過14年的醞釀，耗資5億美元（約合人民幣27.2億元），提供2D、3D和IMAX-3D三種制式供觀眾選擇，可以說這是一部電影史上的豐碑。Weta

Digital公司負(fù)責(zé)該部影片視覺特效的公司，在為《阿凡達(dá)》制作炫目三維效果時也必須打破自己的一些紀(jì)錄。據(jù)資料顯示，2006年Weta

Digital開始著手《阿凡達(dá)》方面的工作時，公司的

“渲染墻”大約包含

4,400個CPU核心，存儲系統(tǒng)大約有100TB。到《阿凡達(dá)》制作結(jié)束時，公司的渲染墻中大約有35,000個CPU核心，存儲系統(tǒng)也達(dá)到3000TB。整個《阿凡達(dá)》渲染任務(wù)之繁重，逼迫Weta

Digital公司計算能力增長了10倍，最終按時完成客戶要求。Weta

Digital

公司采用了超級計算機(jī)集群平臺作為其解決方案，操作系統(tǒng)是我們熟知的Linux，在TOP

500超級計算機(jī)中排名也從最初的400多上升到了190多名?！栋⒎策_(dá)》所使用的超級計算機(jī)總內(nèi)存有

104TB，內(nèi)聯(lián)采用的是萬兆以太網(wǎng)。整個超級計算機(jī)的每一個節(jié)點型號是BL2x220c，它在一個刀片內(nèi)放兩臺服務(wù)器，每服務(wù)器有兩個4核CPU，節(jié)點CPU核心選擇Intel服務(wù)器專用Xeon處理器。這套超級計算機(jī)渲染環(huán)境在2008年擁有4096個CPU內(nèi)核，到2009年增加到5936個CPU內(nèi)核，龐大的超級計算機(jī)集群已經(jīng)成為除了導(dǎo)演和演員之外全片最大的貢獻(xiàn)者。它們用自己穩(wěn)定的工作，根據(jù)動畫制作師劃定的標(biāo)準(zhǔn)，渲染《阿凡達(dá)》每一幀靜態(tài)圖片，最終拼接成全片。整部電影大約3

PB的數(shù)據(jù)存放在BlueArc機(jī)構(gòu)和NetApp機(jī)構(gòu)的存儲器上，數(shù)據(jù)傳輸通過光纖通道完成。電影完成時一幀的數(shù)據(jù)是12MB，一秒鐘24幀，每分鐘的數(shù)據(jù)就有

17.28

GB，整部《阿凡達(dá)》電影產(chǎn)生的數(shù)據(jù)據(jù)說在3PB左右，需要3000塊個人電腦的1TB容量硬盤才能完成對數(shù)據(jù)的存儲阿凡達(dá)高清圖片

2.

為什么使用并行計算?

1)

節(jié)省時間和成本

理論上，使用更多的資源會使一個任務(wù)提前完成，而且會節(jié)約潛在的成本。況且可以使用便宜的、甚至市面將要淘汰的CPU來構(gòu)建并行聚簇或者成本更低的GPU（顯卡）來實現(xiàn)很多問題是相當(dāng)龐大而復(fù)雜的，尤其是當(dāng)計算機(jī)的內(nèi)存受到限制的時候，用單個計算機(jī)來解決是不切實際或者根本不可能的。例如：a.

"GrandChallenge"(/wiki/Grand_Challenge)

問題需要Peta級浮點運(yùn)算能力和存儲空間的計算資源。b.網(wǎng)絡(luò)搜索引擎和網(wǎng)絡(luò)數(shù)據(jù)庫每秒鐘要執(zhí)行上百萬次的處理。2)解決更大規(guī)模的問題

單一的計算資源在同一時刻只能做一件事情。多個計算資源能夠同時做很多事情。例如：

AccessGrid(/)提供一個全球的合作網(wǎng)絡(luò)，在這里來自世界上不同國家的人們可以開會并“現(xiàn)場”指導(dǎo)工作。3)支持并行4)使用非本地資源

/wiki/%E9%A6%96%E9%A1%B5當(dāng)缺少本地計算資源的時候可以使用廣泛的網(wǎng)絡(luò)或Internet計算資源。例如：a.

SETI@home()

使用超過330000個計算機(jī)來執(zhí)行每秒超過528T次浮點運(yùn)算；(August04,2008)b.

Folding@home()使用超過340,000

計算機(jī)來執(zhí)行每秒4.2P次浮點運(yùn)算

(November4,2008)云計算5)

串行計算的限制

在理論上和實際上，想要輕易地制造更快的串行計算機(jī)存在著巨大的限制。a.

傳輸速度——線性計算機(jī)的執(zhí)行速度直接取決于數(shù)據(jù)在硬件中傳輸?shù)乃俣?。光速的絕對限制是每納秒30cm，銅導(dǎo)線是每納秒9cm。不斷提升的執(zhí)行速度更加靠近極限。b.

微型化的極限——處理器技術(shù)使芯片集成了更多的晶體管。但是，即使使用分子或者原子級別的組件也會很快達(dá)到芯片集成晶體管的極限。c.

經(jīng)濟(jì)上的限制——讓單個芯片變得更快需要增加昂貴的投入。用多個一般的芯片來取代單個高性能的芯片或許性能會更好而且更便宜現(xiàn)在的計算機(jī)體系結(jié)構(gòu)越來越依賴于硬件層次的并行來提高性能：a

多個執(zhí)行單元b

多核3.

高性能計算機(jī)基本知識FLOPS是floating-pointoperationspersecond每秒所執(zhí)行的浮點運(yùn)算次數(shù)的英文縮寫。它是衡量一個電腦計算能力的標(biāo)準(zhǔn)。最后面的S是秒的意思，最前面的p是個常量，1P=1024T1T=1024G1G=1024M1M=1024K這里的PFLOPS就是每秒運(yùn)算能力為一千萬億次。1PFLOPS等于1千萬億次浮點指令/秒。一個MFLOPS(megaFLOPS)等于每秒1百萬(=10^6)次的浮點運(yùn)算，一個GFLOPS(gigaFLOPS)等于每秒10億(=10^9)次的浮點運(yùn)算一個

TFLOPS

(teraFLOPS)等于每秒1萬億(=10^12)次的浮點運(yùn)算一個PFLOPS(petaFLOPS)等于每秒1千萬億(=10^15)次的浮點運(yùn)算。GFLOPS：微處理器運(yùn)算峰值IntelXeon3.6GHz:<1.8GFLOPSIntelPentium4HT3.6Ghz:7GFLOPSIntelCore2DuoE430014GFLOPSIntelCore2DuoE840024GFLOPSAMDPhenom9950:29.05GFLOPSIntelCore2QuadQ820037GFLOPSIntelCore2QX9770:39.63GFLOPSAMDPhenomIIx4955:42.13GFlopSIntelCorei7-965:69.23GFLOPSIntelCorei7-980XE

:107.6GFLOPSIntelCorei5-2500K@4.5GHz:123.35GFLOPS(w/AVXinstructionset)IBMPOWER7:264.96GFLOPSnVIDIAGeforce8800Ultra（G80-450GPU）:393.6GFLOPSnVIDIAGeforceGTX280（G200-300GPU）:720GFLOPSAMDRadeonHD3870（RV670GPU）:497GFLOPSAMDRadeonHD4870（RV770GPU）:1008GFlopsTFLOPS：顯卡或者早期并行機(jī)nVIDIAGeforceGTX580（GF110-375GPU）:2.37TFLOPSAMDRadeonHD6990（R900GPU）:4.98TFLOPSEarthSimulator:35.61TFLOPSBlueGene/L:135.5TFLOPS曙光Dawning5000A:230TFLOPSPFLOPS：當(dāng)代超算平臺IBMRoadrunner：1.026PFLOPSJaguar：1.75PFLOPS天河一號：2.566PFLOPSFolding@home運(yùn)算平臺：4.769PFLOPSBOINC運(yùn)算平臺：6.282PFLOPS(持續(xù)增加中)IBMMira:8.16PFLOPS京：10.51PFLOPSIBMSequoia:16.32PFLOPS。。。。。。。TOP500Ranking20154.學(xué)習(xí)內(nèi)容以及目標(biāo)？目標(biāo)：利用多個核或者多處理器以