并行計(jì)算算法并行計(jì)算機(jī)基礎(chǔ)并行算法的設(shè)計(jì)并行數(shù)值算法算例1.1并行計(jì)算并行計(jì)算(ParallelComputing)是指在并行計(jì)算機(jī)或分布式計(jì)算機(jī)等一些高性能計(jì)算系統(tǒng)上所做的計(jì)算，其硬件基礎(chǔ)是高性能并行計(jì)算機(jī)。并行計(jì)算的主要目的是以最快的速度求解數(shù)字龐大且過程繁雜的計(jì)算問題。概念1.2并行計(jì)算機(jī)分類1、單指令多數(shù)據(jù)流（SIMD）型并行2、多指令多數(shù)據(jù)流（MIMD）型并行機(jī)：

并行向量處理機(jī)、大規(guī)模并行處理機(jī)、分存共享存儲(chǔ)多處理機(jī)、對稱多處理機(jī)、、工作站機(jī)群并行計(jì)算機(jī)就是由多個(gè)處理單元(處理器或計(jì)算機(jī))組成的計(jì)算機(jī)系統(tǒng)，這些處理單元相互通信和協(xié)作，能快速、高效地求解大型復(fù)雜問題。1.3并行計(jì)算機(jī)體系結(jié)構(gòu)1、總線結(jié)構(gòu)

2、網(wǎng)格結(jié)構(gòu)

3、超立方體結(jié)構(gòu)并行計(jì)算機(jī)體系結(jié)構(gòu)是指在所應(yīng)用的并行處理系統(tǒng)中各個(gè)節(jié)點(diǎn)機(jī)之間的連接方式。1.4基本性能指標(biāo)1、CPU和存儲(chǔ)器：工作負(fù)載：執(zhí)行時(shí)間、指令數(shù)目、浮點(diǎn)運(yùn)算數(shù)。并行執(zhí)行時(shí)間：計(jì)算時(shí)間+并行開銷時(shí)間+相互通信時(shí)間存儲(chǔ)器的層次結(jié)構(gòu)：容量、延遲、帶寬2、機(jī)器的成本，價(jià)格與性能/價(jià)格比3、加速比性能：Amdahi定律、Gustafson定律、Sun和Ni定律2.1并行算法設(shè)計(jì)并行算法是一些可同時(shí)執(zhí)行的諸多進(jìn)程的集合，這些進(jìn)程相互作用和協(xié)調(diào)動(dòng)作從而達(dá)到給定問題的解。并行算法的復(fù)雜度：運(yùn)行時(shí)間、處理器數(shù)目、并行算法的成本、總運(yùn)算量2.2設(shè)計(jì)策略技術(shù)1、并行算法設(shè)計(jì)

串行算法的直接并行化設(shè)計(jì)新的算法借用已有并行算法2、劃分設(shè)計(jì)技術(shù)：均勻劃分、方根劃分、對數(shù)劃分、功能劃分3、分治設(shè)計(jì)技術(shù)：平衡樹技術(shù)、倍增設(shè)計(jì)技術(shù)、流水線設(shè)計(jì)技術(shù)2.3并行設(shè)計(jì)過程1、任務(wù)劃分：數(shù)據(jù)劃分、功能劃分2、通信劃分：局部/全局通信、結(jié)構(gòu)化/非結(jié)構(gòu)化、靜態(tài)/動(dòng)態(tài)、同步/異步3、任務(wù)組合4、處理器映射：負(fù)載平衡算法、任務(wù)調(diào)度算法2.4并行計(jì)算編程環(huán)境1、分布傳遞并行編程：消息傳遞

MPIPVM并行虛擬機(jī)（ParallelVirtualMachine）2.4并行計(jì)算編程環(huán)境2、共享存儲(chǔ)并行編程OpenMP是一種面向共享內(nèi)存以及分布式共享內(nèi)存的多處理器多線程并行編程語言2.4并行計(jì)算實(shí)現(xiàn)過程并行計(jì)算實(shí)現(xiàn)過程3.1矩陣運(yùn)算Creativity1、矩陣的劃分：

帶狀劃分：塊帶狀劃分、循環(huán)帶狀劃分

棋盤劃分：塊棋盤劃分、循環(huán)棋盤劃分2、矩陣的轉(zhuǎn)置、矩陣向量乘法、矩陣乘法、矩陣分解、求逆、求特征值等3.2線性方程組的求解Creativity1、直接求解

奇偶?xì)w約求解

有回代的列主元高斯消去無回代的高斯-約旦法2、迭代算法高斯-賽德爾迭代法雅可比迭代法超松弛迭代法多重網(wǎng)格法3.3稀疏矩陣向量乘法算例Creativity1、坐標(biāo)存儲(chǔ)法4稀疏矩陣向量乘法算例Creativity2、矩陣向量串行算法4稀疏矩陣向量乘法算例Creativity3、矩陣向量的并行化分析4稀疏矩陣向量乘法算例Creativity4、矩陣向量并行算法4稀疏矩陣向量乘法算例Creativity5、4稀疏矩陣向量乘法算例Crea