分布式系統(tǒng)概述文世挺博士浙江大學(xué)寧波理工學(xué)院分布式系統(tǒng)概述文世挺博士浙江大學(xué)寧波理工學(xué)院互聯(lián)網(wǎng)計(jì)算時(shí)代高性能計(jì)算系統(tǒng)（HPC：High-PerfomanceComputing）每天數(shù)十億人使用互聯(lián)網(wǎng)，超級(jí)計(jì)算機(jī)和大規(guī)模數(shù)據(jù)中心面向互聯(lián)網(wǎng)上巨量用戶提供并發(fā)高性能服務(wù)高吞吐量計(jì)算系統(tǒng)（HTC:High-ThroughputComputing）云計(jì)算采用并行和分布式技術(shù)面向巨量用戶提供高吞吐量服務(wù)互聯(lián)網(wǎng)計(jì)算時(shí)代高性能計(jì)算系統(tǒng)（HPC：High-PerfomHTC和HPC系統(tǒng)演化HTC和HPC系統(tǒng)演化計(jì)算范式間區(qū)別集中式計(jì)算計(jì)算資源集中在一個(gè)物理系統(tǒng)內(nèi)，所有資源全部共享，且緊耦合在一個(gè)操作系統(tǒng)中。并行計(jì)算所有處理器或是緊耦合與中心共享內(nèi)存或是緊耦合與分布式內(nèi)存。處理器通過(guò)共享內(nèi)存或通過(guò)消息傳遞完成通信。分布式計(jì)算由眾多自治計(jì)算機(jī)組成，各自擁有私有內(nèi)存，通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)通信，分布式系統(tǒng)中的信息交換通過(guò)消息傳遞的方式完成。云計(jì)算：云可以是集中式資源也可以是分布式資源。計(jì)算范式間區(qū)別集中式計(jì)算大型分布式系統(tǒng)需求效率在HPC系統(tǒng)中開(kāi)發(fā)大規(guī)模并行計(jì)算時(shí)，度量執(zhí)行模型內(nèi)資源的利用率對(duì)于HTC系統(tǒng)，效率更依賴于系統(tǒng)的任務(wù)吞吐量、數(shù)據(jù)訪問(wèn)、存儲(chǔ)、節(jié)能?？尚哦攘繌男酒到y(tǒng)到應(yīng)用級(jí)別的可靠性和自管理能力，如服務(wù)質(zhì)量保證（QoS）的高吞吐量服務(wù)。編程模型適應(yīng)性度量在海量數(shù)據(jù)集和虛擬云資源上各種負(fù)載和服務(wù)模型下支撐數(shù)十億任務(wù)請(qǐng)求的能力。應(yīng)用部署靈活性度量分布式系統(tǒng)能夠同時(shí)很好地運(yùn)行在HPC和HTC應(yīng)用上的能力大型分布式系統(tǒng)需求效率可擴(kuò)展計(jì)算趨勢(shì)-并行度

BLP從串位方式到字級(jí)處理階段硬件昂貴（4,8,16,32,64位）ILP指令級(jí)并行處理器能同時(shí)執(zhí)行多條指令（多核）DLP數(shù)據(jù)級(jí)并行流行與單指令多數(shù)據(jù)類型TLP任務(wù)級(jí)并行片上多處理器應(yīng)用JLP作業(yè)級(jí)并行并行度粗細(xì)可擴(kuò)展計(jì)算趨勢(shì)-并行度

BLP從串位方式到字級(jí)處理階段硬件昂效用計(jì)算趨勢(shì)效用計(jì)算趨勢(shì)新技術(shù)成熟周期新技術(shù)成熟周期9分布式系統(tǒng)定義一個(gè)分布式系統(tǒng)組織成中間件形式，中間件層分布在多臺(tái)機(jī)器上。1.19分布式系統(tǒng)定義一個(gè)分布式系統(tǒng)組織成中間件形式，1.110總結(jié)：優(yōu)點(diǎn)--與集中式系統(tǒng)相比較項(xiàng)目描述經(jīng)濟(jì)微處理機(jī)提供了比大型主機(jī)更好的性能價(jià)格比速度分布式系統(tǒng)總的計(jì)算能力比單個(gè)大型主機(jī)更強(qiáng)固有的分布性一些應(yīng)用涉及到空間上分散的機(jī)器可靠性如果一個(gè)機(jī)器崩潰,整個(gè)系統(tǒng)還可以運(yùn)轉(zhuǎn)漸增計(jì)算能力可以逐漸有所增加10總結(jié)：優(yōu)點(diǎn)--與集中式系統(tǒng)相比較項(xiàng)目描述經(jīng)濟(jì)111、支持?jǐn)?shù)據(jù)共享文件數(shù)據(jù)庫(kù)2、支持設(shè)備共享高檔打印機(jī)海量磁盤優(yōu)點(diǎn)--與獨(dú)立PC機(jī)比較111、支持?jǐn)?shù)據(jù)共享優(yōu)點(diǎn)--與獨(dú)立PC機(jī)比較12總結(jié)：優(yōu)點(diǎn)--與獨(dú)立PC機(jī)比較項(xiàng)目描述數(shù)據(jù)共享允許多個(gè)用戶訪問(wèn)一個(gè)公共的數(shù)據(jù)庫(kù)設(shè)備共享允許多個(gè)用戶共享昂貴的外圍設(shè)備(如彩色打印機(jī))通信使得人們之間的通信更加容易,如通過(guò)電子郵件靈活性用最有效的方式將工作負(fù)荷分配到可用的機(jī)器上12總結(jié)：優(yōu)點(diǎn)--與獨(dú)立PC機(jī)比較項(xiàng)目描述數(shù)據(jù)共享允許13存在的問(wèn)題項(xiàng)目描述軟件目前為分布式系統(tǒng)開(kāi)發(fā)的軟件還很少網(wǎng)絡(luò)通信網(wǎng)絡(luò)可能的問(wèn)題:如QoS等等安全容易造成對(duì)保密數(shù)據(jù)的訪問(wèn)13存在的問(wèn)題項(xiàng)目描述軟件目前為分布式系統(tǒng)開(kāi)發(fā)的軟件還很14Flynn分類：（1972）SISD（單指令流、單數(shù)據(jù)流）：（PC機(jī)）SIMD（單指令流、多數(shù)據(jù)流）：矩陣計(jì)算機(jī)MISD（多指令流、單數(shù)據(jù)流）：無(wú)MIMD（多指令流、多數(shù)據(jù)流）：分布式系統(tǒng)硬件概念：多臺(tái)計(jì)算機(jī)是如何聯(lián)結(jié)在一起？CPU指令流個(gè)數(shù)數(shù)據(jù)流個(gè)數(shù)14Flynn分類：硬件概念：多臺(tái)計(jì)算機(jī)是如何聯(lián)結(jié)在一起？15存儲(chǔ)器使用：共享式、私有式多處理器系統(tǒng)（multi-processor）多計(jì)算機(jī)系統(tǒng)（multi-computer）MIMD分類PPMPPPMPMM具有共享存儲(chǔ)器的通常稱為多處理機(jī)（multiprocessor）或多處理器；而不具有共享存儲(chǔ)器的則稱為多計(jì)算機(jī)(multicomputer)15存儲(chǔ)器使用：共享式、私有式MIMD分類PPMPPPMPMMIMD分類鏈接方式交換式總線式關(guān)聯(lián)程度緊耦合：多用于并行系統(tǒng)松耦合：多用于分布式系統(tǒng)MIMD分類鏈接方式MIMD系統(tǒng)分類MIMD系統(tǒng)分類總線型多處理機(jī)系統(tǒng)解決總線過(guò)載問(wèn)題：高速緩存（cache）命中率（hitrate）緩存一致性（coherency）直寫(xiě)（writethough）監(jiān)聽(tīng)（Snoopy）控制線、數(shù)據(jù)線、地址線總線型多處理機(jī)系統(tǒng)解決總線過(guò)載問(wèn)題：高速緩存（cache）控交換型多處理機(jī)交叉開(kāi)關(guān)線：n2個(gè)交叉開(kāi)關(guān)點(diǎn)Omega開(kāi)關(guān)網(wǎng)：2?2開(kāi)關(guān)點(diǎn)，共n(log2n)/2個(gè)NUMA(NonUniformMemoryAccess)：分層存儲(chǔ)交換型多處理機(jī)交叉開(kāi)關(guān)線：n2個(gè)交叉開(kāi)關(guān)點(diǎn)總線型多計(jì)算機(jī)本地存儲(chǔ)局域網(wǎng)絡(luò)（10M~1000M）只用于CPU和CPU之間的通信

總線型多計(jì)算機(jī)本地存儲(chǔ)交換型多計(jì)算機(jī)網(wǎng)格（grid）：二維平面(n2個(gè)節(jié)點(diǎn))。超立方（hypercube）：n維立方（2n個(gè)節(jié)點(diǎn)）交換型多計(jì)算機(jī)網(wǎng)格（grid）：二維平面(n2個(gè)節(jié)點(diǎn))。22Intel單核CPU芯片22Intel單核CPU芯片23Intel多核結(jié)構(gòu)Replicatemultipleprocessorcoresonasingledieconnected.23Intel多核結(jié)構(gòu)Replicatemultiple24多核處理器是一類特殊的多處理機(jī)所有處理器在同一個(gè)芯片上多核處理器是MIMD:不同的核執(zhí)行不同的指令，操作內(nèi)存的不同位置多核是一個(gè)共享內(nèi)存的多處理機(jī)：所有核共享同一個(gè)內(nèi)存24多核處理器是一類特殊的多處理機(jī)所有處理器在同一個(gè)芯片上252Processorsvs.2Cores2CoresTwocoresonsamedieconnecteddirectlyMultiplethreadsandprocessesautomaticallyprocessedinparallelOnlyasmallincreaseinpowerconsumption2ProcessorsTwoseparatechipsconnectedexternallybyasystembusRequiresexplicitsoftwaresupportMuchgreaterpowerconsumption252Processorsvs.2Cores2Co26Inter-CoreBusInterfacePentiumDwith975XChipsetMemoryControllerHubI/OControllerHubDDR2MemoryPCIExpressx166PCI4SerialATAPorts6PCIExpressx1High-DefinitionAudio2PCIExpressx8orDMI(2GB/s)1066/800MHzFSBCore1L2Cache(forCore1)Core0L2Cache(forCore0)6USB2.0IntelMatrixStorageBIOSSupportIntelPro1000LAN26Inter-CoreBusInterfacePent27分類：緊耦合式、松耦合式軟件相關(guān)概念緊耦合松耦合軟件硬件松耦合緊耦合

分布式OS多處理機(jī)分時(shí)OS

網(wǎng)絡(luò)OS27分類：軟件相關(guān)概念緊耦合松耦合28軟件相關(guān)概念A(yù)noverviewofDOS(DistributedOperatingSystems)NOS(NetworkOperatingSystems)MiddlewareSystemDescriptionMainGoalDOSTightly-coupledoperatingsystemformulti-processorsandhomogeneousmulticomputersHideandmanagehardwareresourcesNOSLoosely-coupledoperatingsystemforheterogeneousmulticomputers(LANandWAN)OfferlocalservicestoremoteclientsMiddlewareAdditionallayeratopofNOSimplementinggeneral-purposeservicesProvidedistributiontransparency28軟件相關(guān)概念A(yù)noverviewofSystemD29網(wǎng)絡(luò)操作系統(tǒng)（NOS）網(wǎng)絡(luò)操作系統(tǒng)的一般結(jié)構(gòu)29網(wǎng)絡(luò)操作系統(tǒng)（NOS）網(wǎng)絡(luò)操作系統(tǒng)的一般結(jié)構(gòu)30網(wǎng)絡(luò)操作系統(tǒng)（NOS）遠(yuǎn)程登錄telnetrlogin30網(wǎng)絡(luò)操作系統(tǒng)（NOS）遠(yuǎn)程登錄31真正的分布式系統(tǒng)單一的、全局的進(jìn)程間通信機(jī)制協(xié)議、位置全局進(jìn)程管理創(chuàng)建、啟動(dòng)、掛起、撤銷全局文件系統(tǒng)文件名、目錄、操作統(tǒng)一的系統(tǒng)調(diào)用接口31真正的分布式系統(tǒng)單一的、全局的進(jìn)程間通信機(jī)制32多處理機(jī)分時(shí)系統(tǒng)（MPOS）具有一個(gè)運(yùn)行隊(duì)列的多處理機(jī)系統(tǒng)32多處理機(jī)分時(shí)系統(tǒng)（MPOS）具有一個(gè)運(yùn)行隊(duì)列的多處理機(jī)系33多處理機(jī)分時(shí)系統(tǒng)（MPOS）存在一個(gè)唯一的運(yùn)行隊(duì)列文件系統(tǒng)的結(jié)構(gòu)不同特點(diǎn)：33多處理機(jī)分時(shí)系統(tǒng)（MPOS）存在一個(gè)唯一的運(yùn)行隊(duì)列特點(diǎn)34多計(jì)算機(jī)操作系統(tǒng)多件算機(jī)操作系統(tǒng)的一般結(jié)構(gòu)34多計(jì)算機(jī)操作系統(tǒng)多件算機(jī)操作系統(tǒng)的一般結(jié)構(gòu)35多計(jì)算機(jī)操作系統(tǒng)消息傳遞的阻塞和緩沖1.1535多計(jì)算機(jī)操作系統(tǒng)消息傳遞的阻塞和緩沖1.1536多計(jì)算機(jī)操作系統(tǒng)Relationbetweenblocking,buffering,andreliablecommunications.SynchronizationpointSendbufferReliablecomm.guaranteed?BlocksenderuntilbuffernotfullYesNotnecessaryBlocksenderuntilmessagesentNoNotnecessaryBlocksenderuntilmessagereceivedNoNecessaryBlocksenderuntilmessagedeliveredNoNecessary36多計(jì)算機(jī)操作系統(tǒng)Relationbetweenblo37分布式共享內(nèi)存系統(tǒng)PagesofaddressspacedistributedamongfourmachinesSituationafterCPU1referencespage10Situationifpage10isreadonlyandreplicationisused37分布式共享內(nèi)存系統(tǒng)Pagesofaddresssp38分布式共享內(nèi)存系統(tǒng)Falsesharingofapagebetweentwoindependentprocesses.38分布式共享內(nèi)存系統(tǒng)Falsesharingofa39中間件分布式系統(tǒng)作為中間件的一般結(jié)構(gòu)1-2239中間件分布式系統(tǒng)作為中間件的一般結(jié)構(gòu)1-2240中間件和開(kāi)放性Inanopenmiddleware-baseddistributedsystem,theprotocolsusedbyeachmiddlewarelayershouldbethesame,aswellastheinterfacestheyoffertoapplications.1.2340中間件和開(kāi)放性Inanopenmiddle41三種操作系統(tǒng)比較項(xiàng)目網(wǎng)絡(luò)操作系統(tǒng)分布式操作系統(tǒng)多處理機(jī)操作系統(tǒng)中間件看起來(lái)象一個(gè)虛擬的單處理機(jī)系統(tǒng)?否是是所有的機(jī)器只運(yùn)行相同的操作系統(tǒng)?否是是否有多少操作系統(tǒng)的拷貝?NN1N怎樣通信?共享文件消息共享存儲(chǔ)器模型特定需要共同一致的網(wǎng)絡(luò)協(xié)議?是是否是是否只有一個(gè)運(yùn)行隊(duì)列?否否是否文件共享是否有良好的語(yǔ)義定義?通常沒(méi)有是是通常有資源管理每個(gè)節(jié)點(diǎn)全局分布全局集中每個(gè)節(jié)點(diǎn)可擴(kuò)性好一般差變化的開(kāi)放性好一般差好41三種操作系統(tǒng)比較項(xiàng)目網(wǎng)絡(luò)操分布式操多處理機(jī)中間42透明性（Transparency）（對(duì)用戶、對(duì)程序）分布式系統(tǒng)設(shè)計(jì)中的關(guān)鍵問(wèn)題種類含義位置透明用戶不知道資源位于何處遷移透明資源可以不改名地隨意移動(dòng)復(fù)制透明用戶不知道有多少個(gè)拷貝存在并發(fā)透明多個(gè)用戶可以自動(dòng)的共享資源并行透明系統(tǒng)活動(dòng)可以在用戶沒(méi)有感覺(jué)的情況下并行發(fā)生42透明性（Transparency）（對(duì)用戶、對(duì)程序）分布43靈活性單內(nèi)核基本上是目前的集中式操作系統(tǒng)，增加了網(wǎng)絡(luò)功能和遠(yuǎn)程服務(wù)集合。

微內(nèi)核的