1、 分布式架構在云計算平臺中的應用對比分析 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc66481853 分布式架構在云計算平臺中的應用對比分析 PAGEREF _Toc66481853 h 1 HYPERLINK l _Toc66481854 一、分布式云計算平臺架構需求分析 PAGEREF _Toc66481854 h 3 HYPERLINK l _Toc66481855 二、分布式云計算平臺架構應用場景 PAGEREF _Toc66481855 h 3 HYPERLINK l _Toc66481856 2.1 分布式存儲 PAGEREF _Toc66481856

2、 h 4 HYPERLINK l _Toc66481857 2.1.2 優(yōu)缺點分析 PAGEREF _Toc66481857 h 7 HYPERLINK l _Toc66481858 2.2 分布式VXLAN網(wǎng)絡 PAGEREF _Toc66481858 h 8 HYPERLINK l _Toc66481859 2.2.1 架構說明 PAGEREF _Toc66481859 h 8 HYPERLINK l _Toc66481860 2.2.1.1 集中式VXLAN PAGEREF _Toc66481860 h 8 HYPERLINK l _Toc66481861 2.2.1.2 分布式VXLA

3、N PAGEREF _Toc66481861 h 9 HYPERLINK l _Toc66481862 2.2.2 優(yōu)缺點分析 PAGEREF _Toc66481862 h 10 HYPERLINK l _Toc66481863 2.3 分布式數(shù)據(jù)庫 PAGEREF _Toc66481863 h 11 HYPERLINK l _Toc66481864 2.3.1 架構說明 PAGEREF _Toc66481864 h 11 HYPERLINK l _Toc66481865 2.3.1.1 關系型分布式數(shù)據(jù)庫架構 PAGEREF _Toc66481865 h 12 HYPERLINK l _To

4、c66481866 2.3.1.2 非關系型分布式數(shù)據(jù)庫架構 PAGEREF _Toc66481866 h 15 HYPERLINK l _Toc66481867 2.3.2 優(yōu)缺點分析 PAGEREF _Toc66481867 h 18 HYPERLINK l _Toc66481868 2.4 分布式安全 PAGEREF _Toc66481868 h 19 HYPERLINK l _Toc66481869 2.4.1 架構說明 PAGEREF _Toc66481869 h 19 HYPERLINK l _Toc66481870 2.4.2 優(yōu)缺點分析 PAGEREF _Toc66481870

5、 h 21 HYPERLINK l _Toc66481871 三、分布式架構建設的挑戰(zhàn) PAGEREF _Toc66481871 h 21 HYPERLINK l _Toc66481872 四、結束語 PAGEREF _Toc66481872 h 22【摘要】云計算平臺雖然可以解決數(shù)據(jù)中心資源使用和效率問題，但如果不解決IT架構問題，云計算平臺一樣無法滿足業(yè)務的使用需要，分布式架構自然也成為云計算平臺的一種選擇。本文針對分布式云計算平臺架構四個主要應用場景：分布式存儲、分布式VXLAN網(wǎng)絡、分布式數(shù)據(jù)庫、分布式安全，結合云計算平臺的實際建設方案做具體的說明和優(yōu)缺點分析。一、分布式云計算平臺架構

6、需求分析云計算平臺可以提供靈活和按需使用的資源，同時又可以保證業(yè)務系統(tǒng)的高可用，大量先進的IT特性已經(jīng)成為了金融、醫(yī)療、媒體和政府等行業(yè)數(shù)據(jù)中心建設的核心。從IT架構上看，傳統(tǒng)的集中式架構已經(jīng)無法滿足新時代業(yè)務的需求。因為它無法保證業(yè)務快速響應能力，靈活性和可靠性也相對較低。特別是當云計算平臺業(yè)務發(fā)展達到一定規(guī)模的時候，集中式架構往往會出現(xiàn)大量的瓶頸。例如云計算平臺服務器計算、存儲容量和I/O能力不足，需要快速擴容；虛擬機數(shù)量過多，需要大規(guī)模組網(wǎng)；單體業(yè)務數(shù)據(jù)庫規(guī)模過大，需要拆庫拆表分散部署；集中式安全設備無法保證每個虛擬主機安全等等；云計算平臺雖然可以解決數(shù)據(jù)中心資源使用和效率問題，但是不解

7、決IT架構問題，云計算平臺一樣無法滿足業(yè)務的使用需要，這時候分布式架構就自然成為了云計算平臺的一種必然的選擇。二、分布式云計算平臺架構應用場景基于分布式架構的云計算平臺具有較好的伸縮性，特別在處理大規(guī)模并發(fā)和管理等問題時，能顯著提處理速度和效率，目前主要的應用場景包括以下幾個：1、分布式存儲，使用多個節(jié)點共同提供云計算平臺數(shù)據(jù)資源服務；2、分布式VXLAN網(wǎng)絡，解決云計算平臺大規(guī)模二層網(wǎng)絡使用問題。3、分布式數(shù)據(jù)庫，有多個節(jié)點共同組成一個邏輯集中，物理分布的大型數(shù)據(jù)庫。4、分布式安全產(chǎn)品，解決云環(huán)境下虛擬化安全問題，提供了分層次、全方位、可擴展的安全隔離和安全防護。下面我們將基于以上四個應用場

8、景，結合云計算平臺的實際建設方案做具體的說明和優(yōu)缺點分析。2.1 分布式存儲2.1.1 架構說明隨著業(yè)務數(shù)據(jù)的不斷增加，云計算平臺在面對極具彈性的存儲需求和性能要求下，傳統(tǒng)集中的獨立存儲設備基本無法滿足大規(guī)模數(shù)據(jù)處理的需要。在性能和數(shù)據(jù)存儲容量等方面都面臨著一定的瓶頸。傳統(tǒng)集中式存儲架構采用單臺SAN或IPSAN存儲，通常配置2-8個控制器，通過存儲擴展柜進行容量擴展，而且擴容能力有限。如果增加性能，需要增加控制器和緩存，甚至需要更換存儲設備型號為高端存儲。單臺存儲的性能和擴展能力是有限的，一般達不到線性擴展。隨著存儲容量的增加，存儲的性能會先增加然后達到一定瓶頸后逐漸降低。因為一開始大量的磁

9、盤增加會提升存儲整體讀寫性能，但是當磁盤性能達到控制器的性能后會嚴重影響控制器對數(shù)據(jù)的處理和運行，性能會逐漸下降。分布式存儲系統(tǒng)使用高速交換機進行組網(wǎng)，并將分布式存儲軟件部署在低廉的X86硬件上。如下圖所示：分布式存儲可以提供高吞吐量來訪問應用程序的數(shù)據(jù)，適合那些有著大數(shù)據(jù)集群的云計算平臺應用。分布式存儲可以將數(shù)據(jù)存放在很多不同的服務器上。而用戶不必關系具體的數(shù)據(jù)在哪，分布式存儲軟件會管理這些數(shù)據(jù)。在云計算平臺中，分布式存儲可以提供：1、可以為任何物理機或者虛擬機提供塊、文件和對象等存儲服務；2、分布式存儲支持多種企業(yè)級特性，包括快照、精簡配置、備份、加密、壓縮等，幫助可以整合或替代現(xiàn)有集中存

10、儲設施，支撐各種業(yè)務應用。3、可實現(xiàn)云計算平臺PB、EB級以上容量的存儲資源池按需靈活擴展，相對于集中存儲，存儲采購成本也比較低。應用場景以開源式分布式存儲服務ceph為例。Ceph目前是OpenStack支持的開源塊存儲實現(xiàn)系統(tǒng)。Ceph是一種統(tǒng)一的、分布式的存儲系統(tǒng)。統(tǒng)一意味著Ceph可以一套存儲系統(tǒng)同時提供對象存儲、塊存儲和文件系統(tǒng)存儲三種功能，以便在滿足不同應用需求的前提下簡化部署和運維。分布式在Ceph系統(tǒng)中則意味著真正的無中心結構和沒有理論上限的系統(tǒng)規(guī)?？蓴U展性。自下向上，可以將Ceph系統(tǒng)分為以下幾個層次：RADOS（Reliable, Autonomic, Distribute

11、d Object Store），基礎存儲系統(tǒng)，即可靠的、自動化的、分布式的對象存儲。LIBRADOS，基礎庫。RADOS GW（RADOS Gateway）、RBD（Reliable Block Device）和Ceph FS（Ceph File System），高層應用接口，提供對象、塊存儲和文件存儲服務。Ceph在云計算平臺中主要的應用場景如下：1、對象存儲服務對象存儲通過RadosGW接口實現(xiàn)?？梢蕴峁eph Cluster作為分布式對象存儲的能力，如Amazon的S3范圍，Swift等。企業(yè)用戶也可以直接使用其作為媒體數(shù)據(jù)存儲，分發(fā)等。2、塊存儲服務塊存儲通過LibRBD接口實現(xiàn)。

12、可以為虛擬機和主機(Host)提供不同路徑的塊存儲。如下圖所示，Ceph Cluster為虛擬機提供塊設備支持。LibRBD是基于Librados的塊設備接口實現(xiàn)，主要將一個塊設備映射為不同的對象來實現(xiàn)。Ceph首先使用OSD服務將數(shù)據(jù)以對象形式存儲在每一個集群節(jié)點的物理磁盤DISK中，然后通過LibRBD可以創(chuàng)建一個塊設備(Container)，最后通過QEMU/KVM Attach到VM上。通過Container和VM的解耦使得塊設備可以被綁定到不同的VM上。3、文件存儲服務文件存儲服務通過CephFS接口實現(xiàn)。可以提供PB級分布式文件系統(tǒng)。這里會引入一個新的組件MDS(Meta Data

13、 Server)，它主要為兼容POSIX文件系統(tǒng)提供元數(shù)據(jù)，如目錄和文件元數(shù)據(jù)。同時，MDS會將元數(shù)據(jù)也存在RADOS(Ceph Cluster)中。元數(shù)據(jù)存儲在RADOS中后，元數(shù)據(jù)本身也達到了并行化，大大加強了文件操作的速度。需要注意的是MDS并不會直接為Client提供文件數(shù)據(jù)，而只是為Client提供元數(shù)據(jù)的操作。如上圖所示，當Client打開一個文件時，會查詢并更新MDS相應的元數(shù)據(jù)如文件包括的對象信息，然后再根據(jù)提供的對象信息直接從RADOS(Ceph Cluster)中直接得到文件數(shù)據(jù)。CephFS作為分布式文件系統(tǒng)，當面對不同的文件熱點和大小時，它可以使用多個MDS根據(jù)數(shù)據(jù)負載

14、均衡來避免MDS的熱點，并進行動態(tài)調整。2.1.2 優(yōu)缺點分析分布式存儲優(yōu)點：1、使用低成本服務器和廉價磁盤，可以為云計算平臺提供大數(shù)據(jù)量的存儲空間，同時降低建設成本。2、可以隨時按需進行橫向擴容，沒有容量限制，而且隨著容量的增加可以實現(xiàn)近線性的性能提升。3、可以提供真正意義上的統(tǒng)一存儲，在一套存儲系統(tǒng)中實現(xiàn)按需提供塊、文件和對象全融合存儲服務能力，滿足云計算平臺多種場景需求。分布式存儲缺點：1、節(jié)點數(shù)量較少時，性能有限，無法提供傳統(tǒng)中高端集中存儲的高性能。對于一些企業(yè)級存儲特性，包括快照、重刪、壓縮和加密等功能，并不是所有分布式存儲軟件都可以提供，需要在選擇時按需做好POC測試。2、隨著節(jié)點

15、數(shù)量的增加，服務器的數(shù)量也會顯著增加，對機房的空間、能耗和運維管理都是一個挑戰(zhàn)。3、由于數(shù)據(jù)是分散存儲的，會存在一定的數(shù)據(jù)一致性問題，雖然通過數(shù)據(jù)性一致性鎖等技術手段可以解決一部分問題，但是性能也會降低。2.2 分布式VXLAN網(wǎng)絡2.2.1 架構說明在云計算平臺的架構中，二層網(wǎng)絡至關重要，因為不管是分布式存儲系統(tǒng)網(wǎng)絡還是虛擬化網(wǎng)絡系統(tǒng)，都需二層網(wǎng)絡架構。特別是在虛擬機遷移過程中，二層網(wǎng)絡是必須的。因為為了保證虛擬機遷移過程中業(yè)務不中斷，需要保證虛擬機的IP地址、MAC地址等參數(shù)保持不變，這就要求網(wǎng)絡必須是一個二層網(wǎng)絡，且要求網(wǎng)絡本身具備多路徑的冗余備份和可靠性。在傳統(tǒng)集中式的二層網(wǎng)絡環(huán)境下，

16、數(shù)據(jù)報文是通過查詢MAC地址表進行二層轉發(fā)，而MAC地址表的容量限制了虛擬機的數(shù)量。而且為了對虛擬化網(wǎng)絡做隔離，需要用到VLAN技術，由于IEEE 802.1Q中定義的VLAN Tag域只有12比特，僅能表示4096個VLAN，無法滿足大二層網(wǎng)絡中標識大量租戶或租戶群的需求。傳統(tǒng)二層網(wǎng)絡中的VLAN無法滿足網(wǎng)絡動態(tài)調整的需求。VXLAN技術的出現(xiàn)，很好地解決了上述問題。VXLAN通過采用MAC in UDP封裝來延伸二層網(wǎng)絡，并使用物理網(wǎng)絡的IP、MAC地址作為外層頭進行封裝，將以太報文封裝在IP報文之上，對網(wǎng)絡只表現(xiàn)為封裝后的參數(shù)。通過路由在網(wǎng)絡中傳輸，無需關注虛擬機的MAC地址。且路由網(wǎng)絡

17、無網(wǎng)絡結構限制，具備大規(guī)模擴展能力、故障自愈能力、負載均衡能力。通過路由網(wǎng)絡，虛擬機遷移不受網(wǎng)絡架構限制。目前，VXLAN的實現(xiàn)主要有兩種方式：集中式和分布式。2.2.1.1 集中式VXLAN在VXLAN網(wǎng)絡中，“Leaf”指VXLAN網(wǎng)絡中的二層接入設備，與物理服務器或VM對接，通過將物理服務器和VM發(fā)送過來的報文封裝在VXLAN報文中，將對應的流量接入VXLAN網(wǎng)絡中?！癝pine”是VXLAN網(wǎng)絡中的骨干傳輸設備，負責VXLAN流量的轉發(fā)?！癗VE”是實現(xiàn)網(wǎng)絡虛擬化功能的網(wǎng)絡實體，是VXLAN的二層網(wǎng)關，報文經(jīng)過NVE封裝轉換后，NVE之間就可基于三層基礎網(wǎng)絡建立二層虛擬化網(wǎng)絡。NVE目

18、前有軟件NVE（例如VMware的NSX）和硬件NVE（集成在交換機上）。主要實現(xiàn)VXLAN與VLAN、MAC等的二層映射。另外，封裝在“NVE”中的“VETP”是VXLAN隧道端點，用于VXLAN報文的封裝和解封裝，虛擬機可以通過虛擬化軟件直接建立VTEP隧道。為了實現(xiàn)VXLAN虛擬網(wǎng)絡的跨子網(wǎng)通信以及外部網(wǎng)絡的訪問，需要使用VXLAN三層網(wǎng)關。在VXLAN集中網(wǎng)絡中，三層網(wǎng)關集中在一組或幾組交換機上，與服務器相連的Leaf交換機的VTEP，只作為VXLAN的二層網(wǎng)關。Leaf1、Leaf2和Spine作為VXLAN網(wǎng)絡的VTEP，Leaf1和Spine之間、Leaf2和Spine之間分別搭

19、建VXLAN隧道，并在Spine上部署VXLAN三層網(wǎng)關，即可實現(xiàn)不同部門VM之間的相互通信。2.2.1.2 分布式VXLAN在分布式VXLAN網(wǎng)絡中，所有Leaf節(jié)點物理交換機都具備三層網(wǎng)關功能。Leaf1和Leaf2作為VXLAN網(wǎng)絡的VTEP，部署了VXLAN三層網(wǎng)關，并在兩個VXLAN三層網(wǎng)關之間建立VXLAN隧道。VM1和VM2互訪時，流量只需要在Leaf1節(jié)點進行轉發(fā)。VM1和VM4跨Leaf節(jié)點互訪時，流量經(jīng)過Leaf節(jié)點和VXLAN隧道，Spine節(jié)點僅作為流量轉發(fā)節(jié)點。2.2.2 優(yōu)缺點分析集中式和分布式VXLAN主要區(qū)別如下：采用集中式VXLAN網(wǎng)關方案時，不同VXLAN之

20、間的流量以及VXLAN訪問外界網(wǎng)絡的流量全部由集中式VXLAN IP網(wǎng)關處理，網(wǎng)關壓力較大，并加劇了網(wǎng)絡帶寬資源的消耗。而在分布式VXLAN網(wǎng)關方案中，每臺VTEP設備都可以作為VXLAN網(wǎng)關，對本地站點的流量進行三層轉發(fā)，很好地緩解了網(wǎng)關的壓力。但是多個網(wǎng)關部署在leaf，會導致組網(wǎng)復雜，只有在大規(guī)模云計算平臺組網(wǎng)架構中才需要用到分布式VXLAN方案。2.3 分布式數(shù)據(jù)庫2.3.1 架構說明在云計算平臺中，傳統(tǒng)數(shù)據(jù)庫以ORACLE、DB2或者MySql的關系型數(shù)據(jù)庫為主，但是當單表數(shù)據(jù)量爆炸或者單個數(shù)據(jù)庫無法承受高強度I/O時，集中式數(shù)據(jù)庫是無法解決性能和數(shù)據(jù)處理瓶頸問題的，難以應對應用層的

21、高并發(fā)數(shù)據(jù)訪問。分布式數(shù)據(jù)庫按類型可分為：關系型分布式數(shù)據(jù)庫。例如Mysql分布式集群和阿里云分布式數(shù)據(jù)庫DRDS等。可以提供分布式事務處理。非關系型分布式數(shù)據(jù)庫。例如Key-Value數(shù)據(jù)庫“Redis”，Document-Oriented數(shù)據(jù)庫“MongoDB”，Column-Family數(shù)據(jù)庫“HBase”和Graph-Oriented數(shù)據(jù)庫“Neo4J”等等。需要注意的是，大多數(shù)NoSQL分布式數(shù)據(jù)庫不支持分布式事務處理。如果要支持分布式事務需要彼此協(xié)調從而耗費時間，每個節(jié)點在事務處理過程中必須依次確認，保證任何一個節(jié)點都寫處理完成。NoSQL數(shù)據(jù)庫主要考慮的是性能問題，所以大部分No

22、SQL數(shù)據(jù)庫不提供分布式事務。2.3.1.1 關系型分布式數(shù)據(jù)庫架構關系型分布式數(shù)據(jù)庫在通常是大型企業(yè)用戶承載核心業(yè)務的重要技術選型方向之一，是幫助企業(yè)處理大規(guī)模結構化數(shù)據(jù)的重要技術平臺。要求分布式關系型數(shù)據(jù)庫在規(guī)?？蔁o限水平擴展，支持分布式事務，具備數(shù)據(jù)強一致性，滿足企業(yè)級核心數(shù)據(jù)庫對大容量、高并發(fā)、高可靠及高可用的苛刻要求。關系型分布式數(shù)據(jù)庫的特點是物理數(shù)據(jù)不是存儲在一個節(jié)點上，而是存儲在云計算平臺網(wǎng)絡中的多個節(jié)點上。但是在邏輯上是一個整體，數(shù)據(jù)被所有用戶共享，并被統(tǒng)一管理。關系型分布式數(shù)據(jù)庫的數(shù)據(jù)具有獨立性，具有集中與自治相結合的控制機制，具有一定的冗余性，可處理分布式事務。關系型分布式

23、數(shù)據(jù)庫最重要的兩個機制就是分片和分組。分片可以解決擴展性問題，主要包括垂直分片與水平分片兩種方式。分組解決可用性問題，分組通常通過高可用的方式實現(xiàn)。水平分表：基于關系型數(shù)據(jù)庫中的“橫”進行拆分。當一個表中的數(shù)據(jù)量過大時，可以把該表的數(shù)據(jù)按照某種規(guī)則，例如ID進行拆分，然后存儲到多個結構相同的表上（同一個數(shù)據(jù)庫）。降低單表數(shù)據(jù)量，優(yōu)化性能。水平分庫：可以采用關鍵字段取模的方式來對數(shù)據(jù)訪問進行路由。垂直分表：基于關系型數(shù)據(jù)庫中的“列”進行拆分。將表按照功能模塊、關系密切程度劃分出來，部署到不同的庫上。例如將某個內容較多的“列”拆分出去，但是每個表里面的數(shù)據(jù)記錄數(shù)是相同的，只是“列”不一樣。垂直分庫

24、：就是依據(jù)業(yè)務功能的不同，劃分為不同的業(yè)務庫。例如按照user、order和product把user數(shù)據(jù)放到用戶庫、把order數(shù)據(jù)放到訂單庫、把product數(shù)據(jù)放到產(chǎn)品庫?；旌喜鸱旨捶謳旆直?，如上圖所示。是綜合了垂直和水平拆分的一種方式。垂直拆分把不同類型的數(shù)據(jù)存儲到不同庫中，再結合水平拆分，使單表數(shù)據(jù)量保持在合理范圍內，擴展系統(tǒng)的并發(fā)處理能力，提升單表的性能。單純的分表雖然可以解決數(shù)據(jù)量過大導致查詢變慢的問題，但無法解決過多并發(fā)請求訪問同一個庫，導致數(shù)據(jù)庫響應變慢的問題。所以通常水平拆分都至少要采用分庫的方式，用于解決大數(shù)據(jù)量和高并發(fā)的問題。數(shù)據(jù)庫分組以MySQL為例，目前可以采用的高可

25、用組復制技術主要有主從復制、MHA和MGR等。MHA目前在MySQL高可用方面是一個相對成熟的解決方案，MHA能做到在030秒之內自動完成數(shù)據(jù)庫的故障切換操作，并且在進行故障切換的過程中，MHA能在最大程度上保證數(shù)據(jù)的一致性，以達到真正意義上的高可用。該軟件由兩部分組成：MHA Manager（管理節(jié)點）和MHA Node（數(shù)據(jù)節(jié)點）MHA Manager：可以單獨部署在一臺獨立的機器上管理多個master-slave集群，也可以部署在一臺slave節(jié)點上。MHA Node：行在每臺MySQL服務器上。MHA Manager會定時探測集群中的Master“主”節(jié)點，當檢測到Master故障后能

26、夠實現(xiàn)自動故障轉移，通過鑒定得出最“新”的Salve的relay log，自動將最新數(shù)據(jù)的slave“從”節(jié)點提升為新的Master“主”節(jié)點，然后將所有其他的slave“從”節(jié)點重新指向新的Master。整個故障轉移過程對應用程序完全透明。MHA就能夠保證各個slave之間的數(shù)據(jù)一致性，即使有些slave在主庫崩潰時還沒有收到最新的relay log事件。一個slave節(jié)點能否成為候選的主節(jié)點可通過在配置文件中配置它的優(yōu)先級。由于master能夠保證各個slave之間的數(shù)據(jù)一致性，所以所有的slave節(jié)點都有希望成為主節(jié)點。在通常的replication環(huán)境中由于復制中斷而極容易產(chǎn)生的數(shù)據(jù)一

27、致性問題，在MHA中將不會發(fā)生。分布式數(shù)據(jù)庫+分布式存儲如上圖所示，分布式數(shù)據(jù)庫還可以結合前面講到的ceph分布式存儲，采用分布式Mysql節(jié)點+分布式存儲節(jié)點的高可用分布式架構，每個分區(qū)內采用一主多從的架構設計，數(shù)據(jù)使用分布式存儲的多副本技術，可自動實現(xiàn)故障秒級切換與瞬間生效。同時支持跨數(shù)據(jù)中心部署，全面保障服務高可用。存儲層由X86服務器和基于ceph的分布式存儲軟件構成，每個X86服務器節(jié)點負責部分數(shù)據(jù)存儲，同時在每個存儲節(jié)點內通過ceph的讀寫主-副機制保障數(shù)據(jù)寫入的一致性。即在數(shù)據(jù)寫入時客戶端只向對應的主OSD寫入數(shù)據(jù)，然后再發(fā)生數(shù)據(jù)到其他副本，只有所有節(jié)點的OSD都完成數(shù)據(jù)寫入時，

28、主OSD才確認完成寫請求。在基于MySQL的分布式數(shù)據(jù)庫中，分表支持動態(tài)漂移，隨著表的熱度和大小進行動態(tài)的擴容和伸縮，保證資源分配最優(yōu)化。而分布式存儲節(jié)點可以無限水平擴展，從而提供可動態(tài)無限擴展的存儲容量。性能隨節(jié)點擴展而線性增長，滿足云計算平臺對容量和性能的需求，具備云服務所有的彈性、敏捷、按需和輕運維特性。2.3.1.2 非關系型分布式數(shù)據(jù)庫架構非關系數(shù)據(jù)庫（NoSQL）是一種新的非關系分布式存儲技術。數(shù)據(jù)庫數(shù)據(jù)不僅包含每日文本數(shù)據(jù)，而且還包含其他數(shù)據(jù)，例如圖片，視頻，F(xiàn)LASH動畫等，因為它具有海量存儲和靈活性。易于使用，高并發(fā)性等可以為系統(tǒng)提供可擴展的松耦合類型數(shù)據(jù)模式。此模式嚴格遵循

29、CAP定理，可以很好地支持非結構化數(shù)據(jù)的存儲，并滿足高并發(fā)讀寫的要求，具有良好的可擴展性。下面以列數(shù)據(jù)庫Hbase為例，說明分布式數(shù)據(jù)庫的架構。1、Hbase是Hadoop數(shù)據(jù)庫，是一個高可用，高性能、可擴展的分布式存儲系統(tǒng)，Hbase適合于存儲基于列而不是基于行模式的數(shù)據(jù)。2、HBase構建在Hadoop 的HDFS分布式文件系統(tǒng)之上，使用HDFS作為最基本存儲基礎單元，可以提供大數(shù)據(jù)實時讀寫的處理能。在需要實時讀寫隨機訪問超大規(guī)模數(shù)據(jù)集時，可以使用HBase3、Hbase可以管理超級大的數(shù)據(jù)表（可達數(shù)十億行數(shù)百萬列），支持海量數(shù)據(jù)存儲（TB/PB級別），具有高吞吐量并且可以實現(xiàn)在海量數(shù)據(jù)中

30、高效隨機讀取，能同時處理結構化和非結構化數(shù)據(jù)。因為其采用分布式架構，適合于不需要完全擁有傳統(tǒng)關系型數(shù)據(jù)庫實時一致性的業(yè)務。Hbase的架構如下：1、客戶端包含訪問HBase的接口，同時在緩存中維護著已經(jīng)訪問過的Region位置信息，可以用來加快后續(xù)數(shù)據(jù)訪問過程。2、Zookeeper是一個分布式集群管理工具，維護集群中服務的狀態(tài)，為了保證集群狀態(tài)的一致性，zookeeper節(jié)點數(shù)至少為3節(jié)點以上且必須為奇數(shù)。HMaster和每個Region服務器定時發(fā)送心跳信息給Zookeeper，用于檢查服務器是否可用，并在失效時進行管理。Zookeeper可以選舉出一個Master作為集群的總管，并保證在

31、任何時候只能有一個Master在運行，做到Master的高可用。3、Master主要負責表和Region的管理工作。管理用戶對表的增加、刪除、修改、查詢等操作，實現(xiàn)不同Region服務器之間的負載均衡。在Region分裂或合并后，負責重新調整Region的分布，對發(fā)生故障失效的Region服務器上的Region進行遷移。4、Region服務器是HBase中最核心的模塊，一個HBase服務器集群中通常包含多個Region服務器。HBase服務器主要負責Region中的數(shù)據(jù)的讀寫和管理，負責維護分配給自己的Region，并響應用戶的讀寫請求。主要架構如下：客戶端發(fā)出讀取請求時，首先會查詢該Regi

32、on在內存中的緩存“Memstore”，如果在Memstore中查到結果則直接將結果返回給客戶端；如果在“Memstore”中沒有查到匹配的數(shù)據(jù)，接下來會讀已持久化的StoreFile文件中的數(shù)據(jù)?？蛻舳税l(fā)出寫入請求時，首先會將數(shù)據(jù)寫入該Region的HLog中。數(shù)據(jù)寫入完成后，數(shù)據(jù)就會被更新到“Memstore”，最后發(fā)送給客戶端確認。當“Memstore”積累到足夠的數(shù)據(jù)時，整個數(shù)據(jù)集就被寫入到一個新的HFile中，清空緩存并在HLog里面寫入一個標記。系統(tǒng)會周期性（默認1小時）地把MemStore緩存里的內容刷寫到磁盤的StoreFile文件中，每次刷寫都生成一個新的StoreFile文

33、件，因此，每個Store包含多個StoreFile文件。5、HDFS是Hadoop的分布式存儲。HDFS的設計本質就是為了大量的數(shù)據(jù)能夠分布式存儲而存在的，如果沒有分布式存儲，分布式數(shù)據(jù)庫也沒有辦法存儲和更好的管理大數(shù)據(jù)。HDFS可以將數(shù)據(jù)存放在很多不同的機器上。而用戶不必關系具體的數(shù)據(jù)在哪，HDFS會管理這些數(shù)據(jù)。HDFS 采用Master/Slave的架構來存儲數(shù)據(jù)，這種架構主要由四個部分組成，分別為HDFS Client、NameNode、Secondary NameNode、DataNode（數(shù)據(jù)節(jié)點）。客戶端可以管理HDFS，比如啟動或者關閉，也可以通過一些命令來訪問HDFS?？蛻舳?/p>

34、在讀取數(shù)據(jù)時：首先訪問NameNode，獲取文件的位置信息。NameNode是一個管理節(jié)點，可以管理數(shù)據(jù)塊（Block）映射信息，也可以配置多副本策略，處理客戶端讀寫請求。DataNode：就是Slave。然后由NameNode發(fā)出命令，DataNode執(zhí)行實際的操作。DataNode是數(shù)據(jù)存儲節(jié)點，存儲實際的數(shù)據(jù)塊（Block）信息，同時執(zhí)行數(shù)據(jù)塊的讀/寫操作?？蛻舳嗽趯懭霐?shù)據(jù)時：首先將文件切分成多個數(shù)據(jù)塊（Block），然后發(fā)送給DataNode寫入數(shù)據(jù)。Secondary NameNode并非NameNode的熱備節(jié)點，而是一個Slave節(jié)點，只是輔助NameNode做一些工作，不能以主

35、備的方式接替NameNode提供服務，但是可輔助恢復NameNode。2.3.2 優(yōu)缺點分析分布式數(shù)據(jù)庫優(yōu)點：1、分布式架構的數(shù)據(jù)庫具有靈活的體系結構，更適合分布式的管理與控制，而且可擴展性好，也易于擴充。2、分布式架構的數(shù)據(jù)庫可靠性高，支持高可用特性，支持大規(guī)模的數(shù)據(jù)庫處理并且可以保證高性能。3、分布式數(shù)據(jù)庫通常配合使用分布式存儲進行存儲數(shù)據(jù)，支持低成本的分布式數(shù)據(jù)存儲架構，經(jīng)濟性能比較好。分布式數(shù)據(jù)庫缺點：1、分布式數(shù)據(jù)庫不管是關系型數(shù)據(jù)庫還是非關系型數(shù)據(jù)庫，都存在數(shù)據(jù)一致性問題。因為按照CAP理論，分布式數(shù)據(jù)庫主要解決容錯、性能和高可用問題，數(shù)據(jù)一致性和集中式數(shù)據(jù)庫相比會存在一定的局限性

36、，通常是選擇數(shù)據(jù)最終一致性，而在實時性上做出一些讓步。2、分布式數(shù)據(jù)庫系統(tǒng)開銷較大，因為多個數(shù)據(jù)節(jié)點都需要進行通信，如果網(wǎng)絡帶寬低，無法保證低延時特性的時候，數(shù)據(jù)的讀寫會變慢。3、數(shù)據(jù)的存取結構比較復雜，在發(fā)生故障時，如果不熟悉技術原理，可能很難恢復。而且分布式數(shù)據(jù)庫開源產(chǎn)品比較多，沒有太多成熟的商業(yè)版本產(chǎn)品可以選擇，需要用戶具備較強的技術能力，根據(jù)業(yè)務的需求選擇合適的數(shù)據(jù)庫系統(tǒng)。2.4 分布式安全2.4.1 架構說明云計算平臺提供了靈活的資源彈性配置，動態(tài)負載均衡，高可用等功能，提高了硬件資源利用率，縮短了業(yè)務部署的時間。同時也引入了新的安全問題，讓傳統(tǒng)集中式架構的安全設備失效。傳統(tǒng)基于安全

37、域/安全邊界的防護機制已經(jīng)難以滿足云計算環(huán)境下的應用模式。云計算平臺的網(wǎng)絡邊界是模糊化的，提供的是服務，對使用者身份、權限和行為的鑒別、控制與審計比較困難。主要包括：1、云計算平臺的虛擬機之間的網(wǎng)絡防護安全云計算平臺的虛擬機都在一個服務器內，虛擬機之間的網(wǎng)絡通信是通過虛擬網(wǎng)絡進行的，存在被監(jiān)聽和攻擊的風險。同時，虛擬機之間的通信流量并沒有通過外部設備進行交換，傳統(tǒng)集中式的安全設備是監(jiān)控不到的。如果某個虛擬機出現(xiàn)安全問題，那么整個云計算平臺可能都會面臨安全問題。2、云計算平臺的虛擬機之間的動態(tài)遷移安全云計算平臺的虛擬機可以按需遷移到其他服務器上，造成安全域邊界的動態(tài)化，傳統(tǒng)集中式的防護墻設備采用

38、的是固定區(qū)域邊界防護手段，在云計算平臺環(huán)境中會失效。如果新遷移的服務器上沒有對應的安全保護策略，就可能對遷移后的虛擬機造成安全威脅。下面以某分布式安全防火墻為例，說明分布式安全架構，如下圖所示：虛擬化分布式防火墻由安全策略管理平臺（云安全管理平臺）和虛擬化分布式防火墻構成，網(wǎng)絡采用VxLAN架構。云安全管理平臺負責安全策略的集中管理，并對安全策略的遷移功能提供支持。接收虛擬化安全設備的日志以及統(tǒng)計信息，集中展現(xiàn)整個虛擬化數(shù)據(jù)中心中的安全態(tài)勢。虛擬化分布式防火墻是以虛擬機形式部署在虛擬化平臺上，打破傳統(tǒng)集中式防火墻的局限，更貼近虛擬機的位置，利用虛擬網(wǎng)絡重定向機制，獲取所有虛擬機的流量，實現(xiàn)分布

39、式防火墻高級安全防護功能。虛擬化分布式防火墻，為虛擬化網(wǎng)絡環(huán)境提供東西向流量的安全防護能力?？梢宰詣釉诩褐忻總€主機上自動部署一個虛擬化分布式防火墻實例，并通過虛擬網(wǎng)絡重定向技術實現(xiàn)客戶虛擬機的流量重定向到本宿主機的虛擬化分布式防火墻中，實現(xiàn)針對虛擬機之間東西向流量進行高級安全防護。虛擬化分布式防火墻系統(tǒng)是一個具有高度綜合性、集成性的高層網(wǎng)絡安全應用系統(tǒng)，可以應用于租戶之間，或者不同安全域之間，為用戶提供虛擬機之間的安全服務。借助網(wǎng)絡功能虛擬化平臺，可以靈活方便的在虛擬網(wǎng)絡環(huán)境中部署，具有極強的靈活性和可擴展性，為用戶提供東西向的邊界安全服務。2.4.2 優(yōu)缺點分析分布式安全優(yōu)點：1、在云計算環(huán)境中，分布式安全產(chǎn)品可以針對每一個虛擬機做貼身防護，保護虛擬機網(wǎng)絡的安全和虛擬機動態(tài)遷移前后的安全威脅。2、能夠對云計算平臺提供立體的安全保護，避免云計算環(huán)境中虛擬網(wǎng)絡的不可控，保護每一個虛擬機的安全，從而保護整個云計算平臺的安全。3、分布式安全產(chǎn)品具有良好的可擴展性和功能，能夠平滑擴展支撐云計算平臺業(yè)務的增長和用戶的增加。在功能上，可以通過軟件的方式靈活提供防火墻，入侵檢測、防護、防病毒和QOS等多種安全功能，簡化了傳統(tǒng)集中式安全設備的部署架構，靈活性也更高。分布式安全缺點：1、分布式安全產(chǎn)品通常需要對云計算平臺的虛擬化網(wǎng)絡進行引流（即網(wǎng)絡重定向機制），否則獲取不到東西向流量也就沒