第1章

大數(shù)據(jù)分析系統(tǒng)

方案

目錄

第1章項(xiàng)目概述...................................................................5

1.1項(xiàng)目背景...................................................................5

1.2項(xiàng)目必要性................................................................5

13建設(shè)目標(biāo)...................................................................7

第2章需求分析...................................................................9

2.1功能及性能需求.............................................................9

2.2系統(tǒng)集成需求..............................................................10

2.3運(yùn)行環(huán)境..................................................................11

2.4安全需求..................................................................11

第3章總體設(shè)計(jì)..................................................................13

3.1總體設(shè)計(jì)原則..............................................................14

3.2總體目標(biāo)..................................................................15

3.3系統(tǒng)總體結(jié)構(gòu)..............................................................15

3.4系統(tǒng)邏輯結(jié)構(gòu)..............................................................17

第4章詳細(xì)設(shè)計(jì)方案..............................................................19

4.1信息資源規(guī)劃和數(shù)據(jù)庫設(shè)計(jì)..................................................19

4.I.I數(shù)據(jù)模型概述.........................................................19

4.1.2數(shù)據(jù)建模方法論.......................................................20

4.1.3數(shù)據(jù)建?；驹瓌t.....................................................21

4.1.4數(shù)據(jù)庫架構(gòu)設(shè)計(jì)..............................................................................................................22

4.2數(shù)據(jù)應(yīng)用支撐系統(tǒng)設(shè)計(jì)......................................................24

4.2.1大數(shù)據(jù)平臺關(guān)鍵技術(shù).....................................................24

4.2.2云平臺數(shù)據(jù)共享功能.....................................................30

4.3數(shù)據(jù)服務(wù)層計(jì)..............................................................36

4.3.1模型的應(yīng)用.............................................................37

4.3.2平臺基礎(chǔ)應(yīng)用...........................................................37

4.4數(shù)據(jù)處理和存儲系統(tǒng)設(shè)計(jì)....................................................38

4.4.1大數(shù)據(jù)處理核心技術(shù).....................................................38

4.4.2數(shù)據(jù)存儲采用MPP與hadoop融合架構(gòu)......................................39

4.5網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)..............................................................39

4.6安全系統(tǒng)設(shè)計(jì)..............................................................40

4.6.1系統(tǒng)安全滿足情況.....................................................41

4.6.2系統(tǒng)安全配置管理功能.................................................41

4.6.3系統(tǒng)無安全漏洞保障...................................................44

4.6.4軟件自身安全.........................................................47

4.6.5性能和可靠性.........................................................49

4.7運(yùn)行維護(hù)系統(tǒng)設(shè)計(jì)..........................................................51

4.7.1服務(wù)器管理......................................................................................................................51

4.7.2網(wǎng)絡(luò)設(shè)備管理..................................................................................................................51

4.7.3進(jìn)程管理..........................................................................................................................51

4.7.4服務(wù)管理..........................................................................................................................51

4.7.5數(shù)據(jù)庫管理......................................................................................................................51

4.7.6中間管理..........................................................................................................................52

4.7.7集群管理..........................................................................................................................52

4.7.8故障管理..........................................................................................................................52

4.7.9性能管理..........................................................................................................................53

4.7.10配置文件管理..................................................................................................................53

4.7.11SYSLOG管理.....................................................................................................................53

4.8其他系統(tǒng)設(shè)計(jì)..............................................................53

4.9系統(tǒng)配置及軟硬件選型原則..................................................54

4.9.1軟硬件部署.......................................................................................................................54

4.9.2數(shù)據(jù)要求..........................................................................................................................54

4.9.3技術(shù)要求..........................................................................................................................55

4.10系統(tǒng)軟硬件物理部署方案....................................................55

第5章項(xiàng)目建設(shè)與運(yùn)行管理........................................................57

5.1項(xiàng)目領(lǐng)導(dǎo)機(jī)構(gòu)..............................................................58

5.2項(xiàng)目管理機(jī)構(gòu)..............................................................58

5.3項(xiàng)目承建機(jī)構(gòu)..............................................................60

5.4運(yùn)行維護(hù)機(jī)構(gòu)..............................................................61

5.5相關(guān)管理制度..............................................................61

5.6項(xiàng)目測試..................................................................62

5.6.1單元測試...............................................................................................................................63

5.6.2集成測試...............................................................................................................................63

5.6.3系統(tǒng)測試...............................................................................................................................64

5.6.4性能測試...............................................................................................................................65

5.6.5驗(yàn)收測試...............................................................................................................................65

5.6.6安裝測試...............................................................................................................................67

5.7安全性測試................................................................67

5.7.1功能驗(yàn)證...............................................................................................................................67

5.7.2漏洞掃描...............................................................................................................................67

5.7.3模擬攻擊實(shí)驗(yàn).......................................................................................................................68

5.8項(xiàng)目驗(yàn)收..................................................................71

5.8.1項(xiàng)目驗(yàn)收要求.......................................................................................................................71

5.8.2項(xiàng)目驗(yàn)收的目的和原則.......................................................................................................72

5.8.3項(xiàng)目驗(yàn)收的組織和實(shí)施.......................................................................................................72

5.8.4項(xiàng)目驗(yàn)收的步驟和程序.......................................................................................................72

5.8.5項(xiàng)目驗(yàn)收的測試方案...........................................................................................................72

5.8.6項(xiàng)目驗(yàn)收的文檔清單...........................................................................................................72

第6章項(xiàng)目培訓(xùn)計(jì)劃..............................................................73

6.1培訓(xùn)對象和培訓(xùn)目標(biāo)........................................................74

6.2培訓(xùn)內(nèi)容74

第2章項(xiàng)目概述

2.1項(xiàng)目背景

2.2目前，隨著JW改革的不斷推進(jìn)，XX網(wǎng)絡(luò)系統(tǒng)、信息中心、

信息安全系統(tǒng)的規(guī)模不斷擴(kuò)大，各類信息應(yīng)用系統(tǒng)日趨復(fù)

雜，迫切需要借助云計(jì)算平臺，實(shí)現(xiàn)靈活、高效的軟硬件資

源分配和管理，從而有效整合XX的各類信息資源，提升XX

信息系統(tǒng)的安全性、穩(wěn)定性、可擴(kuò)展性。另一方面，隨著社

會公共安全管理的日趨復(fù)雜，XX行業(yè)通過大數(shù)據(jù)應(yīng)用，把

大量的關(guān)聯(lián)信息進(jìn)行匯總處理，可以重新認(rèn)知和感知我們

的外部環(huán)境。不但能快速鎖定疑犯，而且還可以預(yù)防和打擊

犯罪。XX云計(jì)算+大數(shù)據(jù)系統(tǒng)，將成為面向各J種的管理和

分析利器，通過高效的云計(jì)算平臺提供強(qiáng)大的大數(shù)據(jù)應(yīng)用

承載能力，面向各J種提供集中資源、集中管理、集中監(jiān)控、

配套實(shí)施的統(tǒng)一大數(shù)據(jù)應(yīng)用環(huán)境，為各J實(shí)戰(zhàn)應(yīng)用提供強(qiáng)大

支撐、服務(wù)、保障作用。云計(jì)算和大數(shù)據(jù)是改變未來XX工

作發(fā)展的新趨勢，并且已經(jīng)實(shí)實(shí)在給XX科技管理與創(chuàng)新來

了深刻的變革，有力地推動了XX各J種的工作優(yōu)化和提升。

2.3項(xiàng)目必要性

第一，構(gòu)建“智慧XX”是未來JW形態(tài)演進(jìn)的必然趨勢。

近年來，隨著XX信息化建設(shè)的持續(xù)推進(jìn)，我國XX機(jī)關(guān)的JW改革已開始邁進(jìn)智

能化發(fā)展的快車道,JW與人之間的相互感知和聯(lián)系越來越緊密，“XX大數(shù)據(jù)分析系

5

統(tǒng)”建設(shè)已成為當(dāng)代JW發(fā)展的新趨勢。

第二，構(gòu)建“智慧XX”是新一輪信息技術(shù)變革下的時(shí)代潮流。

當(dāng)前，全球正進(jìn)行物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、云計(jì)算等新一輪信息技術(shù)變革。新技術(shù)往

往孕育著新的重大突破，信息資源成為重要的XX戰(zhàn)斗力要素，信息化不僅成為推動

XXJW方式變革的重要引擎，也給整個(gè)社會管理創(chuàng)新帶來深刻變化?！癤X大數(shù)據(jù)分

析系統(tǒng)”建設(shè)將極大地創(chuàng)新XX管理方式，促進(jìn)“管制型XX”向“服務(wù)型XX”轉(zhuǎn)變。

應(yīng)當(dāng)說，經(jīng)過最近十年的發(fā)展，以網(wǎng)絡(luò)化、數(shù)字化為載體的信息化JW特征日益顯現(xiàn),

JW活動中人、事、物之間的互動能力顯著增強(qiáng)，JW工作傳載的功能不斷增多，智能

化程度逐步提高，“XX大數(shù)據(jù)分析系統(tǒng)”建設(shè)已成為現(xiàn)代信息技術(shù)變革下的時(shí)代潮

流。

第三，構(gòu)建“智慧XX”是推動XX戰(zhàn)斗力生成模式轉(zhuǎn)變的重要途徑。

XX信息化的“智慧XX”建設(shè)是一場新的JW革命，對于整合JW情報(bào)資源、改造

J情處理流程、創(chuàng)新J情研判模式、降低JW成本、實(shí)現(xiàn)JW效能的最優(yōu)化具有推動作

用。這場新JW革命的實(shí)質(zhì)是推動XX建設(shè)利JW工作由數(shù)量規(guī)模型向質(zhì)量效能型、由

人力密集型向科技密集型轉(zhuǎn)變。它要求把傳統(tǒng)的XX戰(zhàn)斗力生成模式轉(zhuǎn)變到依靠科學(xué)

技術(shù)特別是以信息技術(shù)為核心的高新技術(shù)上來。在這較變過程中，大數(shù)據(jù)將成為XX

戰(zhàn)斗力生成的核心要素。擁有對海量數(shù)據(jù)占有、控制、分析、處理的主導(dǎo)權(quán)，將大數(shù)據(jù)

優(yōu)勢轉(zhuǎn)化為XX決策優(yōu)勢，繼而轉(zhuǎn)化為治安優(yōu)勢，將成為“XX大數(shù)據(jù)分析系統(tǒng)”的制

勝關(guān)鍵。

6

2.4第四，構(gòu)建“智慧XX”有利于拓展現(xiàn)代JW功能、促進(jìn)JW

機(jī)制改革和提升JW管理精細(xì)化水平。

2.5一方面，“智慧XX”的建設(shè)和實(shí)施將促進(jìn)XX機(jī)關(guān)由傳統(tǒng)

的一元化管理職能向管理與服務(wù)功能并重、融合轉(zhuǎn)化。另一

方面，“智慧XX”的建設(shè)和應(yīng)用將改變傳統(tǒng)的“金字塔”

型XX管理體制，實(shí)現(xiàn)JW領(lǐng)導(dǎo)與指揮機(jī)制的扁平化，從而

減少中間管理層，加快信息流動，達(dá)到精減機(jī)構(gòu)、快速反

應(yīng)、即時(shí)聯(lián)動的目的。同時(shí)，構(gòu)建“智慧XX”還有助于提

高XX機(jī)關(guān)JW管理的精細(xì)化和科學(xué)化水平，提升XX機(jī)關(guān)

的執(zhí)法水平和服務(wù)水平。

2.6建設(shè)目標(biāo)

xx部推行的“扁平化指揮模式”，就是最大限度地壓縮指揮層級。減少中間環(huán)節(jié)，

優(yōu)化現(xiàn)有的情報(bào)信息管理，建立情報(bào)信息主打JW的相關(guān)機(jī)制，著力拉近指揮與實(shí)戰(zhàn)，

機(jī)關(guān)與一線的時(shí)空距離，縮短響應(yīng)時(shí)間，提高快速反應(yīng)能力。

?基于數(shù)據(jù)中心融合空間采集、電信運(yùn)營商、交管部門、XX部門、社會公眾的移

動位置等數(shù)據(jù)形成大數(shù)據(jù)環(huán)境，建立大數(shù)據(jù)分析平臺，支持J情處理、宏觀決

策、情報(bào)分析等大數(shù)據(jù)專題應(yīng)用。

?智慧XX大數(shù)據(jù)分析系統(tǒng)項(xiàng)目一期建設(shè)主要目標(biāo)為：

?建立智慧、高效的情報(bào)研判體系；

?建立扁平、快速的指揮調(diào)度體系

?建立打防一體化JW管理體系

?建立集約化的信息技術(shù)支撐體系。

7

?建立專業(yè)化的川指揮作戰(zhàn)隊(duì)伍。

8

第3章需求分析

3.1功能及性能需求

1.功能需求

2.作為XX信息化發(fā)展到高級階段的一種JW形態(tài)，“智慧XX”主要采用

大數(shù)據(jù)、云計(jì)算、等新一代信息技術(shù)，將XX工作IT基礎(chǔ)設(shè)施與物理

設(shè)施、人際環(huán)境等高度融合，以提供智能化XX決策與服務(wù)。其建設(shè)目

標(biāo)是充分利用科技創(chuàng)新，以“智慧”引領(lǐng)JW改革與發(fā)展，打造XX行

政高效、川指揮扇平、治安管控聯(lián)動、XX服務(wù)便捷的良性XX工作機(jī)

制。“智慧XX”建設(shè)是一項(xiàng)涉及XX機(jī)關(guān)內(nèi)外各領(lǐng)域、各部門的復(fù)雜

系統(tǒng)工程，需要從整體上進(jìn)行統(tǒng)一規(guī)劃協(xié)調(diào)，做好頂層設(shè)計(jì)。

3.性能需求

?軟件系統(tǒng)必須保證質(zhì)量，并在實(shí)施前經(jīng)過完全測試；

?系統(tǒng)應(yīng)具備自動報(bào)J功能，以提醒系統(tǒng)管理員避免出現(xiàn)系統(tǒng)崩潰等嚴(yán)重事件；

?主服務(wù)器宕機(jī)時(shí)，可實(shí)時(shí)地切換到備用服務(wù)器上，用戶的應(yīng)用應(yīng)該不受影響；

?主備切換時(shí)，業(yè)務(wù)不感知，任務(wù)不失敗，業(yè)務(wù)不會中斷；

?主備切換時(shí)間小于1秒；

?故障節(jié)點(diǎn)重啟時(shí)間小于2分鐘；

?系統(tǒng)不得出現(xiàn)數(shù)據(jù)丟失、切換失敗等，影響正常業(yè)務(wù)運(yùn)行的故障；

?服務(wù)器端系統(tǒng)應(yīng)可長期穩(wěn)定運(yùn)行，必須支持負(fù)載均衡能力，確保無單點(diǎn)故障；

?不會因長期使用或負(fù)載過高導(dǎo)致系統(tǒng)故障。

系統(tǒng)應(yīng)具有良好的并行處理機(jī)制，對存取沖突的競爭具有有效的仲裁和加鎖機(jī)制,

充分保證事務(wù)處理的完整性，并降低系統(tǒng)I/O開銷，提高并發(fā)用戶查詢和存取的性

能。

9

3.2平臺提供自底層硬件到上層處理流程的全面監(jiān)控體系，幫

助運(yùn)維人員快速定位問題解決問題，使系統(tǒng)持續(xù)健康穩(wěn)定

的運(yùn)行。

3.3系統(tǒng)集成需求

＞軟件平臺具備集成內(nèi)外各種運(yùn)行系統(tǒng)的基本能力。軟件平臺集成性

包括以下幾個(gè)方面：

＞軟件平臺具備對不同廠家提供的各類軟件產(chǎn)品接入、運(yùn)營、監(jiān)控能力；

?軟件平臺提供獨(dú)立的集成平臺來提供各種集成手段實(shí)現(xiàn)和移動現(xiàn)有業(yè)務(wù)支撐

系統(tǒng)和能力系統(tǒng)的集成，以及對于今后有可能存在的各類業(yè)務(wù)平臺進(jìn)行業(yè)務(wù)

引入的接口能力等。集成手段包括實(shí)時(shí)調(diào)用、批量數(shù)據(jù)交換等方式，集成接口

兼容WEBSERVICE、FTP、XML等方式，可以提供服務(wù)的封裝能力。集成平臺能

力包括以下方面：

?數(shù)據(jù)路由：能夠?qū)?jīng)由應(yīng)用集成平臺的數(shù)據(jù)進(jìn)行檢查和過濾，根據(jù)預(yù)定義的

規(guī)則實(shí)現(xiàn)基于主題或數(shù)據(jù)內(nèi)容的動態(tài)路由機(jī)制，應(yīng)支持點(diǎn)對點(diǎn)、廣播以及發(fā)布

/訂閱方式；

?協(xié)議轉(zhuǎn)換：具有系統(tǒng)間傳輸/調(diào)用協(xié)議轉(zhuǎn)換的能力，這些協(xié)議包括但不限于

JMS、FTP、CORBA、Socket、HTTP等；

?格式轉(zhuǎn)換：具有不同數(shù)據(jù)格式轉(zhuǎn)換的能力，能夠?qū)碜圆煌瑧?yīng)用系統(tǒng)的數(shù)據(jù)進(jìn)

行識別和解析，能夠以圖形化方式定制不同的數(shù)據(jù)轉(zhuǎn)換邏輯，實(shí)現(xiàn)數(shù)據(jù)格式

的轉(zhuǎn)換和數(shù)據(jù)內(nèi)容的整埋；

?消息映射：將來自于源系統(tǒng)的消息結(jié)構(gòu)或業(yè)務(wù)數(shù)據(jù)對象映射為目標(biāo)系統(tǒng)的消

息結(jié)構(gòu)或業(yè)務(wù)數(shù)據(jù)對象；

?事件處理：支持事件驅(qū)動的架構(gòu)技術(shù)，支持對系統(tǒng)之間信息交換事件的獲取、

處理和監(jiān)控；

10

?集成監(jiān)控：提供對接入訪問、數(shù)據(jù)傳輸和集成服務(wù)等各種集成處理能力的監(jiān)控

功能，可根據(jù)各種日志查詢并監(jiān)控應(yīng)用集成組件的運(yùn)行情況。

3.4數(shù)據(jù)傳輸：實(shí)現(xiàn)各種應(yīng)用之間的數(shù)據(jù)交換，數(shù)據(jù)交換支持基

于消息隊(duì)列和文件傳輸?shù)饶Ｊ健＜善脚_要能保證應(yīng)用時(shí)間

數(shù)據(jù)傳輸?shù)目煽啃?，支持交易的完整性，支持?jǐn)?shù)據(jù)傳輸?shù)牟?/p>

行處理，并且支持管理人員對數(shù)據(jù)傳輸?shù)倪^程進(jìn)行監(jiān)控和

干預(yù)。

3.5數(shù)據(jù)訪問：支持但不限于JDBC、ODBC等多種數(shù)據(jù)庫接入

模式。

3.6運(yùn)行環(huán)境

3.7智慧XX大數(shù)據(jù)分析系統(tǒng)服務(wù)平臺需要接收來自XX系統(tǒng)各

部門的數(shù)據(jù)資源，各權(quán)屬單位向系統(tǒng)共享、交換業(yè)務(wù)數(shù)據(jù),

系統(tǒng)需要提供相應(yīng)的匯交、接收工具，以及導(dǎo)入、導(dǎo)出工具,

業(yè)務(wù)數(shù)據(jù)的查詢、統(tǒng)計(jì)等功能，并可以對外發(fā)布。

3.8安全需求

1.物理安全要求

物理安全要求包括但不限于：物理位置的選擇、物理訪問控制、供電安全保障、

防火防潮等。

2.網(wǎng)絡(luò)及設(shè)備安全要求

網(wǎng)絡(luò)安全要求包括但不限于：系統(tǒng)部署所在的網(wǎng)絡(luò)結(jié)構(gòu)安全、設(shè)備入侵防范、設(shè)

備防護(hù)、安全審計(jì)等。

11

3.數(shù)據(jù)安全性耍求

包括數(shù)據(jù)存儲的安全性、數(shù)據(jù)傳輸?shù)陌踩浴?shù)據(jù)傳輸?shù)耐暾浴?shù)據(jù)傳輸?shù)恼?/p>

確性、數(shù)據(jù)傳輸?shù)募皶r(shí)性、數(shù)據(jù)備份及恢復(fù)機(jī)制、異常處理機(jī)制等。

4.系統(tǒng)安全要求

包括數(shù)據(jù)資源及應(yīng)用模塊的等級訪問控制、身份鑒別（不限于數(shù)字證書應(yīng)用）及

不可抵賴性、安全審計(jì)、系統(tǒng)的容錯(cuò)性等。

5.應(yīng)用安全要求

（1）以CA認(rèn)證系統(tǒng)為基礎(chǔ)，實(shí)現(xiàn)用戶與服務(wù)資源的雙向認(rèn)證機(jī)制；（2）以基于

角色的授權(quán)原則，建立與政務(wù)信息資源共享平臺業(yè)務(wù)、平臺管理人員、部門管理

人員崗位職責(zé)相對應(yīng)的權(quán)限管理機(jī)制及統(tǒng)一的安全登陸機(jī)制；（3）以密碼技術(shù)為

基礎(chǔ)的數(shù)據(jù)完整與保密機(jī)制；（4）對安全事件進(jìn)行審計(jì)機(jī)制以及根據(jù)政務(wù)信息資

源共享平臺不同的業(yè)務(wù)、數(shù)據(jù)應(yīng)用需求而采用標(biāo)準(zhǔn)的安全協(xié)議；（5）對應(yīng)用進(jìn)行

嚴(yán)格的監(jiān)控，實(shí)時(shí)掌握個(gè)應(yīng)用系統(tǒng)資源的消耗、運(yùn)行的狀況，保障服務(wù)的連續(xù)性

和可用性。

6.制度安全

7.包括項(xiàng)目管理制度、系統(tǒng)巡檢及維護(hù)制度、數(shù)據(jù)備份制度、各類緊急應(yīng)急措施;

明確該項(xiàng)目基于該制度下的職責(zé)分工。

8.具有豐富安全特性的交換機(jī)構(gòu)成數(shù)據(jù)中心網(wǎng)絡(luò)的第一重保護(hù)；

9.具有高性能檢測引擎的IPS對網(wǎng)絡(luò)報(bào)文深度檢測，構(gòu)成數(shù)據(jù)中心網(wǎng)絡(luò)第二重保

護(hù)；

12

第4章10.憑借高性能硬件防火墻構(gòu)成的數(shù)據(jù)中心網(wǎng)絡(luò)邊界，對數(shù)據(jù)中心網(wǎng)絡(luò)

做第三重保護(hù)。

13

第5章總體設(shè)計(jì)

5.1總體設(shè)計(jì)原則

遵循相應(yīng)標(biāo)準(zhǔn)：系統(tǒng)的設(shè)計(jì)應(yīng)符合國家、省及有關(guān)信息化建設(shè)的政策法規(guī)、規(guī)范

和標(biāo)準(zhǔn)，并考慮與正在制定或即將出臺的相關(guān)政策法規(guī)、規(guī)范和標(biāo)準(zhǔn)的銜接。

技術(shù)先進(jìn)性：平臺作為一個(gè)大投資、復(fù)雜度高、周期長的網(wǎng)絡(luò)數(shù)據(jù)應(yīng)用系統(tǒng)，必

須在開發(fā)初期考慮到技術(shù)的延展性。作為應(yīng)用系統(tǒng)建設(shè)的首要要求，就是應(yīng)當(dāng)保證系

統(tǒng)在未來的幾年中在軟件基礎(chǔ)結(jié)構(gòu)和應(yīng)用形態(tài)方面的技術(shù)先進(jìn)性。

安全性和可靠性：運(yùn)用先進(jìn)的訪問控制、身份認(rèn)證等技術(shù)防止非法用戶入侵；保

證系統(tǒng)在異常情況下的正確可靠運(yùn)行。

數(shù)據(jù)的完整性和一致性：數(shù)據(jù)在全網(wǎng)各個(gè)應(yīng)用系統(tǒng)中的采集、存儲、傳輸和處理

應(yīng)當(dāng)保持完整和一致。

易擴(kuò)展性：所有的產(chǎn)品均考慮到應(yīng)用及系統(tǒng)不斷擴(kuò)展的要求，以形成一個(gè)易于管

理、可持續(xù)發(fā)展的體系結(jié)構(gòu)。未來業(yè)務(wù)的擴(kuò)展只須在現(xiàn)有機(jī)制、標(biāo)準(zhǔn)的基礎(chǔ)上，增加

新的應(yīng)用與服務(wù)模塊。

易用性：用戶界面規(guī)范統(tǒng)一直觀，易于用戶掌握；提供方便的軟件配置、管理和

分發(fā)手段，門戶網(wǎng)站系統(tǒng)作為信息系統(tǒng)統(tǒng)一架構(gòu)體系，要求具備保持基本功能統(tǒng)一的

前提下，能靈活開發(fā)擴(kuò)展功能，采用統(tǒng)一的接口技術(shù)和接口規(guī)范。

互操作能力：在不同層次的各個(gè)應(yīng)用系統(tǒng)之間的數(shù)據(jù)應(yīng)能充分共享，并通過技術(shù)

手段實(shí)現(xiàn)應(yīng)用程序之間的互操作。

規(guī)范性：規(guī)范性包括業(yè)務(wù)規(guī)范、開發(fā)規(guī)范、術(shù)語規(guī)范和數(shù)據(jù)規(guī)范等方面。

14

5.2可維護(hù)性及可擴(kuò)展性：應(yīng)用系統(tǒng)要便于維護(hù)，并可實(shí)現(xiàn)跨

平臺運(yùn)行，同時(shí)應(yīng)留有與未來工程的軟件接口，確保系統(tǒng)

能夠擴(kuò)展、升級。

5.3實(shí)用性：提供方便的軟件工具，便于系統(tǒng)的配置、管理和維

護(hù)，門戶網(wǎng)站系統(tǒng)將針對不同類型的信息訪問者提供不同

的信息展現(xiàn)內(nèi)容，使用戶根據(jù)自身對信息的訪問要求，迅

速獲取相關(guān)的信息內(nèi)容，從而充分發(fā)揮門戶系統(tǒng)的渠道、橋

梁作用。

5.4信息兼容性強(qiáng)：系統(tǒng)的建設(shè)支持對現(xiàn)有數(shù)據(jù)庫數(shù)據(jù)的實(shí)時(shí)抽

取，自動轉(zhuǎn)化成統(tǒng)一的XML格式并且集成后的數(shù)據(jù)由本平臺

統(tǒng)一管理、聯(lián)合查詢、綜合分析。另外，對于查詢基礎(chǔ)業(yè)務(wù)

系統(tǒng)內(nèi)數(shù)據(jù)的請求，要能夠?qū)崟r(shí)的對多個(gè)不同的數(shù)據(jù)庫進(jìn)

行聯(lián)合查詢，還包括了對文檔，影音文件等內(nèi)容，因此要

求本系統(tǒng)的建設(shè)必須能夠?qū)Ψ墙Y(jié)構(gòu)化的數(shù)據(jù)統(tǒng)一管理、聯(lián)合

查詢。

5.5總體目標(biāo)

5.6基于先進(jìn)的云服務(wù)體系，建立統(tǒng)一的JW大數(shù)據(jù)平臺和數(shù)據(jù)

中心，利用大數(shù)據(jù)、空間數(shù)據(jù)采集等技術(shù)，通過整合JW指

揮體系及電信運(yùn)營商、交通部門、大數(shù)據(jù)中心信息挖掘，實(shí)

現(xiàn)信息最大共享的基礎(chǔ)上，構(gòu)建JW指揮核心智慧應(yīng)用方案。

15

5.7系統(tǒng)總體結(jié)構(gòu)

本項(xiàng)目系統(tǒng)總體架構(gòu)，是在統(tǒng)一的基礎(chǔ)設(shè)施支撐下，依據(jù)智慧xx大數(shù)據(jù)中心建設(shè)目標(biāo),

建立統(tǒng)一的大數(shù)據(jù)資源中心，構(gòu)建自主可控的統(tǒng)一信息安全保障體系。在統(tǒng)一的技術(shù)標(biāo)

準(zhǔn)和業(yè)務(wù)規(guī)范支撐下，建立數(shù)據(jù)采集、數(shù)據(jù)清洗、質(zhì)量管理、信息安全服務(wù)和資源統(tǒng)一

調(diào)度等系統(tǒng)，并通過內(nèi)、外網(wǎng)服務(wù)支撐其他智慧應(yīng)用，建設(shè)覆蓋全區(qū)的公共數(shù)據(jù)綜合服

務(wù)體系。平臺架構(gòu)如下圖所示：

1

應(yīng)用云智慧情報(bào)（一智慧指揮）|一智慧勤務(wù)

服務(wù)I研句?室調(diào)度方案管理方案

服務(wù)

基礎(chǔ)云

服務(wù)

圖4-1智慧XXJW大數(shù)據(jù)分析系統(tǒng)總體架構(gòu)示意圖

laaS層：利用虛擬化技術(shù)將計(jì)算、存儲和網(wǎng)絡(luò)等基礎(chǔ)硬件資源，以邏輯方式形成

基礎(chǔ)資源池層，再將資源池提供的虛擬機(jī)、虛擬存儲或虛擬端口組等經(jīng)過二次封裝與

組合、調(diào)度使用，形成一個(gè)個(gè)面向組織用戶的虛擬服務(wù)器、虛擬桌面或者云存儲系統(tǒng),

通過這樣的形式為系統(tǒng)的各業(yè)務(wù)單位提供資源服務(wù)；同時(shí)提供物理資源和虛擬資源的

統(tǒng)一。

16

5.8PaaS層：在laaS層基礎(chǔ)上，提供開放式XX基礎(chǔ)大數(shù)據(jù)處

理平臺整合XX內(nèi)部數(shù)據(jù)和運(yùn)營商數(shù)據(jù)，提供分布式數(shù)據(jù)庫

來解決海量結(jié)構(gòu)化數(shù)據(jù)的管理和數(shù)據(jù)交互，提供標(biāo)準(zhǔn)SQL

接口、JDBC技術(shù)，能夠與前臺應(yīng)用進(jìn)行無縫對接；同時(shí)提

供海量流式計(jì)算處理cstorm,能夠?qū)崟r(shí)處理大規(guī)模并發(fā)任

務(wù)的負(fù)載均衡和任務(wù)分發(fā)，做到所有任務(wù)實(shí)時(shí)分發(fā)處理,

不堆積，做到高度可靠性，任何任務(wù)處理過程中不會丟失，

保障所有任務(wù)都能夠處理完。

5.9SaaS層：平臺能夠支撐所有電信運(yùn)營商、XXJW系統(tǒng)數(shù)據(jù)運(yùn)

行，所有業(yè)務(wù)數(shù)據(jù)統(tǒng)一管理，根據(jù)權(quán)限做到絕對安全訪問，

基于數(shù)據(jù)中心利用大數(shù)據(jù)、空間數(shù)據(jù)采集等技術(shù)，通過整合

XX部門、電信運(yùn)營商等多部門采集的移動位置、輿情信息等,

建立宏觀決策,J情分析、JW調(diào)度管理等分析模型，為JW

及公共安全管理提供大數(shù)據(jù)專題分析及應(yīng)用。

5.10系統(tǒng)邏輯結(jié)構(gòu)

17

應(yīng)用服務(wù)（第三方提供商）

指揮調(diào)度應(yīng)用情報(bào)研判應(yīng)用勤務(wù)管理應(yīng)用

N統(tǒng)計(jì)

1分析?

開雌口API(f布隹SQL、SDK.WEBSERVICE、RESTFUL.….\

3可視化日志留存內(nèi)谷松索裾辣分析OLAP

人際關(guān)系.通話記錄、住宿.短信.Email內(nèi)容跟隨分析.

行為分析交通統(tǒng)計(jì)?報(bào)表過濾等其他信息人臉識別

圖4-2XX大數(shù)據(jù)庫邏輯架構(gòu)圖

MPP架構(gòu)的新型數(shù)據(jù)庫集群，重點(diǎn)面向行業(yè)大數(shù)據(jù)，采用SharedNothing

架構(gòu)，通過列存儲、粗粒度索引等多項(xiàng)大數(shù)據(jù)處理技術(shù)，再結(jié)合MPP架構(gòu)

高效的分布式計(jì)算模式，完成對分析類應(yīng)用的支撐，運(yùn)行環(huán)境多為低成本

PCServer,具有高性能和高擴(kuò)展性的特點(diǎn)，在企業(yè)分析類應(yīng)用領(lǐng)域獲得極

其廣泛的應(yīng)用。

18

第6章詳細(xì)設(shè)計(jì)方案

6.1信息資源規(guī)劃和數(shù)據(jù)庫設(shè)計(jì)

6.1.1數(shù)據(jù)模型概述

?xx大數(shù)據(jù)模型是采用一種與技術(shù)實(shí)現(xiàn)無關(guān)的方式，對系統(tǒng)內(nèi)的業(yè)務(wù)信息，以及

各類信息之間關(guān)聯(lián)關(guān)系的數(shù)據(jù)描述。數(shù)據(jù)模型是數(shù)據(jù)倉庫建設(shè)的基礎(chǔ)，是建設(shè)

數(shù)據(jù)倉庫必不可少的一個(gè)環(huán)節(jié)。一個(gè)統(tǒng)一、完整、靈活、穩(wěn)定的數(shù)據(jù)模型對數(shù)

據(jù)倉庫項(xiàng)目的成功起著重要作用，并且至少滿足以下幾點(diǎn)：

?統(tǒng)一溝通口徑

?數(shù)據(jù)模型形成對業(yè)務(wù)定義和術(shù)語的統(tǒng)一認(rèn)識，是各部門之間溝通的橋梁，使不

同部門、單位的業(yè)務(wù)人員、應(yīng)用開發(fā)人員和系統(tǒng)管理人員對系統(tǒng)的理解達(dá)成一

致；

?數(shù)據(jù)整合與管控

?數(shù)據(jù)模型是整合多種數(shù)據(jù)源的重要手段。數(shù)據(jù)模型為復(fù)雜的數(shù)據(jù)倉庫系統(tǒng)實(shí)施

提供規(guī)范和基礎(chǔ)結(jié)構(gòu)，建立起各個(gè)業(yè)務(wù)系統(tǒng)與數(shù)據(jù)倉庫之間的映射關(guān)系，實(shí)現(xiàn)

源數(shù)據(jù)的有效整合和集中管控；

?增強(qiáng)分析能力

?通過數(shù)據(jù)建模，可以更全面抽象數(shù)據(jù)的維度和指標(biāo)關(guān)聯(lián)信息，全面反映數(shù)據(jù)本

質(zhì)，使數(shù)據(jù)反映的業(yè)務(wù)更加清晰，最大化數(shù)據(jù)價(jià)值；

?促進(jìn)數(shù)據(jù)標(biāo)準(zhǔn)化

?通過數(shù)據(jù)模型的建立，排除數(shù)據(jù)描述的不一致性。如：同名異義、同物異名等

等，更有利于從完整性、及時(shí)性、一致性等方面對數(shù)據(jù)質(zhì)量進(jìn)行管控。

?提升擴(kuò)展性

系統(tǒng)設(shè)計(jì)應(yīng)該考慮到系統(tǒng)后續(xù)的應(yīng)用擴(kuò)展，系統(tǒng)整合，增加接口系統(tǒng)等擴(kuò)展性,

19

數(shù)據(jù)建?？梢詾楹罄m(xù)系統(tǒng)在接口層面和應(yīng)用層面的擴(kuò)展提供基礎(chǔ);

6.1.2因此，通過構(gòu)建性能管理系統(tǒng)的統(tǒng)一數(shù)據(jù)模型，能統(tǒng)一和標(biāo)

準(zhǔn)化系統(tǒng)的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)一致性，最大化數(shù)據(jù)價(jià)值,

輔助提升數(shù)據(jù)質(zhì)量，增強(qiáng)系統(tǒng)數(shù)據(jù)應(yīng)用能力和系統(tǒng)擴(kuò)展

性。

6.1.3數(shù)據(jù)建模方法論

xx數(shù)據(jù)倉庫建模方法從方向和驅(qū)動力來分，可以分為“自頂向下、逐步求精”

以及“自底向上、綜合集成”兩種。

全數(shù)據(jù)應(yīng)用，一一、

局

數(shù)

據(jù)

接

口

數(shù)據(jù)倉庫

數(shù)據(jù)報(bào)表集市IAPI接口

日志管理

數(shù)

日志掃描數(shù)

據(jù)

據(jù)

質(zhì)

數(shù)據(jù)倉庫管理倉

量

庫

中

應(yīng)用系統(tǒng)管理心

數(shù)據(jù)獲取

血統(tǒng)分析轉(zhuǎn)換Tranfer/裝栽Load

其他元數(shù)據(jù)管

理

全局?jǐn)?shù)據(jù)應(yīng)用元數(shù)據(jù)管理

圖5T數(shù)據(jù)倉庫建模方法

20

自頂而下的建模方法根據(jù)業(yè)務(wù)需求和業(yè)務(wù)問題來明確系統(tǒng)邊界，劃分主題域，

再進(jìn)行逐步細(xì)化，建立反映企業(yè)業(yè)務(wù)規(guī)則和業(yè)務(wù)關(guān)系的實(shí)體和實(shí)體關(guān)系。在業(yè)務(wù)需

求明確的時(shí)候，該方法可以提高分析效率；

自底向上的建模方法需要整合各業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)，先抽象業(yè)務(wù)規(guī)則，劃分主題

域，再進(jìn)行逐步細(xì)化，建立反映企業(yè)業(yè)務(wù)規(guī)則和業(yè)務(wù)關(guān)系的實(shí)體和實(shí)體關(guān)系。這種方

法更關(guān)注搭建企業(yè)數(shù)據(jù)框架，建立完整的企業(yè)信息視圖；

6.1.4在實(shí)際系統(tǒng)數(shù)據(jù)建模過程中通常采用這兩種方法相結(jié)合，綜

合運(yùn)用。

6.1.5數(shù)據(jù)建?；驹瓌t

?標(biāo)準(zhǔn)化、規(guī)范化原則

?數(shù)據(jù)模型應(yīng)遵從統(tǒng)一的主題域劃分和實(shí)體命名規(guī)則，保證模型的標(biāo)準(zhǔn)化和規(guī)范

化；

?先進(jìn)性原則

?要求邏輯模型在設(shè)計(jì)上吸收業(yè)界、國內(nèi)外優(yōu)秀的建模經(jīng)驗(yàn)與方法，確保模型的

先進(jìn)性；

?一致性原則

?數(shù)據(jù)模型的設(shè)計(jì)要能夠確保數(shù)據(jù)的一致性，消除各數(shù)據(jù)源的數(shù)據(jù)不一致性，以

保證數(shù)據(jù)模型內(nèi)的信息是關(guān)于整個(gè)企業(yè)一致的全局信息；

?擴(kuò)展性原則

?要求數(shù)據(jù)模型具備良好的可擴(kuò)展性，支持對模型的迭代性演進(jìn)。當(dāng)業(yè)務(wù)需求提

出新問題或有新的數(shù)據(jù)加入模型時(shí)，要求數(shù)據(jù)模型能夠確?，F(xiàn)有的數(shù)據(jù)和應(yīng)用

都不發(fā)生改變，更不得導(dǎo)致系統(tǒng)崩潰；

?自上而下的設(shè)計(jì)與自下而上的驗(yàn)證原則

21

?數(shù)據(jù)模型是為業(yè)務(wù)分析服務(wù)的，所以在創(chuàng)建模型時(shí)，應(yīng)以業(yè)務(wù)需求為驅(qū)動。根

據(jù)業(yè)務(wù)需求采用自上而下的方法設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)模型，并且采取迭代演進(jìn)的模

式，逐步豐富數(shù)據(jù)模型，逐步求精。同時(shí)，為了驗(yàn)證設(shè)計(jì)與實(shí)現(xiàn)的合理性與正

確性，要求以實(shí)際數(shù)據(jù)對模型進(jìn)行自下而上的驗(yàn)證；

?簡單可識別原則

實(shí)體命名等要遵循簡潔、能直接識別出業(yè)務(wù)意義的原則。

6.1.6數(shù)據(jù)庫架構(gòu)設(shè)計(jì)

本工程采用主流成熟的開發(fā)框架和產(chǎn)品組件進(jìn)行開發(fā)，采用多層體系結(jié)構(gòu)來構(gòu)建符合

標(biāo)準(zhǔn)與管理規(guī)范體系、安全與運(yùn)行保障體系的高可住性系統(tǒng)。綜上，本項(xiàng)目開發(fā)的整體

技術(shù)架構(gòu)如下：

2、數(shù)據(jù)管控么

過程數(shù)據(jù)：結(jié)果數(shù)據(jù)4-

數(shù)臉g|數(shù)

據(jù)

數(shù)據(jù)等級！

挖

數(shù)據(jù)限!|掘

數(shù)據(jù)沙盤(SandBox)

生命周期

故臉全

日志率計(jì)據(jù)敢據(jù)油取一猿轉(zhuǎn)接II數(shù)雄峨

O5

….內(nèi)部觸據(jù)______一、外部數(shù)據(jù)

2情敢提II大情商嬴值［重點(diǎn)人員蜘居］I政蘇數(shù)也

圖5-2智慧XXJW大數(shù)據(jù)分析系統(tǒng)總體技術(shù)架構(gòu)示意圖

1）數(shù)據(jù)采集層，負(fù)責(zé)從XX系統(tǒng)內(nèi)外部系統(tǒng)獲取基礎(chǔ)數(shù)據(jù)，包括XX系統(tǒng)內(nèi)部數(shù)據(jù)、

運(yùn)營商數(shù)據(jù)、行業(yè)信息數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)及手工導(dǎo)入數(shù)據(jù)，以及移動通信網(wǎng)絡(luò)

的信息數(shù)據(jù)。外部系統(tǒng)在向本系統(tǒng)輸出基礎(chǔ)數(shù)據(jù)之前，需要開發(fā)一套程序完成

原始的格式轉(zhuǎn)換和數(shù)據(jù)處理。首先要屏蔽用戶隱私信息，即用戶號碼信息全部

剔除，輸出時(shí)采用經(jīng)過加密的用戶數(shù)據(jù)。其次需要篩選出關(guān)鍵字段，每條記錄

22

都是原始數(shù)據(jù)的幾十個(gè)字段抽取出幾個(gè)關(guān)鍵字段，這樣能大大減少數(shù)據(jù)存儲

量。

2）數(shù)據(jù)管控層，通過數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)等級、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量等標(biāo)準(zhǔn)化的規(guī)則

管理和調(diào)度控制，建立各類數(shù)據(jù)稽核手段、數(shù)據(jù)質(zhì)量分析體系，確保平臺數(shù)據(jù)

一致性、完整性、合規(guī)性，實(shí)現(xiàn)信息共享和數(shù)據(jù)的高效流轉(zhuǎn)。

?數(shù)據(jù)存儲層，負(fù)責(zé)對獲取的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，并準(zhǔn)確匹配

到上層定義好的各類計(jì)算模型。數(shù)據(jù)管控層采用了基于開源的Hadoop分布

式架構(gòu)，將傳統(tǒng)ETL的數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)校驗(yàn)工作承

載在智慧XX大數(shù)據(jù)云計(jì)算平臺上，大大降低了大數(shù)據(jù)的處理成本，提升海

量數(shù)據(jù)處理的及時(shí)性。

?數(shù)據(jù)挖掘?qū)樱饕獙?shù)據(jù)進(jìn)行建模和分析，模型的主要類型有：

?關(guān)聯(lián)分析?：是在關(guān)系數(shù)據(jù)中，發(fā)現(xiàn)存在于項(xiàng)目集或?qū)ο蠹g的關(guān)聯(lián)規(guī)則,

包括關(guān)聯(lián)、相關(guān)性、因果結(jié)構(gòu)或頻繁出現(xiàn)的模式。常用的關(guān)聯(lián)分析算法有

Apriori算法及它的各種改進(jìn)或擴(kuò)展算法。

?分類分析：分類是實(shí)現(xiàn)定義好類別，屬于有指導(dǎo)學(xué)習(xí)范疇。分類分析是根

據(jù)數(shù)據(jù)的特征為每個(gè)類建立一個(gè)模型，根據(jù)數(shù)據(jù)的屬性將數(shù)據(jù)分配到不同

的組中。常用分類算法有決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯分類等。

聚類分析：是按照某種相近程度度量方法將數(shù)據(jù)分成互不相同的一些分組，實(shí)現(xiàn)

每一聚類內(nèi)部的相似性很高、各聚類之間的相似性很低。常用的聚類算法有K均值、

最近鄰、神經(jīng)網(wǎng)絡(luò)等。

預(yù)測模型分析：是從數(shù)據(jù)庫或數(shù)據(jù)倉庫中已知的數(shù)據(jù)推測位置的數(shù)據(jù)或?qū)ο蠹?/p>

某些屬性的值分布。建立預(yù)測模型的常用方法包括回歸分析、線型模型、支持矢量集、

決策樹預(yù)測、遺傳算法、隨機(jī)森林算法等。

文本挖掘：文本是無結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)，文本挖掘是從文本數(shù)據(jù)中推導(dǎo)出模

式，其過程是通過文本分析、特征提取、模式分析的過程來實(shí)現(xiàn)。主要技術(shù)包括文本

結(jié)構(gòu)分析、文本特征提取、文本檢索、文本自動分類/聚類、文檔自動摘要、話題檢測

23

與追蹤、文本過濾、文本情感分析等。數(shù)據(jù)服務(wù)層，采用模塊化獨(dú)立封裝技術(shù)與標(biāo)準(zhǔn)

化應(yīng)用接口，功能強(qiáng)大且擴(kuò)展性強(qiáng)，提供數(shù)據(jù)發(fā)布/訂閱服務(wù)、檢索、統(tǒng)計(jì)、分析類服

務(wù)集，并可通過定制服務(wù)集平滑擴(kuò)展其他服務(wù)。

6.2數(shù)據(jù)應(yīng)用支撐系統(tǒng)設(shè)計(jì)

6.2.1大數(shù)據(jù)平臺關(guān)鍵技術(shù)

（1）云平臺流式計(jì)算技術(shù)

Storm為分布式實(shí)時(shí)計(jì)算提供了一組通用原語，可被用于“流處理”之中，實(shí)時(shí)處

理消息并更新數(shù)據(jù)庫。這是管理隊(duì)列及工作者集群的另一種方式。Storm也可被用于

“連續(xù)計(jì)算"（continuouscomputation）,對數(shù)據(jù)流做連續(xù)查詢，在計(jì)算時(shí)就將結(jié)

果以流的形式輸出給用戶。它還可被用于“分布式RPC”，以并行的方式運(yùn)行昂貴的運(yùn)

算。

Storm可以方便地在一個(gè)計(jì)算機(jī)集群中編寫與擴(kuò)展復(fù)雜的實(shí)時(shí)計(jì)算，Storm用于實(shí)

時(shí)處理，就好比Hadoop用于批處理。Storm保證每個(gè)消息都會得到處理，而且它很

快在一個(gè)小集群中，每秒可以處理數(shù)以百萬計(jì)的消息。更棒的是你可以使用任意

編程語言來做開發(fā)。

Storm有許多應(yīng)用領(lǐng)域，包括實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、信息流處理（例如，可以使用

Storm處理新的數(shù)據(jù)和快速更新數(shù)據(jù)庫）、連續(xù)性的計(jì)算（例如，使用Storm連續(xù)查詢，

然后將結(jié)果返回給客戶端，如將微博上的熱門話題轉(zhuǎn)發(fā)給用戶）、分布式RPC（遠(yuǎn)過程

調(diào)用協(xié)議，通過網(wǎng)絡(luò)從遠(yuǎn)程計(jì)算機(jī)程序上請求服務(wù)）、ETL（ExtractionTransformation

Loading,數(shù)據(jù)抽取、轉(zhuǎn)換和加載）等。

cstorm集群由一個(gè)主節(jié)點(diǎn)和多個(gè)工作節(jié)點(diǎn)組成。主節(jié)點(diǎn)運(yùn)行了一個(gè)名為“cnimbus”的

守護(hù)進(jìn)程，用于故障檢測。每個(gè)工作節(jié)點(diǎn)都運(yùn)行了一個(gè)名為"csupervisor”的守護(hù)進(jìn)

程，用于監(jiān)聽工作，開始、并終止工作進(jìn)程。同時(shí)，csupervisor監(jiān)聽分配給它的機(jī)器，

根據(jù)cnimbus的委派，在必要時(shí)啟動和關(guān)閉工作進(jìn)程。每個(gè)工作進(jìn)程執(zhí)行topology

的一個(gè)子集。一個(gè)運(yùn)行中的topology由很多運(yùn)行在很多機(jī)器上的工作進(jìn)程組成。

24

cnimbus和csupervisor都能快速失敗，而且是無狀態(tài)的，這樣一來它們就變得十分

健壯，兩者的協(xié)調(diào)工作是由ApacheZooKeeper來完成的。

ZooKeeper

NimbusZooKeeper

ZooKeeper

圖5-3部署方式

cstorm可保證一個(gè)Spout發(fā)射出的每個(gè)元組都會處理；如果它在超時(shí)時(shí)間內(nèi)沒有

處理，cstorm會從該Spout重放該元組。

消息流是cstorm里面的最關(guān)鍵的抽象對象。一個(gè)消息流是一個(gè)沒有邊界的tuple

（兀組）序列，而這些tuples會被以一種分布式的方式并行地創(chuàng)建和處理。對消息流

的定義主要是對消息流里面的tuple的定義，我們會給tuple里的每個(gè)字段一個(gè)名

字。并且不同tuple的對應(yīng)字段的類型必須一樣。也就是說：兩個(gè)tuple的第一個(gè)字

段的類型必須一樣，第二個(gè)字段的類型必須一樣，但是第一個(gè)字段和第二個(gè)字段可以

有不同的類型。

每個(gè)類型的流都可以按照實(shí)際需要定義一個(gè)流名，也叫流的唯一ID,以標(biāo)記他的

特殊性，如果開發(fā)者不定義流名，系統(tǒng)會默認(rèn)一個(gè)流名為"#STEAM#"。

考慮到系統(tǒng)之間傳遞結(jié)構(gòu)，需要發(fā)送和接受端都對相應(yīng)的字段進(jìn)行網(wǎng)絡(luò)字節(jié)序的

轉(zhuǎn)化，并且需要額外傳遞結(jié)構(gòu)中每個(gè)字段的長度標(biāo)記信息，這些額外的標(biāo)記信息在傳

遞的結(jié)構(gòu)字段很多的情況會給網(wǎng)絡(luò)帶寬帶來很大壓力，并增加傳遞的字節(jié)數(shù)，所以這

里考慮使用JSON串來傳遞tuple。這樣，一個(gè)tuple對應(yīng)著一個(gè)完整的json串。

25

>在Worker中，并行運(yùn)行著一個(gè)或多個(gè)Executor,Executor中運(yùn)行著用戶邏輯線程,

而且每個(gè)Executor運(yùn)行的用戶邏輯可能是不同的（在并行執(zhí)行不同的任務(wù)），用

戶邏輯都是應(yīng)用開發(fā)人員自行開發(fā)的，應(yīng)用開發(fā)人員主要關(guān)注業(yè)務(wù)邏輯，而編程

技術(shù)細(xì)節(jié)可能會考慮不周到，這樣常會出現(xiàn)用戶邏輯線程出現(xiàn)異常，而這種異常

往往是類似的，盡管可以通過編程把線程異常屏蔽在線程范圍內(nèi)，但嚴(yán)重的越界

操作卻無法屏蔽，這將導(dǎo)致整個(gè)進(jìn)程出現(xiàn)異常，從而影響這個(gè)Worker中其他用戶

邏輯的執(zhí)行，在一個(gè)對準(zhǔn)性、一致性要求高的系統(tǒng)中，這個(gè)是不允許出現(xiàn)的。

>Worker間的消息通信方式以及容災(zāi)：

Worker間的通信方式：由于采用一個(gè)數(shù)據(jù)處理節(jié)點(diǎn)對應(yīng)一個(gè)獨(dú)立的Worker進(jìn)程，數(shù)據(jù)

處理節(jié)點(diǎn)之間的通信也就是Worker間的通信，這意味著％rker之間的通信需要通過

進(jìn)程間通信機(jī)制來進(jìn)行?？紤]到可靠的TCP方式在效率和穩(wěn)定性上都可以保證，所以

Worker'間采用TCP協(xié)議進(jìn)行通信。

圖5-4Worker間通信方式

>通信效率考慮，這里主要從TCP傳輸?shù)慕嵌瓤紤]，由于跨服務(wù)器間的通信受限

于網(wǎng)絡(luò)、網(wǎng)卡帶寬的影響，所以框架通過可配置的方式，Worke門間可以只和

本服務(wù)器上的卜.游節(jié)點(diǎn)進(jìn)行通信

?Worker容災(zāi)主要從兩方面考慮：

?同一服務(wù)器內(nèi)的容災(zāi)，在同一臺服務(wù)器上同時(shí)啟動兩個(gè)同樣的Worker進(jìn)程,

以防止他人誤操作，或由于程序異常導(dǎo)致一個(gè)Worker死掉后，還有一個(gè)繼續(xù)

可以用，這里為什么是兩個(gè)同樣的Worker進(jìn)程呢？由于系統(tǒng)采用多線程,

并且線程調(diào)度策咯是操作系統(tǒng)范圍內(nèi)，所以線程的調(diào)度優(yōu)先級相對是比較高

的，啟動再多的線程只會浪費(fèi)資源。

26

?不同服務(wù)器之間的容災(zāi)，這個(gè)主要針對混合集群的部分處理節(jié)點(diǎn)以及全網(wǎng)集

群的所有處理節(jié)點(diǎn)，如果下游的某個(gè)節(jié)點(diǎn)死掉了，當(dāng)前Worker節(jié)點(diǎn)將按照流

分組規(guī)則在全網(wǎng)集群范圍將消息分發(fā)到集群中的下游節(jié)點(diǎn)中。當(dāng)某個(gè)服務(wù)器上

的Worker出現(xiàn)向題，該服務(wù)器上的csupervisor會自動檢測到，并重啟相應(yīng)

的Workero

?簡單集群：集群中各服務(wù)器獨(dú)立、并行的運(yùn)行相應(yīng)的計(jì)算拓?fù)?，這

些計(jì)算拓?fù)淇梢允窍嗤囊粋€(gè)或不同的多個(gè)，各服務(wù)器內(nèi)的

Worker視其他服務(wù)器上的Worker不存在一樣，每個(gè)服務(wù)器內(nèi)每個(gè)

worker之間是并行執(zhí)行的，上下游Worker間異步并行執(zhí)行。集群

內(nèi)各服務(wù)器間的Worker間不進(jìn)行通信，正是由于這個(gè)才將其稱為

簡單集群，如果涉及到數(shù)據(jù)的一致性性問題，需要通過數(shù)據(jù)庫等

全局可見模塊來進(jìn)行數(shù)據(jù)協(xié)調(diào)。簡單集群通過多服務(wù)器并行、異步

計(jì)算來提高運(yùn)行效率，該集群是一種簡單的集群。

?全網(wǎng)集群方式：當(dāng)前節(jié)點(diǎn)和集群中的所有服務(wù)器中的所有下游節(jié)點(diǎn)

進(jìn)行TCP常連接，并根據(jù)流分組策略和所有的下游節(jié)點(diǎn)進(jìn)行通信。

集群中所有處理節(jié)點(diǎn)都是并行異步的。

?混合集群，該集群主要是對簡單集群的擴(kuò)展，使得某個(gè)特定數(shù)據(jù)

處理bolt對應(yīng)的Worker可以放到另外一臺或幾臺服務(wù)器上，這個(gè)

模式的集群類