大數(shù)據(jù)分析系統(tǒng)方案

目錄第1章 項(xiàng)目概述 51.1 項(xiàng)目背景 51.2 項(xiàng)目必要性 51.3 建設(shè)目的 6第2章 需求分析 82.1 功效及性能需求 82.2 系統(tǒng)集成需求 92.3 運(yùn)行環(huán)境 102.4 安全需求 10第3章 總體設(shè)計(jì) 123.1 總體設(shè)計(jì)原則 123.2 總體目的 133.3 系統(tǒng)總體構(gòu)造 133.4 系統(tǒng)邏輯構(gòu)造 15第4章 具體設(shè)計(jì)方案 164.1 信息資源規(guī)劃和數(shù)據(jù)庫設(shè)計(jì) 164.1.1 數(shù)據(jù)模型概述 164.1.2 數(shù)據(jù)建模辦法論 174.1.3 數(shù)據(jù)建模基本原則 184.1.4 數(shù)據(jù)庫架構(gòu)設(shè)計(jì) 194.2 數(shù)據(jù)應(yīng)用支撐系統(tǒng)設(shè)計(jì) 214.2.1 大數(shù)據(jù)平臺(tái)核心技術(shù) 214.2.2 云平臺(tái)數(shù)據(jù)共享功效 264.3 數(shù)據(jù)服務(wù)層計(jì) 334.3.1 模型的應(yīng)用 334.3.2 平臺(tái)基礎(chǔ)應(yīng)用 334.4 數(shù)據(jù)解決和存儲(chǔ)系統(tǒng)設(shè)計(jì) 344.4.1 大數(shù)據(jù)解決核心技術(shù) 354.4.2 數(shù)據(jù)存儲(chǔ)采用MPP與hadoop融合架構(gòu) 354.5 網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì) 354.6 安全系統(tǒng)設(shè)計(jì) 364.6.1 系統(tǒng)安全滿足狀況 364.6.2 系統(tǒng)安全配備管理功效 374.6.3 系統(tǒng)無安全漏洞保障 404.6.4 軟件本身安全 434.6.5 性能和可靠性 444.7 運(yùn)行維護(hù)系統(tǒng)設(shè)計(jì) 464.7.1 服務(wù)器管理 464.7.2 網(wǎng)絡(luò)設(shè)備管理 464.7.3 進(jìn)程管理 464.7.4 服務(wù)管理 464.7.5 數(shù)據(jù)庫管理 464.7.6 中間管理 464.7.7 集群管理 474.7.8 故障管理 474.7.9 性能管理 474.7.10 配備文獻(xiàn)管理 474.7.11 SYSLOG管理 474.8 其它系統(tǒng)設(shè)計(jì) 474.9 系統(tǒng)配備及軟硬件選型原則 484.9.1 軟硬件布署 484.9.2 數(shù)據(jù)規(guī)定 484.9.3 技術(shù)規(guī)定 494.10 系統(tǒng)軟硬件物理布署方案 49第5章 項(xiàng)目建設(shè)與運(yùn)行管理 515.1 項(xiàng)目領(lǐng)導(dǎo)機(jī)構(gòu) 515.2 項(xiàng)目管理機(jī)構(gòu) 515.3 項(xiàng)目承建機(jī)構(gòu) 535.4 運(yùn)行維護(hù)機(jī)構(gòu) 535.5 有關(guān)管理制度 545.6 項(xiàng)目測(cè)試 555.6.1 單元測(cè)試 555.6.2 集成測(cè)試 555.6.3 系統(tǒng)測(cè)試 565.6.4 性能測(cè)試 565.6.5 驗(yàn)收測(cè)試 575.6.6 安裝測(cè)試 575.7 安全性測(cè)試 585.7.1 功效驗(yàn)證 585.7.2 漏洞掃描 585.7.3 模擬攻擊實(shí)驗(yàn) 585.8 項(xiàng)目驗(yàn)收 605.8.1 項(xiàng)目驗(yàn)收規(guī)定 605.8.2 項(xiàng)目驗(yàn)收的目的和原則 615.8.3 項(xiàng)目驗(yàn)收的組織和實(shí)施 615.8.4 項(xiàng)目驗(yàn)收的環(huán)節(jié)和程序 615.8.5 項(xiàng)目驗(yàn)收的測(cè)試方案 615.8.6 項(xiàng)目驗(yàn)收的文檔清單 61第6章 項(xiàng)目培訓(xùn)計(jì)劃 626.1 培訓(xùn)對(duì)象和培訓(xùn)目的 626.2 培訓(xùn)內(nèi)容 62項(xiàng)目概述項(xiàng)目背景現(xiàn)在，隨著JW改革的不停推動(dòng)，XX網(wǎng)絡(luò)系統(tǒng)、信息中心、信息安全系統(tǒng)的規(guī)模不停擴(kuò)大，各類信息應(yīng)用系統(tǒng)日趨復(fù)雜，迫切需要借助云計(jì)算平臺(tái)，實(shí)現(xiàn)靈活、高效的軟硬件資源分派和管理，從而有效整合XX的各類信息資源，提高XX信息系統(tǒng)的安全性、穩(wěn)定性、可擴(kuò)展性。另首先，隨著社會(huì)公共安全管理的日趨復(fù)雜，XX行業(yè)通過大數(shù)據(jù)應(yīng)用，把大量的關(guān)聯(lián)信息進(jìn)行匯總解決，能夠重新認(rèn)知和感知我們的外部環(huán)境。不僅能快速鎖定疑犯，并且還能夠防止和打擊犯罪。XX云計(jì)算+大數(shù)據(jù)系統(tǒng)，將成為面對(duì)各J種的管理和分析利器，通過高效的云計(jì)算平臺(tái)提供強(qiáng)大的大數(shù)據(jù)應(yīng)用承載能力，面對(duì)各J種提供集中資源、集中管理、集中監(jiān)控、配套實(shí)施的統(tǒng)一大數(shù)據(jù)應(yīng)用環(huán)境，為各J實(shí)戰(zhàn)應(yīng)用提供強(qiáng)大支撐、服務(wù)、保障作用。云計(jì)算和大數(shù)據(jù)是變化將來XX工作發(fā)展的新趨勢(shì)，并且已經(jīng)實(shí)實(shí)在給XX科技管理與創(chuàng)新來了深刻的變革，有力地推動(dòng)了XX各J種的工作優(yōu)化和提高。項(xiàng)目必要性第一，構(gòu)建“智慧XX”是將來JW形態(tài)演進(jìn)的必然趨勢(shì)。近年來，隨著XX信息化建設(shè)的持續(xù)推動(dòng)，我國XX機(jī)關(guān)的JW改革已開始邁進(jìn)智能化發(fā)展的快車道，JW與人之間的互相感知和聯(lián)系越來越緊密，“XX大數(shù)據(jù)分析系統(tǒng)”建設(shè)已成為當(dāng)代JW發(fā)展的新趨勢(shì)。第二，構(gòu)建“智慧XX”是新一輪信息技術(shù)變革下的時(shí)代潮流?，F(xiàn)在，全球正進(jìn)行物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算等新一輪信息技術(shù)變革。新技術(shù)往往孕育著新的重大突破，信息資源成為重要的XX戰(zhàn)斗力要素，信息化不僅成為推動(dòng)XXJW方式變革的重要引擎，也給整個(gè)社會(huì)管理創(chuàng)新帶來深刻變化?！癤X大數(shù)據(jù)分析系統(tǒng)”建設(shè)將極大地創(chuàng)新XX管理方式，增進(jìn)“管制型XX”向“服務(wù)型XX”轉(zhuǎn)變。應(yīng)當(dāng)說，通過近來十年的發(fā)展，以網(wǎng)絡(luò)化、數(shù)字化為載體的信息化JW特性日益顯現(xiàn)，JW活動(dòng)中人、事、物之間的互動(dòng)能力明顯增強(qiáng)，JW工作傳載的功效不停增多，智能化程度逐步提高，“XX大數(shù)據(jù)分析系統(tǒng)”建設(shè)已成為當(dāng)代信息技術(shù)變革下的時(shí)代潮流。第三，構(gòu)建“智慧XX”是推動(dòng)XX戰(zhàn)斗力生成模式轉(zhuǎn)變的重要途徑。XX信息化的“智慧XX”建設(shè)是一場(chǎng)新的JW革命，對(duì)于整合JW情報(bào)資源、改造J情解決流程、創(chuàng)新J情研判模式、減少JW成本、實(shí)現(xiàn)JW效能的最優(yōu)化含有推動(dòng)作用。這場(chǎng)新JW革命的實(shí)質(zhì)是推動(dòng)XX建設(shè)和JW工作由數(shù)量規(guī)模型向質(zhì)量效能型、由人力密集型向科技密集型轉(zhuǎn)變。它規(guī)定把傳統(tǒng)的XX戰(zhàn)斗力生成模式轉(zhuǎn)變到依靠科學(xué)技術(shù)特別是以信息技術(shù)為核心的高新技術(shù)上來。在這一轉(zhuǎn)變過程中，大數(shù)據(jù)將成為XX戰(zhàn)斗力生成的核心要素。擁有對(duì)海量數(shù)據(jù)占有、控制、分析、解決的主導(dǎo)權(quán)，將大數(shù)據(jù)優(yōu)勢(shì)轉(zhuǎn)化為XX決策優(yōu)勢(shì)，繼而轉(zhuǎn)化為治安優(yōu)勢(shì)，將成為“XX大數(shù)據(jù)分析系統(tǒng)”的制勝核心。第四，構(gòu)建“智慧XX”有助于拓呈當(dāng)代JW功效、增進(jìn)JW機(jī)制改革和提高JW管理精細(xì)化水平。首先，“智慧XX”的建設(shè)和實(shí)施將增進(jìn)XX機(jī)關(guān)由傳統(tǒng)的一元化管理職能向管理與服務(wù)功效并重、融合轉(zhuǎn)化。另首先，“智慧XX”的建設(shè)和應(yīng)用將變化傳統(tǒng)的“金字塔”型XX管理體制，實(shí)現(xiàn)JW領(lǐng)導(dǎo)與指揮機(jī)制的扁平化，從而減少中間管理層，加緊信息流動(dòng)，達(dá)成精減機(jī)構(gòu)、快速反映、即時(shí)聯(lián)動(dòng)的目的。同時(shí)，構(gòu)建“智慧XX”尚有助于提高XX機(jī)關(guān)JW管理的精細(xì)化和科學(xué)化水平，提高XX機(jī)關(guān)的執(zhí)法水平和服務(wù)水平。建設(shè)目的XX部推行的“扁平化指揮模式”，就是最大程度地壓縮指揮層級(jí)。減少中間環(huán)節(jié)，優(yōu)化現(xiàn)有的情報(bào)信息管理，建立情報(bào)信息主打JW的有關(guān)機(jī)制，著力拉近指揮與實(shí)戰(zhàn)，機(jī)關(guān)與一線的時(shí)空距離，縮短響應(yīng)時(shí)間，提高快速反映能力?；跀?shù)據(jù)中心融合空間采集、電信運(yùn)行商、交管部門、XX部門、社會(huì)公眾的移動(dòng)位置等數(shù)據(jù)形成大數(shù)據(jù)環(huán)境，建立大數(shù)據(jù)分析平臺(tái)，支持J情解決、宏觀決策、情報(bào)分析等大數(shù)據(jù)專項(xiàng)應(yīng)用。智慧XX大數(shù)據(jù)分析系統(tǒng)項(xiàng)目一期建設(shè)重要目的為：建立智慧、高效的情報(bào)研判體系；建立扁平、快速的指揮調(diào)度體系建立打防一體化JW管理體系建立集約化的信息技術(shù)支撐體系。建立專業(yè)化的JW指揮作戰(zhàn)隊(duì)伍。需求分析功效及性能需求功效需求作為XX信息化發(fā)展到高級(jí)階段的一種JW形態(tài)，“智慧XX”重要采用大數(shù)據(jù)、云計(jì)算、等新一代信息技術(shù)，將XX工作IT基礎(chǔ)設(shè)施與物理設(shè)施、人際環(huán)境等高度融合，以提供智能化XX決策與服務(wù)。其建設(shè)目的是充足運(yùn)用科技創(chuàng)新，以“智慧”引領(lǐng)JW改革與發(fā)展，打造XX行政高效、JW指揮扁平、治安管控聯(lián)動(dòng)、XX服務(wù)便捷的良性XX工作機(jī)制。“智慧XX”建設(shè)是一項(xiàng)涉及XX機(jī)關(guān)內(nèi)外各領(lǐng)域、各部門的復(fù)雜系統(tǒng)工程，需要從整體上進(jìn)行統(tǒng)一規(guī)劃協(xié)調(diào)，做好頂層設(shè)計(jì)。性能需求軟件系統(tǒng)必須確保質(zhì)量，并在實(shí)施前通過完全測(cè)試；系統(tǒng)應(yīng)含有自動(dòng)報(bào)J功效，以提示系統(tǒng)管理員避免出現(xiàn)系統(tǒng)崩潰等嚴(yán)重事件；主服務(wù)器宕機(jī)時(shí)，可實(shí)時(shí)地切換到備用服務(wù)器上，顧客的應(yīng)用應(yīng)當(dāng)不受影響；主備切換時(shí)，業(yè)務(wù)不感知，任務(wù)不失敗，業(yè)務(wù)不會(huì)中斷；主備切換時(shí)間不大于1秒；故障節(jié)點(diǎn)重啟時(shí)間不大于2分鐘；系統(tǒng)不得出現(xiàn)數(shù)據(jù)丟失、切換失敗等，影響正常業(yè)務(wù)運(yùn)行的故障；服務(wù)器端系統(tǒng)應(yīng)可長(zhǎng)久穩(wěn)定運(yùn)行，必須支持負(fù)載均衡能力，確保無單點(diǎn)故障；不會(huì)因長(zhǎng)久使用或負(fù)載過高造成系統(tǒng)故障。系統(tǒng)應(yīng)含有良好的并行解決機(jī)制，對(duì)存取沖突的競(jìng)爭(zhēng)含有有效的仲裁和加鎖機(jī)制，充足確保事務(wù)解決的完整性，并減少系統(tǒng)I/O開銷，提高并發(fā)顧客查詢和存取的性能。平臺(tái)提供自底層硬件到上層解決流程的全方面監(jiān)控體系，協(xié)助運(yùn)維人員快速定位問題解決問題，使系統(tǒng)持續(xù)健康穩(wěn)定的運(yùn)行。系統(tǒng)集成需求軟件平臺(tái)含有集成內(nèi)外多個(gè)運(yùn)行系統(tǒng)的基本能力。軟件平臺(tái)集成性涉及下列幾個(gè)方面：軟件平臺(tái)含有對(duì)不同廠家提供的各類軟件產(chǎn)品接入、運(yùn)行、監(jiān)控能力；軟件平臺(tái)提供獨(dú)立的集成平臺(tái)來提供多個(gè)集成手段實(shí)現(xiàn)和移動(dòng)現(xiàn)有業(yè)務(wù)支撐系統(tǒng)和能力系統(tǒng)的集成，以及對(duì)于此后有可能存在的各類業(yè)務(wù)平臺(tái)進(jìn)行業(yè)務(wù)引入的接口能力等。集成手段涉及實(shí)時(shí)調(diào)用、批量數(shù)據(jù)交換等方式，集成接口兼容WEBSERVICE、FTP、XML等方式，能夠提供服務(wù)的封裝能力。集成平臺(tái)能力涉及下列方面：數(shù)據(jù)路由：能夠?qū)?jīng)由應(yīng)用集成平臺(tái)的數(shù)據(jù)進(jìn)行檢查和過濾，根據(jù)預(yù)定義的規(guī)則實(shí)現(xiàn)基于主題或數(shù)據(jù)內(nèi)容的動(dòng)態(tài)路由機(jī)制，應(yīng)支持點(diǎn)對(duì)點(diǎn)、廣播以及公布/訂閱方式；合同轉(zhuǎn)換：含有系統(tǒng)間傳輸/調(diào)用合同轉(zhuǎn)換的能力，這些合同涉及但不限于JMS、FTP、CORBA、Socket、HTTP等；格式轉(zhuǎn)換：含有不同數(shù)據(jù)格式轉(zhuǎn)換的能力，能夠?qū)碜圆煌瑧?yīng)用系統(tǒng)的數(shù)據(jù)進(jìn)行識(shí)別和解析，能夠以圖形化方式定制不同的數(shù)據(jù)轉(zhuǎn)換邏輯，實(shí)現(xiàn)數(shù)據(jù)格式的轉(zhuǎn)換和數(shù)據(jù)內(nèi)容的整頓；消息映射：將來自于源系統(tǒng)的消息構(gòu)造或業(yè)務(wù)數(shù)據(jù)對(duì)象映射為目的系統(tǒng)的消息構(gòu)造或業(yè)務(wù)數(shù)據(jù)對(duì)象；事件解決：支持事件驅(qū)動(dòng)的架構(gòu)技術(shù)，支持對(duì)系統(tǒng)之間信息交換事件的獲取、解決和監(jiān)控；集成監(jiān)控：提供對(duì)接入訪問、數(shù)據(jù)傳輸和集成服務(wù)等多個(gè)集成解決能力的監(jiān)控功效，可根據(jù)多個(gè)日志查詢并監(jiān)控應(yīng)用集成組件的運(yùn)行狀況。數(shù)據(jù)傳輸：實(shí)現(xiàn)多個(gè)應(yīng)用之間的數(shù)據(jù)交換，數(shù)據(jù)交換支持基于消息隊(duì)列和文獻(xiàn)傳輸?shù)饶Ｊ健＜善脚_(tái)要能確保應(yīng)用時(shí)間數(shù)據(jù)傳輸?shù)目煽啃裕С纸灰椎耐暾?，支持?jǐn)?shù)據(jù)傳輸?shù)牟⑿薪鉀Q，并且支持管理人員對(duì)數(shù)據(jù)傳輸?shù)倪^程進(jìn)行監(jiān)控和干預(yù)。數(shù)據(jù)訪問：支持但不限于JDBC、ODBC等多個(gè)數(shù)據(jù)庫接入模式。運(yùn)行環(huán)境智慧XX大數(shù)據(jù)分析系統(tǒng)服務(wù)平臺(tái)需要接受來自XX系統(tǒng)各部門的數(shù)據(jù)資源，各權(quán)屬單位向系統(tǒng)共享、交換業(yè)務(wù)數(shù)據(jù)，系統(tǒng)需要提供對(duì)應(yīng)的匯交、接受工具，以及導(dǎo)入、導(dǎo)出工具，業(yè)務(wù)數(shù)據(jù)的查詢、統(tǒng)計(jì)等功效，并能夠?qū)ν夤?。安全需?.物理安全規(guī)定物理安全規(guī)定涉及但不限于：物理位置的選擇、物理訪問控制、供電安全保障、防火防潮等。2.網(wǎng)絡(luò)及設(shè)備安全規(guī)定網(wǎng)絡(luò)安全規(guī)定涉及但不限于：系統(tǒng)布署所在的網(wǎng)絡(luò)構(gòu)造安全、設(shè)備入侵防備、設(shè)備防護(hù)、安全審計(jì)等。3.數(shù)據(jù)安全性規(guī)定涉及數(shù)據(jù)存儲(chǔ)的安全性、數(shù)據(jù)傳輸?shù)陌踩?、?shù)據(jù)傳輸?shù)耐暾浴?shù)據(jù)傳輸?shù)膶?duì)的性、數(shù)據(jù)傳輸?shù)募皶r(shí)性、數(shù)據(jù)備份及恢復(fù)機(jī)制、異常解決機(jī)制等。4.系統(tǒng)安全規(guī)定涉及數(shù)據(jù)資源及應(yīng)用模塊的等級(jí)訪問控制、身份鑒別（不限于數(shù)字證書應(yīng)用）及不可抵賴性、安全審計(jì)、系統(tǒng)的容錯(cuò)性等。5.應(yīng)用安全規(guī)定（1）以CA認(rèn)證系統(tǒng)為基礎(chǔ)，實(shí)現(xiàn)顧客與服務(wù)資源的雙向認(rèn)證機(jī)制；（2）以基于角色的授權(quán)原則，建立與政務(wù)信息資源共享平臺(tái)業(yè)務(wù)、平臺(tái)管理人員、部門管理人員崗位職責(zé)相對(duì)應(yīng)的權(quán)限管理機(jī)制及統(tǒng)一的安全登陸機(jī)制；（3）以密碼技術(shù)為基礎(chǔ)的數(shù)據(jù)完整與保密機(jī)制；（4）對(duì)安全事件進(jìn)行審計(jì)機(jī)制以及根據(jù)政務(wù)信息資源共享平臺(tái)不同的業(yè)務(wù)、數(shù)據(jù)應(yīng)用需求而采用原則的安全合同；（5）對(duì)應(yīng)用進(jìn)行嚴(yán)格的監(jiān)控，實(shí)時(shí)掌握個(gè)應(yīng)用系統(tǒng)資源的消耗、運(yùn)行的狀況，保障服務(wù)的持續(xù)性和可用性。6.制度安全7.涉及項(xiàng)目管理制度、系統(tǒng)巡檢及維護(hù)制度、數(shù)據(jù)備份制度、各類緊急應(yīng)急方法；明確該項(xiàng)目基于該制度下的職責(zé)分工。8.含有豐富安全特性的交換機(jī)構(gòu)成數(shù)據(jù)中心網(wǎng)絡(luò)的第一重保護(hù)；9.含有高性能檢測(cè)引擎的IPS對(duì)網(wǎng)絡(luò)報(bào)文深度檢測(cè)，構(gòu)成數(shù)據(jù)中心網(wǎng)絡(luò)第二重保護(hù)；10.憑借高性能硬件防火墻構(gòu)成的數(shù)據(jù)中心網(wǎng)絡(luò)邊界，對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)做第三重保護(hù)?？傮w設(shè)計(jì)總體設(shè)計(jì)原則遵照對(duì)應(yīng)原則：系統(tǒng)的設(shè)計(jì)應(yīng)符合國家、省及有關(guān)信息化建設(shè)的政策法規(guī)、規(guī)范和原則，并考慮與正在制訂或即將出臺(tái)的有關(guān)政策法規(guī)、規(guī)范和原則的銜接。技術(shù)先進(jìn)性：平臺(tái)作為一種大投資、復(fù)雜度高、周期長(zhǎng)的網(wǎng)絡(luò)數(shù)據(jù)應(yīng)用系統(tǒng)，必須在開發(fā)早期考慮到技術(shù)的延展性。作為應(yīng)用系統(tǒng)建設(shè)的首要規(guī)定，就是應(yīng)當(dāng)確保系統(tǒng)在將來的幾年中在軟件基礎(chǔ)構(gòu)造和應(yīng)用形態(tài)方面的技術(shù)先進(jìn)性。安全性和可靠性：運(yùn)用先進(jìn)的訪問控制、身份認(rèn)證等技術(shù)避免非法顧客入侵；確保系統(tǒng)在異常狀況下的對(duì)的可靠運(yùn)行。數(shù)據(jù)的完整性和一致性：數(shù)據(jù)在全網(wǎng)各個(gè)應(yīng)用系統(tǒng)中的采集、存儲(chǔ)、傳輸和解決應(yīng)當(dāng)保持完整和一致。易擴(kuò)展性：全部的產(chǎn)品均考慮到應(yīng)用及系統(tǒng)不停擴(kuò)展的規(guī)定，以形成一種易于管理、可持續(xù)發(fā)展的體系構(gòu)造。將來業(yè)務(wù)的擴(kuò)展只須在現(xiàn)有機(jī)制、原則的基礎(chǔ)上，增加新的應(yīng)用與服務(wù)模塊。易用性：顧客界面規(guī)范統(tǒng)始終觀，易于顧客掌握；提供方便的軟件配備、管理和分發(fā)手段，門戶網(wǎng)站系統(tǒng)作為信息系統(tǒng)統(tǒng)一架構(gòu)體系，規(guī)定含有保持基本功效統(tǒng)一的前提下，能靈活開發(fā)擴(kuò)展功效，采用統(tǒng)一的接口技術(shù)和接口規(guī)范。互操作能力：在不同層次的各個(gè)應(yīng)用系統(tǒng)之間的數(shù)據(jù)應(yīng)能充足共享，并通過技術(shù)手段實(shí)現(xiàn)應(yīng)用程序之間的互操作。規(guī)范性：規(guī)范性涉及業(yè)務(wù)規(guī)范、開發(fā)規(guī)范、術(shù)語規(guī)范和數(shù)據(jù)規(guī)范等方面。可維護(hù)性及可擴(kuò)展性：應(yīng)用系統(tǒng)要便于維護(hù)，并可實(shí)現(xiàn)跨平臺(tái)運(yùn)行，同時(shí)應(yīng)留有與將來工程的軟件接口，確保系統(tǒng)能夠擴(kuò)展、升級(jí)。實(shí)用性：提供方便的軟件工具，便于系統(tǒng)的配備、管理和維護(hù)，門戶網(wǎng)站系統(tǒng)將針對(duì)不同類型的信息訪問者提供不同的信息呈現(xiàn)內(nèi)容，使顧客根據(jù)本身對(duì)信息的訪問規(guī)定，快速獲取有關(guān)的信息內(nèi)容，從而充足發(fā)揮門戶系統(tǒng)的渠道、橋梁作用。信息兼容性強(qiáng)：系統(tǒng)的建設(shè)支持對(duì)現(xiàn)有數(shù)據(jù)庫數(shù)據(jù)的實(shí)時(shí)抽取，自動(dòng)轉(zhuǎn)化成統(tǒng)一的XML格式并且集成后的數(shù)據(jù)由本平臺(tái)統(tǒng)一管理、聯(lián)合查詢、綜合分析。另外，對(duì)于查詢基礎(chǔ)業(yè)務(wù)系統(tǒng)內(nèi)數(shù)據(jù)的請(qǐng)求，要能夠?qū)崟r(shí)的對(duì)多個(gè)不同的數(shù)據(jù)庫進(jìn)行聯(lián)合查詢，還涉及了對(duì)文檔，影音文獻(xiàn)等內(nèi)容，因此規(guī)定本系統(tǒng)的建設(shè)必須能夠?qū)Ψ菢?gòu)造化的數(shù)據(jù)統(tǒng)一管理、聯(lián)合查詢?？傮w目的基于先進(jìn)的云服務(wù)體系，建立統(tǒng)一的JW大數(shù)據(jù)平臺(tái)和數(shù)據(jù)中心，運(yùn)用大數(shù)據(jù)、空間數(shù)據(jù)采集等技術(shù)，通過整合JW指揮體系及電信運(yùn)行商、交通部門、大數(shù)據(jù)中心信息挖掘，實(shí)現(xiàn)信息最大共享的基礎(chǔ)上，構(gòu)建JW指揮核心智慧應(yīng)用方案。系統(tǒng)總體構(gòu)造本項(xiàng)目系統(tǒng)總體架構(gòu)，是在統(tǒng)一的基礎(chǔ)設(shè)施支撐下，根據(jù)智慧XX大數(shù)據(jù)中心建設(shè)目的，建立統(tǒng)一的大數(shù)據(jù)資源中心，構(gòu)建自主可控的統(tǒng)一信息安全保障體系。在統(tǒng)一的技術(shù)原則和業(yè)務(wù)規(guī)范支撐下，建立數(shù)據(jù)采集、數(shù)據(jù)清洗、質(zhì)量管理、信息安全服務(wù)和資源統(tǒng)一調(diào)度等系統(tǒng)，并通過內(nèi)、外網(wǎng)服務(wù)支撐其它智慧應(yīng)用，建設(shè)覆蓋全區(qū)的公共數(shù)據(jù)綜合服務(wù)體系。平臺(tái)架構(gòu)以下圖所示：圖4-1智慧XXJW大數(shù)據(jù)分析系統(tǒng)總體架構(gòu)示意圖IaaS層：運(yùn)用虛擬化技術(shù)將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等基礎(chǔ)硬件資源，以邏輯方式形成基礎(chǔ)資源池層，再將資源池提供的虛擬機(jī)、虛擬存儲(chǔ)或虛擬端口組等通過二次封裝與組合、調(diào)度使用，形成一種個(gè)面對(duì)組織顧客的虛擬服務(wù)器、虛擬桌面或者云存儲(chǔ)系統(tǒng)，通過這樣的形式為系統(tǒng)的各業(yè)務(wù)單位提供資源服務(wù)；同時(shí)提供物理資源和虛擬資源的統(tǒng)一。PaaS層：在IaaS層基礎(chǔ)上，提供開放式XX基礎(chǔ)大數(shù)據(jù)解決平臺(tái)整合XX內(nèi)部數(shù)據(jù)和運(yùn)行商數(shù)據(jù)，提供分布式數(shù)據(jù)庫來解決海量構(gòu)造化數(shù)據(jù)的管理和數(shù)據(jù)交互，提供原則SQL接口、JDBC技術(shù)，能夠與前臺(tái)應(yīng)用進(jìn)行無縫對(duì)接；同時(shí)提供海量流式計(jì)算解決cstorm，能夠?qū)崟r(shí)解決大規(guī)模并發(fā)任務(wù)的負(fù)載均衡和任務(wù)分發(fā)，做到全部任務(wù)實(shí)時(shí)分發(fā)解決，不堆積，做到高度可靠性，任何任務(wù)解決過程中不會(huì)丟失，保障全部任務(wù)都能夠解決完。SaaS層：平臺(tái)能夠支撐全部電信運(yùn)行商、XXJW系統(tǒng)數(shù)據(jù)運(yùn)行，全部業(yè)務(wù)數(shù)據(jù)統(tǒng)一管理，根據(jù)權(quán)限做到絕對(duì)安全訪問，基于數(shù)據(jù)中心運(yùn)用大數(shù)據(jù)、空間數(shù)據(jù)采集等技術(shù)，通過整合XX部門、電信運(yùn)行商等多部門采集的移動(dòng)位置、輿情信息等，建立宏觀決策、J情分析、JW調(diào)度管理等分析模型，為JW及公共安全管理提供大數(shù)據(jù)專項(xiàng)分析及應(yīng)用。系統(tǒng)邏輯構(gòu)造圖4-2XX大數(shù)據(jù)庫邏輯架構(gòu)圖MPP架構(gòu)的新型數(shù)據(jù)庫集群，重點(diǎn)面對(duì)行業(yè)大數(shù)據(jù)，采用SharedNothing架構(gòu)，通過列存儲(chǔ)、粗粒度索引等多項(xiàng)大數(shù)據(jù)解決技術(shù)，再結(jié)合MPP架構(gòu)高效的分布式計(jì)算模式，完畢對(duì)分析類應(yīng)用的支撐，運(yùn)行環(huán)境多為低成本PCServer，含有高性能和高擴(kuò)展性的特點(diǎn)，在公司分析類應(yīng)用領(lǐng)域獲得極其廣泛的應(yīng)用。具體設(shè)計(jì)方案信息資源規(guī)劃和數(shù)據(jù)庫設(shè)計(jì)數(shù)據(jù)模型概述XX大數(shù)據(jù)模型是采用一種與技術(shù)實(shí)現(xiàn)無關(guān)的方式，對(duì)系統(tǒng)內(nèi)的業(yè)務(wù)信息，以及各類信息之間關(guān)聯(lián)關(guān)系的數(shù)據(jù)描述。數(shù)據(jù)模型是數(shù)據(jù)倉庫建設(shè)的基礎(chǔ)，是建設(shè)數(shù)據(jù)倉庫必不可少的一種環(huán)節(jié)。一種統(tǒng)一、完整、靈活、穩(wěn)定的數(shù)據(jù)模型對(duì)數(shù)據(jù)倉庫項(xiàng)目的成功起著重要作用，并且最少滿足下列幾點(diǎn)：統(tǒng)一溝通口徑數(shù)據(jù)模型形成對(duì)業(yè)務(wù)定義和術(shù)語的統(tǒng)一認(rèn)識(shí)，是各部門之間溝通的橋梁，使不同部門、單位的業(yè)務(wù)人員、應(yīng)用開發(fā)人員和系統(tǒng)管理人員對(duì)系統(tǒng)的理解達(dá)成一致；數(shù)據(jù)整合與管控?cái)?shù)據(jù)模型是整合多個(gè)數(shù)據(jù)源的重要手段。數(shù)據(jù)模型為復(fù)雜的數(shù)據(jù)倉庫系統(tǒng)實(shí)施提供規(guī)范和基礎(chǔ)構(gòu)造，建立起各個(gè)業(yè)務(wù)系統(tǒng)與數(shù)據(jù)倉庫之間的映射關(guān)系，實(shí)現(xiàn)源數(shù)據(jù)的有效整合和集中管控；增強(qiáng)分析能力通過數(shù)據(jù)建模，能夠更全方面抽象數(shù)據(jù)的維度和指標(biāo)關(guān)聯(lián)信息，全方面反映數(shù)據(jù)本質(zhì)，使數(shù)據(jù)反映的業(yè)務(wù)更加清晰，最大化數(shù)據(jù)價(jià)值；增進(jìn)數(shù)據(jù)原則化通過數(shù)據(jù)模型的建立，排除數(shù)據(jù)描述的不一致性。如：同名異義、同物異名等等，更有助于從完整性、及時(shí)性、一致性等方面對(duì)數(shù)據(jù)質(zhì)量進(jìn)行管控。提高擴(kuò)展性系統(tǒng)設(shè)計(jì)應(yīng)當(dāng)考慮到系統(tǒng)后續(xù)的應(yīng)用擴(kuò)展，系統(tǒng)整合，增加接口系統(tǒng)等擴(kuò)展性，數(shù)據(jù)建?？捎X得后續(xù)系統(tǒng)在接口層面和應(yīng)用層面的擴(kuò)展提供基礎(chǔ)；因此，通過構(gòu)建性能管理系統(tǒng)的統(tǒng)一數(shù)據(jù)模型，能統(tǒng)一和原則化系統(tǒng)的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)一致性，最大化數(shù)據(jù)價(jià)值，輔助提高數(shù)據(jù)質(zhì)量，增強(qiáng)系統(tǒng)數(shù)據(jù)應(yīng)用能力和系統(tǒng)擴(kuò)展性。數(shù)據(jù)建模辦法論XX數(shù)據(jù)倉庫建模辦法從方向和驅(qū)動(dòng)力來分，能夠分為“自頂向下、逐步求精”以及“自底向上、綜合集成”兩種。圖5-1數(shù)據(jù)倉庫建模辦法自頂而下的建模辦法根據(jù)業(yè)務(wù)需求和業(yè)務(wù)問題來明確系統(tǒng)邊界，劃分主題域，再進(jìn)行逐步細(xì)化，建立反映公司業(yè)務(wù)規(guī)則和業(yè)務(wù)關(guān)系的實(shí)體和實(shí)體關(guān)系。在業(yè)務(wù)需求明確的時(shí)候，該辦法能夠提高分析效率；自底向上的建模辦法需要整合各業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)，先抽象業(yè)務(wù)規(guī)則，劃分主題域，再進(jìn)行逐步細(xì)化，建立反映公司業(yè)務(wù)規(guī)則和業(yè)務(wù)關(guān)系的實(shí)體和實(shí)體關(guān)系。這種辦法更關(guān)注搭建公司數(shù)據(jù)框架，建立完整的公司信息視圖；在實(shí)際系統(tǒng)數(shù)據(jù)建模過程中普通采用這兩種辦法相結(jié)合，綜合運(yùn)用。數(shù)據(jù)建?；驹瓌t原則化、規(guī)范化原則數(shù)據(jù)模型應(yīng)遵從統(tǒng)一的主題域劃分和實(shí)體命名規(guī)則，確保模型的原則化和規(guī)范化；先進(jìn)性原則規(guī)定邏輯模型在設(shè)計(jì)上吸取業(yè)界、國內(nèi)外優(yōu)秀的建模經(jīng)驗(yàn)與辦法，確保模型的先進(jìn)性；一致性原則數(shù)據(jù)模型的設(shè)計(jì)要能夠確保數(shù)據(jù)的一致性，消除各數(shù)據(jù)源的數(shù)據(jù)不一致性，以確保數(shù)據(jù)模型內(nèi)的信息是有關(guān)整個(gè)公司一致的全局信息；擴(kuò)展性原則規(guī)定數(shù)據(jù)模型含有良好的可擴(kuò)展性，支持對(duì)模型的迭代性演進(jìn)。當(dāng)業(yè)務(wù)需求提出新問題或有新的數(shù)據(jù)加入模型時(shí)，規(guī)定數(shù)據(jù)模型能夠確保現(xiàn)有的數(shù)據(jù)和應(yīng)用都不發(fā)生變化，更不得造成系統(tǒng)崩潰；自上而下的設(shè)計(jì)與自下而上的驗(yàn)證原則數(shù)據(jù)模型是為業(yè)務(wù)分析服務(wù)的，因此在創(chuàng)立模型時(shí)，應(yīng)以業(yè)務(wù)需求為驅(qū)動(dòng)。根據(jù)業(yè)務(wù)需求采用自上而下的辦法設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)模型，并且采用迭代演進(jìn)的模式，逐步豐富數(shù)據(jù)模型，逐步求精。同時(shí)，為了驗(yàn)證設(shè)計(jì)與實(shí)現(xiàn)的合理性與對(duì)的性，規(guī)定以實(shí)際數(shù)據(jù)對(duì)模型進(jìn)行自下而上的驗(yàn)證；簡(jiǎn)樸可識(shí)別原則實(shí)體命名等要遵照簡(jiǎn)潔、能直接識(shí)別出業(yè)務(wù)意義的原則。數(shù)據(jù)庫架構(gòu)設(shè)計(jì)本工程采用主流成熟的開發(fā)框架和產(chǎn)品組件進(jìn)行開發(fā)，采用多層體系構(gòu)造來構(gòu)建符合原則與管理規(guī)范體系、安全與運(yùn)行保障體系的高可用性系統(tǒng)。綜上，本項(xiàng)目開發(fā)的整體技術(shù)架構(gòu)以下：圖5-2智慧XXJW大數(shù)據(jù)分析系統(tǒng)總體技術(shù)架構(gòu)示意圖數(shù)據(jù)采集層，負(fù)責(zé)從XX系統(tǒng)內(nèi)外部系統(tǒng)獲取基礎(chǔ)數(shù)據(jù)，涉及XX系統(tǒng)內(nèi)部數(shù)據(jù)、運(yùn)行商數(shù)據(jù)、行業(yè)信息數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)及手工導(dǎo)入數(shù)據(jù)，以及移動(dòng)通信網(wǎng)絡(luò)的信息數(shù)據(jù)。外部系統(tǒng)在向本系統(tǒng)輸出基礎(chǔ)數(shù)據(jù)之前，需要開發(fā)一套程序完畢原始的格式轉(zhuǎn)換和數(shù)據(jù)解決。首先要屏蔽顧客隱私信息，即顧客號(hào)碼信息全部剔除，輸出時(shí)采用通過加密的顧客數(shù)據(jù)。另首先需要篩選出核心字段，每條統(tǒng)計(jì)都是原始數(shù)據(jù)的幾十個(gè)字段抽取出幾個(gè)核心字段，這樣能大大減少數(shù)據(jù)存儲(chǔ)量。數(shù)據(jù)管控層，通過數(shù)據(jù)原則、數(shù)據(jù)等級(jí)、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量等原則化的規(guī)則管理和調(diào)度控制，建立各類數(shù)據(jù)稽核手段、數(shù)據(jù)質(zhì)量分析體系，確保平臺(tái)數(shù)據(jù)一致性、完整性、合規(guī)性，實(shí)現(xiàn)信息共享和數(shù)據(jù)的高效流轉(zhuǎn)。數(shù)據(jù)存儲(chǔ)層，負(fù)責(zé)對(duì)獲取的構(gòu)造化和非構(gòu)造化數(shù)據(jù)進(jìn)行解決，并精確匹配到上層定義好的各類計(jì)算模型。數(shù)據(jù)管控層采用了基于開源的Hadoop分布式架構(gòu)，將傳統(tǒng)ETL的數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)校驗(yàn)工作承載在智慧XX大數(shù)據(jù)云計(jì)算平臺(tái)上，大大減少了大數(shù)據(jù)的解決成本，提高海量數(shù)據(jù)解決的及時(shí)性。數(shù)據(jù)挖掘?qū)?，重要?duì)數(shù)據(jù)進(jìn)行建模和分析，模型的重要類型有：關(guān)聯(lián)分析：是在關(guān)系數(shù)據(jù)中，發(fā)現(xiàn)存在于項(xiàng)目集或?qū)ο蠹g的關(guān)聯(lián)規(guī)則，涉及關(guān)聯(lián)、有關(guān)性、因果構(gòu)造或頻繁出現(xiàn)的模式。慣用的關(guān)聯(lián)分析算法有Apriori算法及它的多個(gè)改善或擴(kuò)展算法。分類分析：分類是實(shí)現(xiàn)定義好類別，屬于有指導(dǎo)學(xué)習(xí)范疇。分類分析是根據(jù)數(shù)據(jù)的特性為每個(gè)類建立一種模型，根據(jù)數(shù)據(jù)的屬性將數(shù)據(jù)分派到不同的組中。慣用分類算法有決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯分類等。聚類分析：是按照某種相近程度度量辦法將數(shù)據(jù)分成互不相似的某些分組，實(shí)現(xiàn)每一聚類內(nèi)部的相似性很高、各聚類之間的相似性很低。慣用的聚類算法有K均值、近來鄰、神經(jīng)網(wǎng)絡(luò)等。預(yù)測(cè)模型分析：是從數(shù)據(jù)庫或數(shù)據(jù)倉庫中已知的數(shù)據(jù)推測(cè)位置的數(shù)據(jù)或?qū)ο蠹心承傩缘闹捣植?。建立預(yù)測(cè)模型的慣用辦法涉及回歸分析、線型模型、支持矢量集、決策樹預(yù)測(cè)、遺傳算法、隨機(jī)森林算法等。文本挖掘：文本是無構(gòu)造或半構(gòu)造化的數(shù)據(jù)，文本挖掘是從文本數(shù)據(jù)中推導(dǎo)出模式，其過程是通過文本分析、特性提取、模式分析的過程來實(shí)現(xiàn)。重要技術(shù)涉及文本構(gòu)造分析、文本特性提取、文本檢索、文本自動(dòng)分類/聚類、文檔自動(dòng)摘要、話題檢測(cè)與追蹤、文本過濾、文本情感分析等。數(shù)據(jù)服務(wù)層，采用模塊化獨(dú)立封裝技術(shù)與原則化應(yīng)用接口，功效強(qiáng)大且擴(kuò)展性強(qiáng)，提供數(shù)據(jù)公布/訂閱服務(wù)、檢索、統(tǒng)計(jì)、分析類服務(wù)集，并可通過定制服務(wù)集平滑擴(kuò)展其它服務(wù)。數(shù)據(jù)應(yīng)用支撐系統(tǒng)設(shè)計(jì)大數(shù)據(jù)平臺(tái)核心技術(shù)（1）云平臺(tái)流式計(jì)算技術(shù)Storm為分布式實(shí)時(shí)計(jì)算提供了一組通用原語，可被用于“流解決”之中，實(shí)時(shí)解決消息并更新數(shù)據(jù)庫。這是管理隊(duì)列及工作者集群的另一種方式。Storm也可被用于“持續(xù)計(jì)算”（continuouscomputation），對(duì)數(shù)據(jù)流做持續(xù)查詢，在計(jì)算時(shí)就將成果以流的形式輸出給顧客。它還可被用于“分布式RPC”，以并行的方式運(yùn)行昂貴的運(yùn)算。Storm能夠方便地在一種計(jì)算機(jī)集群中編寫與擴(kuò)展復(fù)雜的實(shí)時(shí)計(jì)算，Storm用于實(shí)時(shí)解決，就好比Hadoop

用于批解決。Storm確保每個(gè)消息都會(huì)得到解決，并且它很快——在一種小集群中，每秒能夠解決數(shù)以百萬計(jì)的消息。更棒的是你能夠使用任意編程語言來做開發(fā)。Storm有許多應(yīng)用領(lǐng)域，涉及實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、信息流解決（例如，能夠使用Storm解決新的數(shù)據(jù)和快速更新數(shù)據(jù)庫）、持續(xù)性的計(jì)算（例如，使用Storm持續(xù)查詢，然后將成果返回給客戶端，如將微博上的熱門話題轉(zhuǎn)發(fā)給顧客）、分布式RPC（遠(yuǎn)過程調(diào)用合同，通過網(wǎng)絡(luò)從遠(yuǎn)程計(jì)算機(jī)程序上請(qǐng)求服務(wù)）、ETL（ExtractionTransformationLoading，數(shù)據(jù)抽取、轉(zhuǎn)換和加載）等。cstorm集群由一種主節(jié)點(diǎn)和多個(gè)工作節(jié)點(diǎn)構(gòu)成。主節(jié)點(diǎn)運(yùn)行了一種名為“cnimbus”的守護(hù)進(jìn)程，用于故障檢測(cè)。每個(gè)工作節(jié)點(diǎn)都運(yùn)行了一種名為“csupervisor”的守護(hù)進(jìn)程，用于監(jiān)聽工作，開始、并終止工作進(jìn)程。同時(shí)，csupervisor監(jiān)聽分派給它的機(jī)器，根據(jù)cnimbus的委派，在必要時(shí)啟動(dòng)和關(guān)閉工作進(jìn)程。每個(gè)工作進(jìn)程執(zhí)行topology的一種子集。一種運(yùn)行中的topology由諸多運(yùn)行在諸多機(jī)器上的工作進(jìn)程構(gòu)成。cnimbus和csupervisor都能快速失敗，并且是無狀態(tài)的，這樣一來它們就變得十分強(qiáng)健，兩者的協(xié)調(diào)工作是由ApacheZooKeeper來完畢的。圖5-3布署方式cstorm可確保一種Spout發(fā)射出的每個(gè)元組都會(huì)解決；如果它在超時(shí)時(shí)間內(nèi)沒有解決，cstorm會(huì)從該Spout重放該元組。消息流是cstorm里面的最核心的抽象對(duì)象。一種消息流是一種沒有邊界的tuple（元組）序列，而這些tuples會(huì)被以一種分布式的方式并行地創(chuàng)立和解決。對(duì)消息流的定義重要是對(duì)消息流里面的tuple的定義，我們會(huì)給tuple里的每個(gè)字段一種名字。并且不同tuple的對(duì)應(yīng)字段的類型必須同樣。也就是說：兩個(gè)tuple的第一種字段的類型必須同樣，第二個(gè)字段的類型必須同樣，但是第一種字段和第二個(gè)字段能夠有不同的類型。每個(gè)類型的流都能夠按照實(shí)際需要定義一種流名，也叫流的唯一ID，以標(biāo)記他的特殊性，如果開發(fā)者不定義流名，系統(tǒng)會(huì)默認(rèn)一種流名為“#STEAM#”。考慮到系統(tǒng)之間傳遞構(gòu)造，需要發(fā)送和接受端都對(duì)對(duì)應(yīng)的字段進(jìn)行網(wǎng)絡(luò)字節(jié)序的轉(zhuǎn)化，并且需要額外傳遞構(gòu)造中每個(gè)字段的長(zhǎng)度標(biāo)記信息，這些額外的標(biāo)記信息在傳遞的構(gòu)造字段諸多的狀況會(huì)給網(wǎng)絡(luò)帶寬帶來很大壓力，并增加傳遞的字節(jié)數(shù)，因此這里考慮使用JSON串來傳遞tuple。這樣，一種tuple對(duì)應(yīng)著一種完整的json串。在Worker中，并行運(yùn)行著一種或多個(gè)Executor，Executor中運(yùn)行著顧客邏輯線程，并且每個(gè)Executor運(yùn)行的顧客邏輯可能是不同的（在并行執(zhí)行不同的任務(wù)），顧客邏輯都是應(yīng)用開發(fā)人員自行開發(fā)的，應(yīng)用開發(fā)人員重要關(guān)注業(yè)務(wù)邏輯，而編程技術(shù)細(xì)節(jié)可能會(huì)考慮不周到，這樣常會(huì)出現(xiàn)顧客邏輯線程出現(xiàn)異常，而這種異常往往是類似的，盡管能夠通過編程把線程異常屏蔽在線程范疇內(nèi)，但嚴(yán)重的越界操作卻無法屏蔽，這將造成整個(gè)進(jìn)程出現(xiàn)異常，從而影響這個(gè)Worker中其它顧客邏輯的執(zhí)行，在一種對(duì)準(zhǔn)性、一致性規(guī)定高的系統(tǒng)中，這個(gè)是不允許出現(xiàn)的。Worker間的消息通信方式以及容災(zāi)：Worker間的通信方式：由于采用一種數(shù)據(jù)解決節(jié)點(diǎn)對(duì)應(yīng)一種獨(dú)立的Worker進(jìn)程，數(shù)據(jù)解決節(jié)點(diǎn)之間的通信也就是Worker間的通信，這意味著Worker之間的通信需要通過進(jìn)程間通信機(jī)制來進(jìn)行?？紤]到可靠的TCP方式在效率和穩(wěn)定性上都能夠確保，因此Worker間采用TCP合同進(jìn)行通信。圖5-4Worker間通信方式通信效率考慮，這里重要從TCP傳輸?shù)慕嵌瓤紤]，由于跨服務(wù)器間的通信受限于網(wǎng)絡(luò)、網(wǎng)卡帶寬的影響，因此框架通過可配備的方式，Worker間能夠只和本服務(wù)器上的下游節(jié)點(diǎn)進(jìn)行通信Worker容災(zāi)重要從兩方面考慮：同一服務(wù)器內(nèi)的容災(zāi)，在同一臺(tái)服務(wù)器上同時(shí)啟動(dòng)兩個(gè)同樣的Worker進(jìn)程，以避免別人誤操作，或由于程序異常造成一種Worker死掉后，尚有一種繼續(xù)能夠用，這里為什么是兩個(gè)同樣的Worker進(jìn)程呢？由于系統(tǒng)采用多線程，并且線程調(diào)度方略是操作系統(tǒng)范疇內(nèi)，因此線程的調(diào)度優(yōu)先級(jí)相對(duì)是比較高的，啟動(dòng)再多的線程只會(huì)浪費(fèi)資源。不同服務(wù)器之間的容災(zāi)，這個(gè)重要針對(duì)混合集群的部分解決節(jié)點(diǎn)以及全網(wǎng)集群的全部解決節(jié)點(diǎn)，如果下游的某個(gè)節(jié)點(diǎn)死掉了，現(xiàn)在Worker節(jié)點(diǎn)將按照流分組規(guī)則在全網(wǎng)集群范疇將消息分發(fā)到集群中的下游節(jié)點(diǎn)中。當(dāng)某個(gè)服務(wù)器上的Worker出現(xiàn)問題，該服務(wù)器上的csupervisor會(huì)自動(dòng)檢測(cè)到，并重啟對(duì)應(yīng)的Worker。簡(jiǎn)樸集群：集群中各服務(wù)器獨(dú)立、并行的運(yùn)行對(duì)應(yīng)的計(jì)算拓?fù)洌@些計(jì)算拓?fù)淠軌蚴窍嗨频囊环N或不同的多個(gè)，各服務(wù)器內(nèi)的Worker視其它服務(wù)器上的Worker不存在同樣，每個(gè)服務(wù)器內(nèi)每個(gè)worker之間是并行執(zhí)行的，上下游Worker間異步并行執(zhí)行。集群內(nèi)各服務(wù)器間的Worker間不進(jìn)行通信，正是由于這個(gè)才將其稱為簡(jiǎn)樸集群，如果涉及到數(shù)據(jù)的一致性性問題，需要通過數(shù)據(jù)庫等全局可見模塊來進(jìn)行數(shù)據(jù)協(xié)調(diào)。簡(jiǎn)樸集群通過多服務(wù)器并行、異步計(jì)算來提高運(yùn)行效率，該集群是一種簡(jiǎn)樸的集群。全網(wǎng)集群方式：現(xiàn)在節(jié)點(diǎn)和集群中的全部服務(wù)器中的全部下游節(jié)點(diǎn)進(jìn)行TCP常連接，并根據(jù)流分組方略和全部的下游節(jié)點(diǎn)進(jìn)行通信。集群中全部解決節(jié)點(diǎn)都是并行異步的?；旌霞?，該集群重要是對(duì)簡(jiǎn)樸集群的擴(kuò)展，使得某個(gè)特定數(shù)據(jù)解決bolt對(duì)應(yīng)的Worker能夠放到另外一臺(tái)或幾臺(tái)服務(wù)器上，這個(gè)模式的集群類似與簡(jiǎn)樸集群與全網(wǎng)集群的混合體，通過這種集群，能夠讓簡(jiǎn)樸集群實(shí)現(xiàn)跨服務(wù)器的全網(wǎng)聚合或分流。內(nèi)存數(shù)據(jù)庫意義內(nèi)存數(shù)據(jù)庫建立于系統(tǒng)的內(nèi)存之中,計(jì)算數(shù)據(jù)依賴于內(nèi)存，無磁盤I/0。實(shí)現(xiàn)高效解決，減少傳統(tǒng)數(shù)據(jù)庫的壓力。Redisredis是一種基于內(nèi)存的key-value存儲(chǔ)系統(tǒng)。和memcached類似，它支持存儲(chǔ)的value類型相對(duì)更多，涉及string(字符串)、list(鏈表)、set(集合)、zset(sortedset--有序集合)和hash（哈希類型）。這些數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作，并且這些操作都是原子性的。在此基礎(chǔ)上，redis支持多個(gè)不同方式的排序。與memcached同樣，為了確保效率，數(shù)據(jù)都是緩存在內(nèi)存中。區(qū)別的是redis會(huì)周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的統(tǒng)計(jì)文獻(xiàn)，并且在此基礎(chǔ)上實(shí)現(xiàn)了master-slave(主從)同時(shí)。Redis是一種高性能的key-value數(shù)據(jù)庫。redis的出現(xiàn)，很大程度賠償了memcached這類key/value存儲(chǔ)的局限性，在部分場(chǎng)合能夠?qū)﹃P(guān)系數(shù)據(jù)庫起到較好的補(bǔ)充作用。它提供了Python，Ruby，Erlang，PHP客戶端，使用很方便。Redis支持主從同時(shí)。數(shù)據(jù)能夠從主服務(wù)器向任意數(shù)量的從服務(wù)器上同時(shí)，從服務(wù)器能夠是關(guān)聯(lián)其它從服務(wù)器的主服務(wù)器。這使得Redis可執(zhí)行單層樹復(fù)制。從盤能夠故意無意的對(duì)數(shù)據(jù)進(jìn)行寫操作。由于完全實(shí)現(xiàn)了公布/訂閱機(jī)制，使得從數(shù)據(jù)庫在任何地方同時(shí)樹時(shí)，可訂閱一種頻道并接受主服務(wù)器完整的消息公布統(tǒng)計(jì)。同時(shí)對(duì)讀取操作的可擴(kuò)展性和數(shù)據(jù)冗余很有協(xié)助。（2）應(yīng)用開發(fā)平臺(tái)各類創(chuàng)新產(chǎn)品可根據(jù)其業(yè)務(wù)需求特點(diǎn)采用多個(gè)技術(shù)路線開發(fā)完畢。平臺(tái)提供不限廠家、不限類型、不限上線時(shí)間的APP之間的應(yīng)用互聯(lián)，APP之間能夠靈活進(jìn)行調(diào)用。（3）平臺(tái)支持接口技術(shù)闡明Web服務(wù)技術(shù)（WebService）WebServices是基于網(wǎng)絡(luò)的、分布式的模塊化組件，它執(zhí)行特定的任務(wù)，恪守具體的技術(shù)規(guī)范，這些規(guī)范使得WebService能與其它兼容的組件進(jìn)行互操作。它能夠使用原則的互聯(lián)網(wǎng)合同，像超文本傳輸合同HTTP和XML，將功效體現(xiàn)在互聯(lián)網(wǎng)和公司內(nèi)部網(wǎng)上。結(jié)合WebService技術(shù)，ESB提供一套原則的用于溝通不同平臺(tái)、編程語言和組件模型的技術(shù)框架，實(shí)現(xiàn)原則、通用的數(shù)據(jù)共享。ESB平臺(tái)支持最新的有關(guān)合同和原則，涉及XML、XSD、SOAP、WSDL、UDDI等，同時(shí)兼顧WebService的安全性、事務(wù)解決、性能等方面。文獻(xiàn)傳輸技術(shù)（FTP）FTP是FileTransportationProtocol（文獻(xiàn)傳輸合同）的縮寫，是計(jì)算機(jī)之間交換數(shù)據(jù)的方式。FTP專門用來下載，顧客按照一定的規(guī)則（合同）和提供文獻(xiàn)的服務(wù)器獲得聯(lián)系并將文獻(xiàn)搬到自己的計(jì)算機(jī)中來。在進(jìn)行FTP下載之前必須獲得有效的資源鏈接或者服務(wù)器地址。首先，提供系統(tǒng)上傳要共享的文獻(xiàn)到FTP服務(wù)器，然后發(fā)送該文獻(xiàn)的下載鏈接到ESB平臺(tái)；ESB平臺(tái)分發(fā)消息到訂閱該數(shù)據(jù)的系統(tǒng)；數(shù)據(jù)消息系統(tǒng)解析消息中的下載鏈接，下載文獻(xiàn)。消息隊(duì)列技術(shù)（MQ）消息隊(duì)列技術(shù)是分布式應(yīng)用間交換信息的一種技術(shù)，在集成分布式應(yīng)用環(huán)境中，對(duì)異構(gòu)網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)共享提供有效的通信手段。消息隊(duì)列可駐留在內(nèi)存或磁盤上,隊(duì)列存儲(chǔ)消息直到它們被應(yīng)用程序讀走。通過消息隊(duì)列，應(yīng)用程序可獨(dú)立地執(zhí)行--它們不需要懂得彼此的位置、不需要等待接受程序接受此消息。其它技術(shù)對(duì)于數(shù)據(jù)庫直連、Socket直連等數(shù)據(jù)共享技術(shù)，以建設(shè)分布式、低耦合系統(tǒng)架構(gòu)為目的，建議改造為以上三種技術(shù)之一。云平臺(tái)數(shù)據(jù)共享功效（1）數(shù)據(jù)共享的目的智慧XX大數(shù)據(jù)分析系統(tǒng)應(yīng)采用松耦合、分層的技術(shù)架構(gòu)實(shí)現(xiàn)，數(shù)據(jù)開放共享是智慧XX大數(shù)據(jù)分析系統(tǒng)要實(shí)現(xiàn)的目的，具體來說即為：通過采用層次化、面對(duì)開放共享的技術(shù)架構(gòu)，將顧客行為分析系統(tǒng)的應(yīng)用與數(shù)據(jù)解耦，形成相對(duì)穩(wěn)定、獨(dú)立、開放的數(shù)據(jù)共享平臺(tái)（該平臺(tái)由數(shù)據(jù)裝載層、數(shù)據(jù)解決層、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理及數(shù)據(jù)共享模塊等組件構(gòu)成），支撐應(yīng)用及外部系統(tǒng)的數(shù)據(jù)需求，實(shí)現(xiàn)“一種數(shù)據(jù)平臺(tái)，支撐多樣化內(nèi)、外部應(yīng)用”的目的。智慧XX大數(shù)據(jù)分析系統(tǒng)在實(shí)現(xiàn)時(shí)需有獨(dú)立的功效組件“數(shù)據(jù)共享模塊”來統(tǒng)一管理顧客行為分析系統(tǒng)中數(shù)據(jù)共享平臺(tái)對(duì)系統(tǒng)內(nèi)部上層應(yīng)用以及外部系統(tǒng)提供原則化的數(shù)據(jù)共享服務(wù)、方式及內(nèi)容。數(shù)據(jù)共享模塊需含有共享接口管理、訪問控制、負(fù)荷控制及訪問集群管理能力。共享接口管理：統(tǒng)一管理數(shù)據(jù)共享平臺(tái)的接口，涉及查詢、訂閱、消息交換、數(shù)據(jù)庫等接口。訪問控制：訪問權(quán)限的判斷、會(huì)話管理、訪問頻率管理、請(qǐng)求隊(duì)列管理以及安全控制等能力。負(fù)荷控制：對(duì)共享請(qǐng)求的成本進(jìn)行評(píng)定，并回絕不合理的請(qǐng)求。訪問集群管理：重要用來實(shí)現(xiàn)“數(shù)據(jù)共享模塊”在分布式布署時(shí)的負(fù)載均衡和Failover管理。（2）數(shù)據(jù)共享服務(wù)對(duì)象及共享內(nèi)容數(shù)據(jù)共享服務(wù)于智慧XX大數(shù)據(jù)分析系統(tǒng)本身的上層應(yīng)用智慧XX大數(shù)據(jù)分析系統(tǒng)的上層應(yīng)用能夠分為三類：“實(shí)時(shí)KPI計(jì)算類”、“實(shí)時(shí)細(xì)節(jié)查詢類”，以及“分析類非實(shí)時(shí)統(tǒng)計(jì)”，數(shù)據(jù)共享平臺(tái)通過不同的共享方式向上層應(yīng)用提供數(shù)據(jù)支撐。經(jīng)營(yíng)分析系統(tǒng)顧客行為分析系統(tǒng)能夠?yàn)榻?jīng)營(yíng)分析系統(tǒng)提供顧客行為數(shù)據(jù)（重要是xDR及顧客網(wǎng)絡(luò)行為標(biāo)簽信息），使經(jīng)營(yíng)分析系統(tǒng)能形成全視角的客戶數(shù)據(jù)。數(shù)據(jù)共享內(nèi)容無論是針對(duì)顧客行為分析系統(tǒng)的上層應(yīng)用還是外部系統(tǒng)的應(yīng)用需求，數(shù)據(jù)共享平臺(tái)均可向其提供數(shù)據(jù)共享服務(wù)，共享數(shù)據(jù)應(yīng)涉及但不限于下列內(nèi)容：原始信令原始信令為xDR合成前的信令消息，用于信令回溯，通過文獻(xiàn)方式向外提供。xDR明細(xì)數(shù)據(jù)xDR明細(xì)數(shù)據(jù)屬于統(tǒng)計(jì)類數(shù)據(jù)，是顧客有關(guān)觀看行為、業(yè)務(wù)資源使用統(tǒng)計(jì)的總和，涉及各類信令合成xDR、話單等數(shù)據(jù)。維度匯總數(shù)據(jù)數(shù)據(jù)倉庫層的全部數(shù)據(jù)。實(shí)時(shí)指標(biāo)數(shù)據(jù)本系統(tǒng)實(shí)時(shí)指標(biāo)數(shù)據(jù)是指在下個(gè)統(tǒng)計(jì)周期內(nèi)需要完畢計(jì)算的指標(biāo)，例如某實(shí)時(shí)指標(biāo)5分鐘統(tǒng)計(jì)，是指從業(yè)務(wù)需求角度應(yīng)在下一種5分鐘內(nèi)完畢統(tǒng)計(jì)計(jì)算。建議15分鐘（包含）粒度實(shí)時(shí)指標(biāo)數(shù)據(jù)由流解決引擎技術(shù)解決。數(shù)據(jù)質(zhì)量信息數(shù)據(jù)質(zhì)量管理是智慧XX大數(shù)據(jù)分析系統(tǒng)的重要能力之一，在智慧XX大數(shù)據(jù)分析系統(tǒng)中，通過在數(shù)據(jù)采集、分發(fā)、加載等環(huán)節(jié)設(shè)立檢測(cè)點(diǎn)，以生成多個(gè)數(shù)據(jù)質(zhì)量報(bào)告、數(shù)據(jù)質(zhì)量預(yù)J信息，這些信息能夠提供應(yīng)外部系統(tǒng)，讓外部系統(tǒng)能夠掌握有關(guān)數(shù)據(jù)的質(zhì)量信息，例如：及時(shí)性、精確性、完整性等信息。應(yīng)用匯總數(shù)據(jù)應(yīng)用匯總數(shù)據(jù)重要指上層應(yīng)用直接使用的數(shù)據(jù)。該部分?jǐn)?shù)據(jù)能否共享，取決于該類數(shù)據(jù)與否可由上層應(yīng)用下沉到數(shù)據(jù)共享平臺(tái)。如果能夠下沉到數(shù)據(jù)共享平臺(tái)，則可通過數(shù)據(jù)共享平臺(tái)進(jìn)行共享。如果僅為應(yīng)用的個(gè)性化數(shù)據(jù)，則不通過數(shù)據(jù)共享平臺(tái)進(jìn)行共享。（4）數(shù)據(jù)共享服務(wù)數(shù)據(jù)訂閱方式系統(tǒng)支持通過數(shù)據(jù)共享服務(wù)接口，例如ESB數(shù)據(jù)服務(wù)總線，對(duì)各類數(shù)據(jù)進(jìn)行訂閱。訂閱過程中有關(guān)所需數(shù)據(jù)的描述可通過元數(shù)據(jù)管理功效獲取。API方式此種數(shù)據(jù)獲取接口是一組由數(shù)據(jù)共享服務(wù)模塊提供的API集合，供數(shù)據(jù)消費(fèi)系統(tǒng)調(diào)用以達(dá)成以下目的：界定所需數(shù)據(jù)的位置、范疇、規(guī)格，設(shè)立數(shù)據(jù)過濾條件；向智慧XX大數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)共享服務(wù)及接口傳遞有關(guān)所需數(shù)據(jù)范疇的參數(shù)；獲取所需的數(shù)據(jù)成果。API接口的優(yōu)勢(shì)在于能夠更加貼近智慧XX大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)組織構(gòu)造，更加貼近數(shù)據(jù)的應(yīng)用場(chǎng)景與業(yè)務(wù)需求。同時(shí)，API接口方式也限定了對(duì)共享數(shù)據(jù)的訪問方式，避免對(duì)數(shù)據(jù)的違規(guī)操作，利于對(duì)系統(tǒng)的管理與維護(hù)。API接口方式的本質(zhì)是結(jié)合應(yīng)用需求封裝某些通用的數(shù)據(jù)訪問及信息交換合同的綜合應(yīng)用。數(shù)據(jù)庫接口方式通用的數(shù)據(jù)獲取接口。涉及：各類數(shù)據(jù)庫產(chǎn)品所自帶的原生數(shù)據(jù)庫訪問接口合同，如OCI，以及原則的數(shù)據(jù)庫訪問接口合同，如：JDBC、ODBC等。通過這類接口除了能夠直接獲取所需的數(shù)據(jù)，也能夠?qū)⑵鋺?yīng)用在間接地返回訂閱數(shù)據(jù)的過程中（此狀況下向數(shù)據(jù)訂閱者返回的是一組能夠查詢到所需數(shù)據(jù)的SQL，然后通過數(shù)據(jù)庫接口方式發(fā)SQL查詢）。實(shí)時(shí)數(shù)據(jù)共享方式對(duì)于“實(shí)時(shí)”指標(biāo)及預(yù)J數(shù)據(jù)，需要考慮對(duì)外提供專門的實(shí)時(shí)數(shù)據(jù)共享及獲取接口。對(duì)于共享給告J與故障管理系統(tǒng)的“實(shí)時(shí)數(shù)據(jù)”。（5）數(shù)據(jù)共享服務(wù)管理數(shù)據(jù)共享服務(wù)管理功效涉及安全管理、服務(wù)注冊(cè)、查找及路由，尚有日志管理功效。安全管理：服務(wù)認(rèn)證鑒權(quán)是用于鑒別服務(wù)請(qǐng)求方與否含有服務(wù)調(diào)用權(quán)限；數(shù)據(jù)交換安全是用于確保服務(wù)請(qǐng)求、響應(yīng)過程中的數(shù)據(jù)安全；權(quán)限管理是用于擬定服務(wù)請(qǐng)求方可調(diào)用的服務(wù)權(quán)限；注冊(cè)、查找和路由：提供服務(wù)的注冊(cè)、查找和路由管理功效；日志管理：是用于統(tǒng)計(jì)服務(wù)調(diào)用過程中產(chǎn)生的日志信息。安全管理認(rèn)證鑒權(quán)認(rèn)證鑒權(quán)是服務(wù)提供方對(duì)服務(wù)請(qǐng)求方與否正當(dāng)進(jìn)行的鑒別和確認(rèn)。通過認(rèn)證鑒權(quán)，能夠使服務(wù)提供方確認(rèn)服務(wù)請(qǐng)求方的身份，擬定與否有該服務(wù)的訪問權(quán)限。認(rèn)證鑒權(quán)涉及兩個(gè)方面：擬定服務(wù)請(qǐng)求方與否有訪問服務(wù)提供方所提供服務(wù)的功效權(quán)限；對(duì)于有功效權(quán)限的服務(wù)請(qǐng)求方，還需要再擬定其與否含有可訪問的具體服務(wù)及有關(guān)數(shù)據(jù)范疇的權(quán)限。認(rèn)證鑒權(quán)需提供以下功效：在服務(wù)請(qǐng)求時(shí)，服務(wù)請(qǐng)求方要提供顧客名、密碼等校驗(yàn)信息。服務(wù)提供方針對(duì)校驗(yàn)信息進(jìn)行認(rèn)證，如果顧客名、密碼校驗(yàn)失敗，不解決請(qǐng)求消息，并返回失敗提示信息；通過顧客名、密碼校驗(yàn)后，驗(yàn)證該顧客與否有請(qǐng)求該服務(wù)的功效權(quán)限。如果顧客沒有功效權(quán)限，不解決請(qǐng)求消息，并返回失敗提示信息；通過功效權(quán)限校驗(yàn)后，根據(jù)該服務(wù)請(qǐng)求方可訪問服務(wù)的數(shù)據(jù)范疇權(quán)限，解決請(qǐng)求消息，并返回響應(yīng)成果。權(quán)限管理權(quán)限管理涉及功效權(quán)限和數(shù)據(jù)范疇權(quán)限的管理。功效權(quán)限是指服務(wù)請(qǐng)求方與否能夠訪問某一種服務(wù)。數(shù)據(jù)范疇權(quán)限是在允許服務(wù)請(qǐng)求方訪問某一服務(wù)的基礎(chǔ)上控制可訪問的數(shù)據(jù)范疇。對(duì)第三方應(yīng)用接入做權(quán)限控制，只允許那些被授權(quán)的第三方應(yīng)用訪問系統(tǒng)。訪問頻度管理對(duì)第三方應(yīng)用接入訪問的頻度管理，有效避免惡意攻擊，確保數(shù)據(jù)訪問性能與安全。數(shù)據(jù)傳輸安全在服務(wù)的請(qǐng)求和響應(yīng)過程中，需要通過網(wǎng)絡(luò)傳輸有關(guān)的數(shù)據(jù)。數(shù)據(jù)的交換需要進(jìn)行安全控制，能夠采用以下安全技術(shù)手段：密鑰管理：密鑰是一種基于密碼技術(shù)的安全機(jī)制。密鑰機(jī)制中除密碼的設(shè)計(jì)安全外，另一種重要的方面就是密鑰管理體制，涉及密鑰的產(chǎn)生、分發(fā)、更換、存儲(chǔ)和銷毀等內(nèi)容；數(shù)字簽名機(jī)制：數(shù)字簽名是基于非對(duì)稱加密技術(shù)的安全機(jī)制。它為需要加密的對(duì)象提供兩類密鑰：公鑰和私鑰，統(tǒng)一采用公鑰方式加密，采用私鑰方式解密；加密機(jī)制：加密可提高數(shù)據(jù)或業(yè)務(wù)流量信息的機(jī)密性。普通有兩種形式的加密：物理層的群路加密和網(wǎng)絡(luò)層或應(yīng)用層的端到端加密。對(duì)大數(shù)據(jù)量的傳輸安全，能夠在數(shù)據(jù)打包的基礎(chǔ)上考慮整體的數(shù)字簽名，而不強(qiáng)制規(guī)定加密。服務(wù)注冊(cè)、查找及路由服務(wù)注冊(cè)、查找服務(wù)注冊(cè)、查找是服務(wù)管理的基礎(chǔ)功效。服務(wù)注冊(cè)用于公布服務(wù)，提供應(yīng)服務(wù)請(qǐng)求方使用。服務(wù)查找是服務(wù)的請(qǐng)求方在服務(wù)注冊(cè)信息中查找到對(duì)應(yīng)的服務(wù)，并根據(jù)查找到的服務(wù)綁定信息，調(diào)用該服務(wù)。對(duì)于沒有數(shù)據(jù)共享總線的省份，服務(wù)注冊(cè)功效也是數(shù)據(jù)地圖子模塊功效的一部分。服務(wù)路由服務(wù)路由是將服務(wù)請(qǐng)求方的請(qǐng)求按照一定的路由規(guī)則發(fā)送到對(duì)應(yīng)的服務(wù)提供方。而服務(wù)路由按照代理服務(wù)和目的服務(wù)的關(guān)系分為1對(duì)1模式和1對(duì)N模式：1對(duì)1模式：是指1個(gè)代理服務(wù)路由到1個(gè)目的服務(wù)。服務(wù)請(qǐng)求方訪問代理服務(wù)，代理服務(wù)直接路由至目的服務(wù)提供數(shù)據(jù)；1對(duì)N模式：是指1個(gè)代理服務(wù)路由到N個(gè)目的服務(wù)。服務(wù)請(qǐng)求方訪問代理服務(wù)，代理服務(wù)通過路由轉(zhuǎn)發(fā)規(guī)則，路由至適宜的目的服務(wù)提供數(shù)據(jù)。日志管理日志管理統(tǒng)計(jì)服務(wù)運(yùn)行過程中的重要事件，需要長(zhǎng)久保存并定時(shí)備份。日志重要包含以下內(nèi)容：服務(wù)的注冊(cè)信息：服務(wù)注冊(cè)者信息、服務(wù)標(biāo)記、服務(wù)地址、服務(wù)描述、服務(wù)名稱和注冊(cè)時(shí)間等；服務(wù)訪問信息：服務(wù)請(qǐng)求方身份信息、請(qǐng)求IP、服務(wù)標(biāo)記、服務(wù)地址、服務(wù)名稱、數(shù)據(jù)范疇、請(qǐng)求時(shí)間和響應(yīng)時(shí)間等；服務(wù)的運(yùn)行信息：服務(wù)啟動(dòng)時(shí)間、服務(wù)停止時(shí)間、服務(wù)運(yùn)行狀態(tài)、服務(wù)地址和服務(wù)停止因素等。（6）數(shù)據(jù)訪問接入控制會(huì)話管理對(duì)訪問的接入連接管理，涉及：對(duì)接入時(shí)長(zhǎng)、計(jì)算資源及存儲(chǔ)資源進(jìn)行管理。訪問優(yōu)先級(jí)管理通過設(shè)立不同的隊(duì)列，確保請(qǐng)求的不同優(yōu)先級(jí)次序，以確保系統(tǒng)在高負(fù)荷狀況下的核心請(qǐng)求的含有最小的解決時(shí)延。查詢請(qǐng)求過濾完畢查詢請(qǐng)求內(nèi)容的特定解決，例如：采用HTTP的壓縮以減小網(wǎng)絡(luò)流量等。（7）數(shù)據(jù)訪問負(fù)荷控制負(fù)載均衡采用服務(wù)負(fù)荷均衡技術(shù)是為了提高服務(wù)的穩(wěn)定性，減少訪問的壓力。服務(wù)負(fù)荷分?jǐn)偰軌虿捎眉悍绞綄?shí)現(xiàn)。數(shù)據(jù)服務(wù)集群的重點(diǎn)在于服務(wù)的負(fù)載分?jǐn)?，通過集群技術(shù)提高數(shù)據(jù)服務(wù)的訪問性能。負(fù)載分?jǐn)偸前沿?fù)載壓力根據(jù)某種算法合理分派到集群中的每一臺(tái)服務(wù)器上，以平衡每個(gè)集群節(jié)點(diǎn)的壓力。訪問請(qǐng)求數(shù)據(jù)緩存管理通過數(shù)據(jù)緩存，將訪問熱點(diǎn)數(shù)據(jù)緩存在內(nèi)存中，以減輕二次訪問對(duì)數(shù)據(jù)倉庫帶來的查詢壓力。查詢成本控制通過實(shí)現(xiàn)對(duì)查詢成本的預(yù)預(yù)計(jì)算，避免那些查詢壓力巨大的查詢請(qǐng)求給數(shù)據(jù)解決層各個(gè)存儲(chǔ)區(qū)域帶來的不必要的查詢壓力。按照負(fù)荷控制方略的定義，能夠直接回絕某些查詢請(qǐng)求。數(shù)據(jù)服務(wù)層計(jì)XX大數(shù)據(jù)平臺(tái)對(duì)外發(fā)揮價(jià)值的核心是提供種類豐富、類型多樣的服務(wù)接口和服務(wù)能力。從服務(wù)類型來看，可分為通用類服務(wù)、研判類服務(wù)和智能類服務(wù)。通用類服務(wù)：在大數(shù)據(jù)平臺(tái)提供的數(shù)據(jù)資源基礎(chǔ)上，結(jié)合分布式計(jì)算、可視化分析和呈現(xiàn)等技術(shù)，可實(shí)現(xiàn)綜合查詢、搜索引擎、數(shù)據(jù)比對(duì)、布控預(yù)J、分類統(tǒng)計(jì)等慣用功效，以及趨勢(shì)分析、異常分析、有關(guān)性分析等挖掘功效。研判類服務(wù)：基于大數(shù)據(jù)分析挖掘，實(shí)現(xiàn)各類戰(zhàn)法集市、積分預(yù)J模型、全要素分析工具、社交網(wǎng)絡(luò)分析、隱性重點(diǎn)人挖掘、治安態(tài)勢(shì)分析等綜合情報(bào)研判功效。智能類服務(wù)：綜合情報(bào)研判功效，實(shí)現(xiàn)案件多維分析、人流激增預(yù)J、犯罪預(yù)測(cè)模型、人員智能畫像、涉恐系數(shù)分析、人員親密度模型分析等功效。模型的應(yīng)用平臺(tái)基礎(chǔ)應(yīng)用（1）大數(shù)據(jù)統(tǒng)一門戶平臺(tái)門戶元數(shù)據(jù)管理與統(tǒng)計(jì)提供可視化的數(shù)據(jù)管理與統(tǒng)計(jì)界面，基于大數(shù)據(jù)平臺(tái)采集挖掘技術(shù)、主題分類算法模型等技術(shù)，顧客能夠多維度、可視化的快速理解大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)狀況。（2）數(shù)據(jù)分析看板（3）可視化指揮調(diào)度數(shù)據(jù)解決和存儲(chǔ)系統(tǒng)設(shè)計(jì)圖5-13數(shù)據(jù)解決與存儲(chǔ)架構(gòu)大數(shù)據(jù)解決核心技術(shù)圖5-14大數(shù)據(jù)解決核心技術(shù)數(shù)據(jù)存儲(chǔ)采用MPP與hadoop融合架構(gòu)新型數(shù)據(jù)庫將逐步與Hadoop生態(tài)系統(tǒng)結(jié)合混搭使用，用MPP解決PB級(jí)別的、高質(zhì)量的構(gòu)造化數(shù)據(jù)，同時(shí)為應(yīng)用提供豐富的SQL和事務(wù)支持能力；用Hadoop實(shí)現(xiàn)半構(gòu)造化、非構(gòu)造化數(shù)據(jù)解決。這樣可同時(shí)滿足構(gòu)造化、半構(gòu)造化和非構(gòu)造化數(shù)據(jù)的解決需求。網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)系統(tǒng)布署在公眾服務(wù)云中，所需云主機(jī)全部布署在業(yè)務(wù)網(wǎng)絡(luò)中，通過業(yè)務(wù)接入交換機(jī)向上級(jí)聯(lián)到業(yè)務(wù)核心交換機(jī)。圖5-16系統(tǒng)網(wǎng)絡(luò)設(shè)計(jì)模型安全系統(tǒng)設(shè)計(jì)系統(tǒng)含有完善的安全管控機(jī)制，重要體現(xiàn)在：系統(tǒng)滿足集團(tuán)各項(xiàng)安全合規(guī)性規(guī)范規(guī)定；另外系統(tǒng)仍滿足SOX法案對(duì)系統(tǒng)安全的各項(xiàng)規(guī)定與約束。從系統(tǒng)功效上考慮，提供安全監(jiān)控、口令管理、登陸控制與日志審計(jì)等多項(xiàng)安全管控功效。另外，在網(wǎng)絡(luò)安全、敏感數(shù)據(jù)安全與軟件本身安全方面含有完畢的保障方案與流程。系統(tǒng)安全滿足狀況LTE信令分析平臺(tái)滿足狀況：（1）系統(tǒng)提供密碼方略設(shè)立功效；（2）系統(tǒng)中密碼密文存儲(chǔ)，配備文獻(xiàn)中涉及密碼的必須是密文；（3）系統(tǒng)間數(shù)據(jù)加密傳輸；（4）系統(tǒng)維護(hù)賬號(hào)和預(yù)設(shè)賬號(hào)分開，預(yù)設(shè)賬號(hào)（涉及：應(yīng)用程序使用的賬號(hào)）不能被維護(hù)使用；（5）訪問數(shù)據(jù)庫的賬號(hào)采用最小權(quán)限原則設(shè)立；（6）避免通過手工批解決進(jìn)行業(yè)務(wù)維護(hù)；（7）避免通過直接操作數(shù)據(jù)庫進(jìn)行局?jǐn)?shù)據(jù)制作；（8）避免采用手工方式進(jìn)行數(shù)據(jù)統(tǒng)計(jì)；（9）滿足操作維護(hù)日志審計(jì)，能夠?qū)Σ僮飨到y(tǒng)、數(shù)據(jù)庫、應(yīng)用系統(tǒng)、網(wǎng)絡(luò)設(shè)備的操作維護(hù)日志進(jìn)行全方面審計(jì)；（10）滿足日志的可過濾審計(jì)和統(tǒng)計(jì)分析；（11）滿足數(shù)據(jù)庫自動(dòng)備份、全量及增量備份，操作系統(tǒng)和應(yīng)用系統(tǒng)手工備份，日志的備份、核心業(yè)務(wù)數(shù)據(jù)備份；（12）規(guī)定單獨(dú)布署測(cè)試環(huán)境，軟件新版本、補(bǔ)丁在測(cè)試環(huán)境中測(cè)試，測(cè)試通過后，布署于運(yùn)行環(huán)境中。系統(tǒng)安全配備管理功效安全監(jiān)控我方解決方案中提供的主機(jī)服務(wù)器和多個(gè)應(yīng)用服務(wù)器會(huì)予以專門的保護(hù)，避免未授權(quán)顧客的非法訪問，其具體能力以下：通過良好的登錄活動(dòng)統(tǒng)計(jì)和報(bào)告、顧客和網(wǎng)絡(luò)活動(dòng)的周期檢查，避免未被授權(quán)使用系統(tǒng)的顧客進(jìn)入系統(tǒng)；按照顧客、組模式對(duì)操作系統(tǒng)的訪問進(jìn)行控制，避免已授權(quán)或未授權(quán)的顧客存取互相的重要信息。不同部門或類型的顧客只能訪問對(duì)應(yīng)的文獻(xiàn)或應(yīng)用，能夠采用授權(quán)方式限定顧客對(duì)主機(jī)的訪問范疇；避免惡意顧客占用過多系統(tǒng)資源（CPU、內(nèi)存、文獻(xiàn)系統(tǒng)等），從而避免因無系統(tǒng)資源造成系統(tǒng)對(duì)其它顧客的不可用的事件發(fā)生；對(duì)主機(jī)的安全事件進(jìn)行具體的統(tǒng)計(jì)，并根據(jù)需要隨時(shí)進(jìn)行查閱。應(yīng)提供完善的漏洞掃描手段，及時(shí)發(fā)現(xiàn)系統(tǒng)的安全隱患，并據(jù)此提供必要的解決方案；周期性進(jìn)行操作系統(tǒng)備份，能夠在系統(tǒng)崩潰后快速修復(fù)系統(tǒng)文獻(xiàn)?？诹罟芾砦曳浇鉀Q方案中對(duì)各類主機(jī)及應(yīng)用服務(wù)器系統(tǒng)登錄口令的設(shè)立、使用、保存及配備管理已達(dá)成下列能力，以確保系統(tǒng)對(duì)非法入侵的抵抗能力。提供的安全方略強(qiáng)制實(shí)現(xiàn)顧客口令復(fù)雜度和長(zhǎng)度安全規(guī)則，在此基礎(chǔ)上可設(shè)定口令的安全限制條件，嚴(yán)禁顧客使用某些易被猜中的口令，如：帳號(hào)名、單位名稱等，核心字在系統(tǒng)中可配備。主機(jī)系統(tǒng)的顧客口令不允許采用明文形式寄存，從而避免顧客的口令不被任何人直接非法獲取。系統(tǒng)提供限制口令有效天數(shù)的功效，能夠強(qiáng)迫使用者在規(guī)定的時(shí)間間隔中必須變更口令，使口令被猜中的可能性減少。登錄控制管理人員能夠通過安全的終端登錄程序訪問系統(tǒng)主機(jī)環(huán)境，來完畢系統(tǒng)配備和管理等有關(guān)工作。終端登錄程序能夠最大程度減少非法訪問系統(tǒng)軟件的機(jī)率，登錄程序應(yīng)當(dāng)最大程度地減少公開的系統(tǒng)信息，避免為非法顧客提供方便。在登錄過程未成功時(shí)不顯示系統(tǒng)軟件的標(biāo)記；顯示普通性注意事項(xiàng)，提示顧客只有正當(dāng)顧客才干訪問系統(tǒng)軟件；在登錄期間不提供協(xié)助信息，以免為非法顧客提供方便；在全部數(shù)據(jù)輸入完畢之后才驗(yàn)證登錄信息，出錯(cuò)時(shí)不提示哪些數(shù)據(jù)錯(cuò)誤哪些數(shù)據(jù)對(duì)的；限制允許進(jìn)行的登錄失敗次數(shù)（可設(shè)立為5次），并且能夠通過審計(jì)功效進(jìn)行統(tǒng)計(jì)，允許再次登錄前強(qiáng)制時(shí)延，斷開數(shù)據(jù)鏈路連接；限制登錄程序允許的時(shí)間上限和下限，如果超出限制則中斷登錄進(jìn)程；登錄完畢后，顯示上次成功登錄時(shí)間和地址，以及登錄失敗的具體信息；當(dāng)?shù)卿浕卦捥幵诓还ぷ鳡顟B(tài)時(shí)，應(yīng)當(dāng)在設(shè)定的超時(shí)時(shí)間后自動(dòng)斷開登錄連接，以避免未授權(quán)顧客的非法訪問。終端登錄超時(shí)功效應(yīng)實(shí)現(xiàn)中斷連接、關(guān)閉應(yīng)用和網(wǎng)絡(luò)會(huì)話的功效；在性能管理系統(tǒng)以外的高風(fēng)險(xiǎn)地區(qū)（例如公司無法監(jiān)測(cè)和進(jìn)行安全管理的外部區(qū)域）的終端遠(yuǎn)程連接，或者服務(wù)于高風(fēng)險(xiǎn)系統(tǒng)的終端，應(yīng)當(dāng)限制連接時(shí)間以提高系統(tǒng)軟件的安全性，終端的連接時(shí)間應(yīng)在正常工作時(shí)間之內(nèi)；日志審計(jì)生成和保存具體操作日志、登陸日志、任務(wù)操作日志統(tǒng)計(jì)和系統(tǒng)錯(cuò)誤日志等信息的能力，所產(chǎn)生的日志能夠在運(yùn)行商所布署的審計(jì)方略之下進(jìn)行有效的審計(jì)，審計(jì)日志應(yīng)保存3個(gè)月，涉及：應(yīng)用系統(tǒng)日志：應(yīng)用系統(tǒng)含有完善的日志功效，能夠統(tǒng)計(jì)系統(tǒng)異常狀況及其它安全事件。應(yīng)用系統(tǒng)日志涉及下列內(nèi)容：顧客登錄和退出的日期和具體時(shí)間及IP地址等信息；成功的和被回絕的系統(tǒng)訪問活動(dòng)的統(tǒng)計(jì)；成功的和被回絕的數(shù)據(jù)與其它資源的訪問統(tǒng)計(jì)；成功的和被回絕的管理操作統(tǒng)計(jì)。操作系統(tǒng)日志啟動(dòng)操作系統(tǒng)日志功效對(duì)系統(tǒng)日志進(jìn)行統(tǒng)計(jì)；系統(tǒng)日志應(yīng)最少統(tǒng)計(jì)下列內(nèi)容：對(duì)系統(tǒng)登錄進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)登錄主機(jī)的IP地址、顧客名、時(shí)間等；統(tǒng)計(jì)系統(tǒng)成功以及失敗的登錄事件；統(tǒng)計(jì)系統(tǒng)事件。系統(tǒng)必須提供一種機(jī)制審計(jì)與安全性有關(guān)的故障與沖突，其中涉及：授權(quán)（Authorization）失?。翰铄e(cuò)通行字，無效的SNMP通信，無效令牌；對(duì)控制方略的違反：嚴(yán)禁的源路由，被過濾掉的目的地；授權(quán)通過：對(duì)的通行字，遠(yuǎn)程登錄帶內(nèi)訪問，控制臺(tái)訪問等。系統(tǒng)必須提供一種機(jī)制審計(jì)用于統(tǒng)計(jì)并監(jiān)控設(shè)備配備信息的變化，統(tǒng)計(jì)內(nèi)容涉及登錄時(shí)間，帳號(hào)，實(shí)施的操作和時(shí)間等信息。系統(tǒng)應(yīng)支持“存在遠(yuǎn)端Server的操作審計(jì)功效”，即將系統(tǒng)上進(jìn)行的全部操作在遠(yuǎn)端Server上都進(jìn)行實(shí)時(shí)備份。系統(tǒng)備份在大數(shù)據(jù)量的應(yīng)用場(chǎng)景中，系統(tǒng)采用數(shù)據(jù)庫全量備份與增量備份相結(jié)合、庫內(nèi)數(shù)據(jù)備份與庫外文獻(xiàn)備份相結(jié)合的方式，完整、及時(shí)、有效地備份數(shù)據(jù)內(nèi)容。系統(tǒng)無安全漏洞保障網(wǎng)絡(luò)安全網(wǎng)絡(luò)配備安全我方解決方案中通過防火墻（硬件防火墻）對(duì)進(jìn)入內(nèi)部網(wǎng)絡(luò)的數(shù)據(jù)包進(jìn)行掃描過濾，能夠根據(jù)顧客、IP地址、訪問類型等方式進(jìn)行訪問規(guī)則限制，能夠?qū)ΤＲ姷娜肭中袨檫M(jìn)行判斷并制止，有條件的公司應(yīng)使用多個(gè)防火墻進(jìn)行集成。提供地址翻譯功效，屏蔽網(wǎng)絡(luò)內(nèi)部細(xì)節(jié)，避免外部黑客運(yùn)用IP探測(cè)技術(shù)發(fā)現(xiàn)內(nèi)部網(wǎng)絡(luò)構(gòu)造和服務(wù)器真實(shí)地址，從而實(shí)現(xiàn)有針對(duì)性的攻擊。能夠?qū)W(wǎng)絡(luò)通訊進(jìn)行監(jiān)控，及時(shí)發(fā)現(xiàn)任何來自于網(wǎng)絡(luò)內(nèi)部或外部的黑客入侵或可疑的訪問行為，并做到及時(shí)報(bào)J與阻斷。數(shù)據(jù)傳輸安全我方解決方案中對(duì)各子網(wǎng)間或遠(yuǎn)程顧客傳輸中的數(shù)據(jù)進(jìn)行安全保護(hù)，運(yùn)用認(rèn)證、校驗(yàn)、加密、等方式確保數(shù)據(jù)在網(wǎng)絡(luò)層的安全。網(wǎng)絡(luò)層認(rèn)證報(bào)文的來源，避免攻擊者運(yùn)用偽裝地址來發(fā)送報(bào)文；網(wǎng)絡(luò)層確保數(shù)據(jù)報(bào)的完整性，報(bào)文在網(wǎng)絡(luò)中傳輸時(shí)沒有發(fā)生變化；網(wǎng)絡(luò)層報(bào)文的內(nèi)容在傳輸過程中未被讀取，未授權(quán)方不能讀取報(bào)文的內(nèi)容；網(wǎng)絡(luò)層認(rèn)證報(bào)文沒有重復(fù)，避免攻擊者通過重發(fā)截獲的認(rèn)證報(bào)文來干擾正常的通信，從而造成事務(wù)多次執(zhí)行，或是使依賴于被復(fù)制報(bào)文的上層應(yīng)用發(fā)生混亂狀況。防病毒安全由于系統(tǒng)中現(xiàn)在存在多個(gè)方式的連接，在多個(gè)途徑的數(shù)據(jù)交換中都可能含有病毒感染的隱患。對(duì)于這些存在的安全問題，我方提供的安全方案通過有效的手段，對(duì)在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)及郵件進(jìn)行實(shí)時(shí)的監(jiān)視，對(duì)多個(gè)類型的文獻(xiàn)都能夠進(jìn)行病毒的查殺工作，對(duì)遠(yuǎn)程子網(wǎng)中的服務(wù)器、工作站提供全方面的病毒防備，自動(dòng)進(jìn)行病毒代碼庫的更新，對(duì)發(fā)現(xiàn)的病毒能夠在全網(wǎng)絡(luò)范疇內(nèi)進(jìn)行去除。生產(chǎn)環(huán)境與開發(fā)測(cè)試環(huán)境分離我方提供的安全方案通過構(gòu)建科學(xué)完善的系統(tǒng)環(huán)境及管理機(jī)制，對(duì)系統(tǒng)開發(fā)、測(cè)試、上線各個(gè)環(huán)節(jié)采用安全的區(qū)隔及流程管理，保障系統(tǒng)生產(chǎn)環(huán)境的安全可靠及高效運(yùn)行。系統(tǒng)環(huán)境分為生產(chǎn)環(huán)境、開發(fā)環(huán)境及測(cè)試環(huán)境，各個(gè)環(huán)境之間采用嚴(yán)格的分離管理，對(duì)原有功效的升級(jí)改造、原有功效下線及新增功效開發(fā)，先在開發(fā)、測(cè)試環(huán)境進(jìn)行有關(guān)的開發(fā)測(cè)試工作，確保數(shù)據(jù)解決及應(yīng)用邏輯符合業(yè)務(wù)規(guī)定并能夠?qū)Φ倪\(yùn)行之后，才在生產(chǎn)環(huán)境進(jìn)行上線布署。在開發(fā)、測(cè)試環(huán)境構(gòu)建與生產(chǎn)環(huán)境主體架構(gòu)相似的、與生產(chǎn)環(huán)境互相獨(dú)立的物理平臺(tái)。敏感數(shù)據(jù)安全為了確保系統(tǒng)的敏感數(shù)據(jù)安全，對(duì)敏感數(shù)據(jù)的導(dǎo)出進(jìn)行管理，實(shí)現(xiàn)敏感數(shù)據(jù)“不落地”，避免人工參加數(shù)據(jù)操作造成的數(shù)據(jù)泄漏?！安宦涞亍笔侵笖?shù)據(jù)在使用過程中不下載或者保存在個(gè)人PC機(jī)、手提電腦、U盤等個(gè)人存儲(chǔ)設(shè)備上。感數(shù)據(jù)導(dǎo)出管理實(shí)現(xiàn)方案：圖5-17敏感數(shù)據(jù)不落地管理實(shí)現(xiàn)圖敏感數(shù)據(jù)導(dǎo)出重要是系統(tǒng)以系統(tǒng)控制方式或者以人工參加方式對(duì)系統(tǒng)的敏感數(shù)據(jù)進(jìn)行導(dǎo)出。系統(tǒng)控制方式：針對(duì)外部系統(tǒng)（如專業(yè)網(wǎng)管、監(jiān)控與告J管理系統(tǒng)、資源管理系統(tǒng)、CRM、BOSS、客服營(yíng)銷系統(tǒng)等系統(tǒng)）對(duì)性能管理系統(tǒng)固定的數(shù)據(jù)需求，建立“互動(dòng)接口”，實(shí)現(xiàn)性能管理系統(tǒng)的目的數(shù)據(jù)傳遞到其它系統(tǒng)中執(zhí)行分析、營(yíng)銷、管控等活動(dòng)。能夠通過文獻(xiàn)接口等方式進(jìn)行交互。人工參加方式：通過人工參加方式，實(shí)現(xiàn)臨時(shí)的數(shù)據(jù)需求而實(shí)現(xiàn)管理方式。顧客能夠通過“文獻(xiàn)服務(wù)器”從性能管理系統(tǒng)下載數(shù)據(jù)到該服務(wù)器上；能夠?qū)ο螺d的數(shù)據(jù)文獻(xiàn)進(jìn)行篩選、修改、等操作，并且以人工方式到外部系統(tǒng)中。文獻(xiàn)操作服務(wù)器是類似于遠(yuǎn)程桌面類型的服務(wù)器。顧客能夠通過遠(yuǎn)程登錄該服務(wù)器登錄各類外部系統(tǒng)；并且能夠通過登錄實(shí)現(xiàn)查詢、上傳、下載等功效。該服務(wù)器能夠安裝多個(gè)解決文獻(xiàn)的軟件，例如Excel、FoxPro等軟件。但是該服務(wù)器必須有日志進(jìn)行統(tǒng)計(jì)顧客操作過程，嚴(yán)禁提供文獻(xiàn)下載到個(gè)人存儲(chǔ)設(shè)備上。有條件的省市能夠?qū)崿F(xiàn)在性能管理系統(tǒng)下載敏感數(shù)據(jù)時(shí)，下載的文獻(xiàn)直接發(fā)送到“文獻(xiàn)操作服務(wù)器”上的該顧客帳戶中，顧客通過登錄文獻(xiàn)服務(wù)器實(shí)現(xiàn)操作。從管理角度，我方解決方案中對(duì)敏感數(shù)據(jù)導(dǎo)出具體以下：系統(tǒng)控制方式導(dǎo)出的敏感數(shù)據(jù)，對(duì)接外部系統(tǒng)以“系統(tǒng)接口”辦法實(shí)現(xiàn)數(shù)據(jù)對(duì)接。在此期間確保數(shù)據(jù)安全，不下載或者保存在個(gè)人PC機(jī)、手提電腦、U盤等個(gè)人存儲(chǔ)設(shè)備上；通過人工參加方式導(dǎo)出的敏感數(shù)據(jù)，通過有關(guān)部門的審核才干下載或者保存在個(gè)人PC機(jī)、手提電腦、U盤等個(gè)人存儲(chǔ)設(shè)備上。軟件本身安全WEB站點(diǎn)安全我方提供的產(chǎn)品不使用common、login、system等默認(rèn)登錄頁名稱，嚴(yán)格限制口令明文口令，避免站點(diǎn)應(yīng)用的顧客、主機(jī)、DB等口令信息存儲(chǔ)明文保存在配備文獻(xiàn)、代碼或數(shù)據(jù)庫中，具體已達(dá)成下列能力：杜絕跨站腳本弱點(diǎn)與跨站偽造請(qǐng)求?？缯灸_本攻擊（XSS）。是指運(yùn)用網(wǎng)站漏洞從顧客那里惡意盜取信息。顧客在瀏覽網(wǎng)站、使用即時(shí)通訊軟件、甚至在閱讀電子郵件時(shí)，普通會(huì)點(diǎn)擊其中的鏈接。攻擊者通過在鏈接或者表單中插入惡意代碼，就能夠盜取顧客信息。攻擊者普通會(huì)用十六進(jìn)制（或其它編碼方式）將鏈接編碼，以免顧客懷疑它的正當(dāng)性。網(wǎng)站在接受到包含惡意代碼的請(qǐng)求之后會(huì)產(chǎn)成一種包含惡意代碼的頁面，而這個(gè)頁面看起來就像是那個(gè)網(wǎng)站應(yīng)當(dāng)生成的正當(dāng)頁面同樣。即跨站偽造請(qǐng)求（CSRF），是偽造客戶端請(qǐng)求的一種攻擊，英文全稱是CrossSiteRequestForgery。攻擊者可偽造顧客請(qǐng)求進(jìn)行操作。杜絕泄露站點(diǎn)實(shí)際途徑，避免通過頁面右擊屬性、輸入錯(cuò)誤參數(shù)報(bào)錯(cuò)等操作而暴露實(shí)際文獻(xiàn)途徑。杜絕IIS上傳組件漏洞。手工上傳文本文獻(xiàn)等應(yīng)用的IIS上傳組件本身就存在較大風(fēng)險(xiǎn)漏洞。攻擊者能夠上傳類似“aa.asp;.xls”文獻(xiàn)，上傳組件檢查后綴名為.xls就認(rèn)為是.xls文獻(xiàn)，而IIS內(nèi)部解析時(shí)卻會(huì)截取“;”前的內(nèi)容為文獻(xiàn)名，事實(shí)上傳文獻(xiàn)就成了aa.asp，攻擊者就能夠運(yùn)用IIS上傳組件的這個(gè)本身漏洞隨意上傳木馬腳本，進(jìn)而能夠以匿名訪問顧客（WebLogin）的身份來控制站點(diǎn)服務(wù)器主機(jī)。杜絕URL跳轉(zhuǎn)限制被釣魚操作，針對(duì)站點(diǎn)的URL跳轉(zhuǎn)嚴(yán)格限制，以避免被釣魚。編碼規(guī)范化我方提供的產(chǎn)品不用常規(guī)編碼工具自動(dòng)生成的默認(rèn)目錄名稱或文獻(xiàn)名，如SYTEM、LOGIN、COMMON等名稱，對(duì)顧客輸入和URL進(jìn)行過濾，將某些敏感字符進(jìn)行轉(zhuǎn)義（例如Script、<、>等）進(jìn)行檢查過濾。表單提交操作中，限制顧客提交的數(shù)據(jù)長(zhǎng)度。核心動(dòng)作使用POST辦法提交，并增加時(shí)間戳或驗(yàn)證碼。軟件正版化我方提供的解決方案主機(jī)操作系統(tǒng)為正版操作系統(tǒng)，系統(tǒng)補(bǔ)丁包更新延時(shí)不超出三個(gè)月。系統(tǒng)運(yùn)行或維護(hù)所應(yīng)用的第三方軟件全部為正版軟件或開源軟件。性能和可靠性可靠性規(guī)定系統(tǒng)確保7×24小時(shí)不間斷運(yùn)行，系統(tǒng)硬件構(gòu)成含有冗余等安全方法。設(shè)備的MTBF（MeanTimeBetweenFailure，平均故障間隔時(shí)間）應(yīng)不大于或等于每年50分鐘內(nèi)。每年每臺(tái)設(shè)備故障率不超出2%。設(shè)備含有避免單點(diǎn)失效的功效，從而確保系統(tǒng)的可靠度不低于99.999%，規(guī)定某一種設(shè)備的宕機(jī)不影響業(yè)務(wù)的運(yùn)行。具體可靠性方法以下：系統(tǒng)能夠避免單點(diǎn)失效，即某臺(tái)設(shè)備宕機(jī)不會(huì)影響到整個(gè)業(yè)務(wù)的運(yùn)行系統(tǒng)的系統(tǒng)實(shí)現(xiàn)陣列級(jí)RAID備份系統(tǒng)提供核心部件的冗余能力系統(tǒng)設(shè)計(jì)壽命不不大于系統(tǒng)的硬件與軟件互相配合，提供對(duì)系統(tǒng)故障的管理能力系統(tǒng)可靠、穩(wěn)定，平均故障時(shí)間間隔不低于5000h，故障平均修復(fù)時(shí)間不高于1h。硬件設(shè)備有較高的可靠性和容錯(cuò)能力系統(tǒng)可監(jiān)控各主機(jī)運(yùn)行狀況和數(shù)據(jù)解決狀況，提前預(yù)J系統(tǒng)故障，減少系統(tǒng)故障率。系統(tǒng)含有壓力緩沖能力，能夠在一定時(shí)間內(nèi)承受突發(fā)的超負(fù)荷的請(qǐng)求。系統(tǒng)含有動(dòng)態(tài)調(diào)配集群資源的能力，支持在物理和邏輯上隔離多個(gè)任務(wù)所占用的資源。可擴(kuò)展性系統(tǒng)含有布署靈活性與系統(tǒng)可擴(kuò)展性，方便擴(kuò)展設(shè)備容量和提高設(shè)備性能，系統(tǒng)能平滑升級(jí)。采用開放體系的硬件和基礎(chǔ)軟件平臺(tái)；所應(yīng)用的軟硬件能夠適應(yīng)2-3年內(nèi)網(wǎng)絡(luò)擴(kuò)容的需求。硬件系統(tǒng)采用模塊構(gòu)造，以確保系統(tǒng)內(nèi)存、CPU及儲(chǔ)存容量的擴(kuò)展；硬件配備的升級(jí)不會(huì)引發(fā)應(yīng)用級(jí)軟件的修改和開發(fā)；應(yīng)用軟件的構(gòu)造應(yīng)能確保功效的擴(kuò)展。為了適應(yīng)系統(tǒng)的容量增加，硬件設(shè)備應(yīng)含有較強(qiáng)的擴(kuò)展能力，并應(yīng)含有升級(jí)和向后兼容的能力。采用通用的計(jì)算機(jī)系統(tǒng)，使用分布式系統(tǒng)構(gòu)造，局域網(wǎng)和廣域網(wǎng)混合相連。系統(tǒng)的硬件性能優(yōu)良、運(yùn)行平穩(wěn)可靠，并能夠確保長(zhǎng)時(shí)間的持續(xù)工作。系統(tǒng)重要硬件的容量和性能指標(biāo)（涉及內(nèi)存容量、解決器主頻、硬盤容量、通信網(wǎng)帶寬）應(yīng)能適應(yīng)整個(gè)系統(tǒng)解決能力、通信傳輸量、數(shù)據(jù)存儲(chǔ)量和顧客實(shí)際需求等各方面的規(guī)定。系統(tǒng)根據(jù)實(shí)際需要能配備各類外設(shè)：磁帶機(jī)或磁帶庫、光盤機(jī)、活動(dòng)硬盤等設(shè)備。對(duì)于新的查詢參數(shù)和規(guī)定，查詢系統(tǒng)的軟件模塊含有可擴(kuò)展性，可基于原有系統(tǒng)實(shí)現(xiàn)靈活、平滑的系統(tǒng)升級(jí)。系統(tǒng)各解決模塊支持負(fù)載均衡，含有并行內(nèi)存計(jì)算能力，支持?jǐn)?shù)據(jù)的實(shí)時(shí)解決和離線解決。系統(tǒng)解決模塊間低耦合，可根據(jù)需求和壓力分別彈性擴(kuò)展?？删S護(hù)性系統(tǒng)支持自動(dòng)化升級(jí)，通過維護(hù)工具完畢集群的升級(jí)管理，減少布署實(shí)施工作量；系統(tǒng)支持監(jiān)控各主機(jī)運(yùn)行狀況和數(shù)據(jù)解決狀況，提前預(yù)J系統(tǒng)故障，減少系統(tǒng)故障率；系統(tǒng)支持自動(dòng)化巡檢，提高系統(tǒng)監(jiān)控力度，減少由于系統(tǒng)故障造成的損失；通過UCD設(shè)計(jì)，提高客戶感知、減少維護(hù)工作量；支持故障定位、端到端問題跟蹤和異常事件解決功效；支持話單關(guān)聯(lián)成功率的實(shí)時(shí)分析，并提供分析報(bào)告，可及時(shí)定位各網(wǎng)元數(shù)據(jù)的精確性、及時(shí)性。運(yùn)行維護(hù)系統(tǒng)設(shè)計(jì)服務(wù)器管理對(duì)服務(wù)器進(jìn)行全方面的監(jiān)控，涉及：服務(wù)器的基本信息，端口，文獻(xiàn)系統(tǒng)，告J，性能，流量，可用性等綜合呈現(xiàn)。網(wǎng)絡(luò)設(shè)備管理針對(duì)交換機(jī)，路由器和防火墻等網(wǎng)絡(luò)設(shè)備的基本信息、告J、性能、端口信息、端口流量，可用性等信息綜合展示，直觀呈現(xiàn)設(shè)備的全部信息。進(jìn)程管理系統(tǒng)提供對(duì)服務(wù)器的進(jìn)程全方面掃描，顧客可根據(jù)掃描成果篩選出重點(diǎn)關(guān)注的進(jìn)程，并針對(duì)進(jìn)程的重要性定制告J等級(jí)和描述，當(dāng)進(jìn)程出現(xiàn)異常時(shí)，第一時(shí)間告知到運(yùn)維人員。服務(wù)管理系統(tǒng)提供對(duì)系統(tǒng)重點(diǎn)服務(wù)的監(jiān)控，當(dāng)服務(wù)不存在或者服務(wù)參數(shù)發(fā)生變化會(huì)產(chǎn)生告J。數(shù)據(jù)庫管理數(shù)據(jù)庫監(jiān)控范疇涉及各重要應(yīng)用系統(tǒng)中使用的各類數(shù)據(jù)庫，能夠監(jiān)視數(shù)據(jù)庫系統(tǒng)進(jìn)程的運(yùn)行狀況和日志文獻(xiàn)的變化。根據(jù)數(shù)據(jù)庫的不同，系統(tǒng)重要監(jiān)控?cái)?shù)據(jù)庫的進(jìn)程、表空間運(yùn)用率、數(shù)據(jù)文獻(xiàn)運(yùn)用率、鎖、連接數(shù)等指標(biāo)。在數(shù)據(jù)庫監(jiān)控頁面系統(tǒng)也提供數(shù)據(jù)庫所在設(shè)備的CPU、內(nèi)存及磁盤空間運(yùn)用率、進(jìn)程、設(shè)備配備信息等性能指標(biāo)。中間管理系統(tǒng)提供了現(xiàn)在主流廠商中間件的管理功效，能夠監(jiān)視中間件系統(tǒng)的基本信息和運(yùn)行狀況，能夠動(dòng)態(tài)收集應(yīng)用性能數(shù)據(jù)并通過圖形界面呈現(xiàn)。集群管理重要是實(shí)時(shí)監(jiān)控集群各個(gè)節(jié)點(diǎn)的運(yùn)行狀態(tài)，并對(duì)各個(gè)節(jié)點(diǎn)進(jìn)行性能監(jiān)控與分析，以確保高性能、高可用性的集群服務(wù)。故障管理系統(tǒng)提供立體化、透明化監(jiān)管、閉環(huán)故障解決、多個(gè)的告J預(yù)解決方略、實(shí)時(shí)精確的告J告知接口，豐富的告J解決經(jīng)驗(yàn)，保障運(yùn)行質(zhì)量。系統(tǒng)提供一系列的告J預(yù)解決流程，顧客可自定義預(yù)解決方略。系統(tǒng)提供告J實(shí)時(shí)監(jiān)控面板，告J將主動(dòng)推送到實(shí)時(shí)面板，面板提供某些列的告J解決操作（涉及：告J去除，確認(rèn)，歸檔，鎖定，查看詳情）。性能管理可針對(duì)設(shè)備類型或重點(diǎn)設(shè)備的重要指標(biāo)自定義門限（涉及：?jiǎn)渭?jí)門限和多級(jí)門限），并且提供越限告J功效。提供性能指標(biāo)匯總功效，并對(duì)性能數(shù)據(jù)進(jìn)行深度趨勢(shì)分析。配備文獻(xiàn)管理配備文獻(xiàn)管理功效實(shí)現(xiàn)每天、每七天或每月定時(shí)備份網(wǎng)管設(shè)備的配備文獻(xiàn)。備份的范疇是被管范疇內(nèi)全部的網(wǎng)絡(luò)設(shè)備。并提供配備文獻(xiàn)比較的功效，顧客可選擇需要比較的配備文獻(xiàn)，系統(tǒng)將自動(dòng)對(duì)比其差別，得出比較的成果，協(xié)助顧客分析配備文獻(xiàn)。SYSLOG管理系統(tǒng)可根據(jù)SYSLOG發(fā)送的源設(shè)備和報(bào)文自定義告J規(guī)則，上報(bào)告J。對(duì)原始SYSLOG查詢。其它系統(tǒng)設(shè)計(jì)無額外補(bǔ)充內(nèi)容。系統(tǒng)配備及軟硬件選型原則軟硬件布署根據(jù)對(duì)本項(xiàng)目的需求分析，并結(jié)合應(yīng)用體系架構(gòu)的B/A/S實(shí)現(xiàn)形式以及對(duì)整個(gè)系統(tǒng)網(wǎng)絡(luò)、安全、系統(tǒng)管理等方面的總體考慮，整個(gè)主機(jī)與存儲(chǔ)系統(tǒng)重要分為下列幾個(gè)部分：數(shù)據(jù)庫服務(wù)器，應(yīng)用服務(wù)器等。系統(tǒng)軟件本項(xiàng)目數(shù)據(jù)庫服務(wù)器和應(yīng)用服務(wù)器的操作系統(tǒng)建議選用linux操作系統(tǒng)。數(shù)據(jù)庫服務(wù)器數(shù)據(jù)庫系統(tǒng)是整個(gè)系統(tǒng)的數(shù)據(jù)中心，設(shè)計(jì)上采用雙機(jī)設(shè)計(jì)，考慮到項(xiàng)目特殊性，前期采用單數(shù)據(jù)庫實(shí)現(xiàn)，后期根據(jù)需要再進(jìn)行擴(kuò)容方案建設(shè)(預(yù)留接口)。核心數(shù)據(jù)庫服務(wù)器運(yùn)行大型數(shù)據(jù)庫，是整個(gè)系統(tǒng)的數(shù)據(jù)核心，含有高穩(wěn)定性、高可靠性、高容錯(cuò)能力的規(guī)定。通過數(shù)據(jù)庫的安全業(yè)務(wù)應(yīng)用端口，能夠提供應(yīng)現(xiàn)有服務(wù)器設(shè)備和終端設(shè)備的訪問,確保系統(tǒng)運(yùn)行的高效、穩(wěn)定、不中斷。應(yīng)用服務(wù)器本方案內(nèi)，應(yīng)用服務(wù)器重要為各業(yè)務(wù)系統(tǒng)提供硬件平臺(tái)支撐。采用負(fù)載均衡服務(wù)器和Web應(yīng)用服務(wù)器組合方式。同數(shù)據(jù)庫服務(wù)器，考慮到項(xiàng)目特殊性，本次均衡服務(wù)器采用單節(jié)點(diǎn)，Web應(yīng)用服務(wù)器采用集群方式。數(shù)據(jù)規(guī)定數(shù)據(jù)類型系統(tǒng)數(shù)據(jù)類型包含XX系統(tǒng)已有的數(shù)據(jù)，運(yùn)行商、交通系統(tǒng)、等部門采集的居民衣、食、住、行的海量數(shù)據(jù)等多個(gè)類型的數(shù)據(jù)等。數(shù)據(jù)規(guī)模為確保數(shù)據(jù)的精確性，系統(tǒng)顧客數(shù)采集樣本量不不大于0萬。技術(shù)規(guī)定數(shù)據(jù)存儲(chǔ)能力系統(tǒng)的存儲(chǔ)容量高于3PB。數(shù)據(jù)分析能力規(guī)定系統(tǒng)每天解決日志條數(shù)高于200億條，解決時(shí)延于300s，集群服務(wù)器數(shù)不不大于300臺(tái)，單臺(tái)設(shè)備配備高于CPU32核2.0G、內(nèi)存256G。數(shù)據(jù)采集能力規(guī)定數(shù)據(jù)采集粒度為15分鐘。數(shù)據(jù)呈現(xiàn)能力規(guī)定數(shù)據(jù)呈現(xiàn)刷新時(shí)間為60分鐘。查詢的響應(yīng)時(shí)長(zhǎng)不大于15秒。系統(tǒng)并發(fā)連接數(shù)不不大于1000個(gè)。系統(tǒng)可靠性規(guī)定系統(tǒng)平臺(tái)含有7×24小時(shí)持續(xù)穩(wěn)定運(yùn)行。系統(tǒng)軟硬件物理布署方案智慧XX大數(shù)據(jù)中心建設(shè)將重要依靠現(xiàn)有區(qū)傳輸網(wǎng)絡(luò)平臺(tái)，涉及互聯(lián)網(wǎng)、政務(wù)外網(wǎng)來實(shí)施布署、訪問大數(shù)據(jù)中心有關(guān)數(shù)據(jù)信息。圖5-19大數(shù)據(jù)中心網(wǎng)絡(luò)構(gòu)造示意圖XX系統(tǒng)各部門的系統(tǒng)布署的網(wǎng)絡(luò)涵蓋了政務(wù)內(nèi)外網(wǎng)、部門專網(wǎng)、互聯(lián)網(wǎng)，分別為XX內(nèi)部、企事業(yè)單位、民眾提供服務(wù)。項(xiàng)目建設(shè)與運(yùn)行管理項(xiàng)目領(lǐng)導(dǎo)機(jī)構(gòu)項(xiàng)目領(lǐng)導(dǎo)和管理機(jī)構(gòu)簡(jiǎn)稱項(xiàng)目領(lǐng)導(dǎo)小組，負(fù)責(zé)項(xiàng)目總體規(guī)劃和方針方略的制訂。（1）人員構(gòu)成組長(zhǎng)：XX系統(tǒng)有關(guān)部門主管領(lǐng)導(dǎo)各1人；各部門信息處室領(lǐng)導(dǎo)各1人。（2）重要職責(zé)制訂方針方略，指導(dǎo)項(xiàng)目管理實(shí)施小組；設(shè)定項(xiàng)目目的、范疇及評(píng)價(jià)考核原則；同意項(xiàng)目計(jì)劃，監(jiān)控項(xiàng)目進(jìn)程；協(xié)調(diào)項(xiàng)目所需有關(guān)資源，調(diào)配人力和資金；解決項(xiàng)目實(shí)施小組不能解決的問題；審批建設(shè)方案并參加驗(yàn)收；審批工作準(zhǔn)則與工作規(guī)程，確保項(xiàng)目能夠正常進(jìn)行；對(duì)項(xiàng)目成敗全方面負(fù)責(zé)。項(xiàng)目管理機(jī)構(gòu)項(xiàng)目管理機(jī)構(gòu)為負(fù)責(zé)本項(xiàng)目管理實(shí)施有關(guān)單位，負(fù)責(zé)項(xiàng)目建設(shè)過程中的日常管理工作。（1）人員構(gòu)成項(xiàng)目管理機(jī)構(gòu)組員由下列構(gòu)成建設(shè)單位項(xiàng)目管理組長(zhǎng)1名；承建單位項(xiàng)目組長(zhǎng)1名；監(jiān)理機(jī)構(gòu)組長(zhǎng)1名；專家組長(zhǎng)1名構(gòu)成。（2）重要職責(zé)根據(jù)本項(xiàng)目建設(shè)內(nèi)容，建議本項(xiàng)目實(shí)施機(jī)構(gòu)、機(jī)構(gòu)構(gòu)成及機(jī)構(gòu)職責(zé)可按下表所示方式組建。表STYLEREF1\s6SEQ表\*ARABIC\s11實(shí)施機(jī)構(gòu)職責(zé)項(xiàng)目實(shí)施機(jī)構(gòu)組員機(jī)構(gòu)構(gòu)成重要職責(zé)備注建設(shè)單位項(xiàng)目管理組項(xiàng)目總負(fù)責(zé)人硬件負(fù)責(zé)人軟件負(fù)責(zé)人對(duì)項(xiàng)目實(shí)施過程進(jìn)行建設(shè)管理承建單位項(xiàng)目組項(xiàng)目經(jīng)理采購合同組硬件實(shí)施組軟件開發(fā)組質(zhì)量控制組運(yùn)維支持組負(fù)責(zé)具體項(xiàng)目的實(shí)施工作硬件實(shí)施組、軟件實(shí)施組根據(jù)項(xiàng)目?jī)?nèi)容及實(shí)施需要還可劃分小組監(jiān)理機(jī)構(gòu)組總監(jiān)理工程師專業(yè)監(jiān)理工程師總監(jiān)對(duì)項(xiàng)目的建設(shè)過程進(jìn)行“三控兩管一協(xié)調(diào)”專家組行業(yè)專家技術(shù)專家對(duì)項(xiàng)目方案從業(yè)務(wù)和技術(shù)等多層次進(jìn)行把關(guān)項(xiàng)目承建機(jī)構(gòu)（1）人員構(gòu)成由承建方委派高級(jí)項(xiàng)目管理人員出任項(xiàng)目經(jīng)理1名，并由承建方的采購合同組、硬件實(shí)施組、軟件開發(fā)組、質(zhì)量控制組、運(yùn)維支持組組長(zhǎng)各1名，組員20名構(gòu)成。（2）重要職責(zé)根據(jù)合同規(guī)定，收集項(xiàng)目有關(guān)信息，制訂項(xiàng)目計(jì)劃，指導(dǎo)項(xiàng)目執(zhí)行；協(xié)調(diào)顧客和項(xiàng)目組的關(guān)系，安排人力資源，明確職責(zé)；評(píng)定項(xiàng)目執(zhí)行風(fēng)險(xiǎn)，制訂防備方法；監(jiān)控產(chǎn)品訂貨、運(yùn)輸、安裝、調(diào)試狀況；定時(shí)編寫項(xiàng)目進(jìn)展?fàn)顟B(tài)的資料給顧客及有關(guān)人員；協(xié)助對(duì)變更進(jìn)行評(píng)定，提出意見。并決定普通變更，重大變更告知有關(guān)決策人；協(xié)助制訂、監(jiān)控變更方法的執(zhí)行；組織系統(tǒng)驗(yàn)收，簽訂驗(yàn)收文獻(xiàn)，跟蹤、統(tǒng)計(jì)試運(yùn)行狀況并安排有關(guān)人員解決試運(yùn)行問題；驗(yàn)收完畢后，負(fù)責(zé)對(duì)項(xiàng)目進(jìn)行總結(jié)、結(jié)項(xiàng)。運(yùn)行維護(hù)機(jī)構(gòu)在項(xiàng)目質(zhì)保期內(nèi)，項(xiàng)目軟硬件平臺(tái)的技術(shù)維護(hù)工作由項(xiàng)目承建單位負(fù)責(zé)；項(xiàng)目質(zhì)保期后，采用購置技術(shù)運(yùn)維服務(wù)的方式進(jìn)行智慧XX大數(shù)據(jù)分析系統(tǒng)的維護(hù)工作。有關(guān)管理制度（1）強(qiáng)化監(jiān)理的監(jiān)督管理作用按照我國的有關(guān)規(guī)定，本項(xiàng)目必須引入監(jiān)理單位，因此在本項(xiàng)的建設(shè)過程中，充足發(fā)揮監(jiān)理的作用，對(duì)項(xiàng)目建設(shè)實(shí)施全過程的“進(jìn)度、質(zhì)量、成本”的監(jiān)督管理，從而確保項(xiàng)目保質(zhì)保量的完畢。（2）對(duì)參加項(xiàng)目建設(shè)單位的管理本項(xiàng)目的建設(shè)，將會(huì)有多家承建商參加，因此需要加強(qiáng)對(duì)各承建商的管理。管理的內(nèi)容涉及對(duì)階段性的成果評(píng)審和工作進(jìn)度檢查，對(duì)各承建商的重要人員（如項(xiàng)目經(jīng)理、技術(shù)負(fù)責(zé)人、業(yè)務(wù)骨干等）進(jìn)行資格審查、到位狀況、主持工作的能力等進(jìn)行管理，通過管理，確保階段性提交的成果與產(chǎn)品符合