正本/副本投標(biāo)人(蓋單位章)法定代表人或其被授權(quán)委托人(簽字)序號(hào)評(píng)審項(xiàng)目是否完全響應(yīng)投標(biāo)人填寫響應(yīng)1響應(yīng)22.具有良好的商業(yè)信譽(yù)和健全的財(cái)務(wù)響應(yīng)3響應(yīng)4.有依法繳納稅收和社會(huì)保障資金的響應(yīng)響應(yīng)響應(yīng)二12序號(hào)評(píng)審計(jì)分模型填寫項(xiàng)目11指標(biāo)12指標(biāo)23指標(biāo)3二項(xiàng)目21三項(xiàng)目3四項(xiàng)目4五項(xiàng)目5六項(xiàng)目6七項(xiàng)目7十項(xiàng)目10備注投標(biāo)人按照《商務(wù)評(píng)審標(biāo)準(zhǔn)表》編制此表。投標(biāo)人填寫指標(biāo)值或HYPERLINK\l"bookmark1"第一章項(xiàng)目概述 5HYPERLINK\l"bookmark2"1.1項(xiàng)目背景 5HYPERLINK\l"bookmark3"1.2建設(shè)原則 5HYPERLINK\l"bookmark4" 7HYPERLINK\l"bookmark5" HYPERLINK\l"bookmark6" HYPERLINK\l"bookmark7"1.6總體要求 HYPERLINK\l"bookmark8"第二章平臺(tái)建設(shè)要求 HYPERLINK\l"bookmark9"2.1數(shù)據(jù)湖服務(wù)平臺(tái) HYPERLINK\l"bookmark10"2.1.1數(shù)據(jù)資源湖建設(shè) HYPERLINK\l"bookmark11"2.1.2公共數(shù)據(jù)服務(wù) HYPERLINK\l"bookmark12"2.1.3數(shù)據(jù)中臺(tái)建設(shè) HYPERLINK\l"bookmark13"2.1.4數(shù)據(jù)資產(chǎn)湖建設(shè) HYPERLINK\l"bookmark14"2.1.5政府?dāng)?shù)據(jù)開放服務(wù) HYPERLINK\l"bookmark15"2.1.6數(shù)據(jù)運(yùn)營(yíng) HYPERLINK\l"bookmark16"2.1.7數(shù)據(jù)運(yùn)維 HYPERLINK\l"bookmark17"2.1.8數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè) HYPERLINK\l"bookmark18"2.2人工智能公共服務(wù)平臺(tái) HYPERLINK\l"bookmark19"2.2.1人工智能應(yīng)用服務(wù) HYPERLINK\l"bookmark20"2.2.2人工智能運(yùn)營(yíng)管理 HYPERLINK\l"bookmark21"2.2.3人工智能算法訓(xùn)練 HYPERLINK\l"bookmark22"2.2.4人工智能公共服務(wù)引擎 HYPERLINK\l"bookmark23"2.2.5人工智能技術(shù)服務(wù)體系 HYPERLINK\l"bookmark24" HYPERLINK\l"bookmark25" HYPERLINK\l"bookmark26" HYPERLINK\l"bookmark27" HYPERLINK\l"bookmark28" HYPERLINK\l"bookmark29" HYPERLINK\l"bookmark30" HYPERLINK\l"bookmark31"2.3.7GIS軟件 HYPERLINK\l"bookmark32"2.4區(qū)塊鏈公共服務(wù)平臺(tái) HYPERLINK\l"bookmark33"2.4.1區(qū)塊鏈公共服務(wù) HYPERLINK\l"bookmark34"2.4.2區(qū)塊鏈運(yùn)營(yíng)管理 HYPERLINK\l"bookmark35"2.4.3區(qū)塊鏈公共服務(wù)引擎 HYPERLINK\l"bookmark36"2.4.4標(biāo)準(zhǔn)規(guī)范要求 HYPERLINK\l"bookmark37"2.5物聯(lián)感知公共服務(wù)平臺(tái) HYPERLINK\l"bookmark38"2.5.1物聯(lián)基礎(chǔ)管理 HYPERLINK\l"bookmark39"2.5.2物聯(lián)公共應(yīng)用 HYPERLINK\l"bookmark40"2.5.3物聯(lián)公共服務(wù)引擎 HYPERLINK\l"bookmark41"2.5.4統(tǒng)一服務(wù)門戶 HYPERLINK\l"bookmark42"2.5.5物聯(lián)應(yīng)用使能 HYPERLINK\l"bookmark43"2.5.6物聯(lián)標(biāo)準(zhǔn)建設(shè) HYPERLINK\l"bookmark44"2.6視頻綜合公共服務(wù)平臺(tái) HYPERLINK\l"bookmark45"2.6.1視頻公共應(yīng)用 HYPERLINK\l"bookmark46"2.6.2視頻公共運(yùn)營(yíng) HYPERLINK\l"bookmark47"2.6.3視頻服務(wù)總線 HYPERLINK\l"bookmark48"2.6.4雪亮工程升級(jí) HYPERLINK\l"bookmark49"2.6.5服務(wù)器和存儲(chǔ)系統(tǒng)要求 HYPERLINK\l"bookmark50"2.7統(tǒng)一應(yīng)用公共服務(wù)平臺(tái) HYPERLINK\l"bookmark51"2.7.1公共智慧底座總門戶 HYPERLINK\l"bookmark52"2.7.2統(tǒng)一應(yīng)用服務(wù) HYPERLINK\l"bookmark53" HYPERLINK\l"bookmark54"2.7.4統(tǒng)一運(yùn)營(yíng)管理 259HYPERLINK\l"bookmark55"2.7.5統(tǒng)一運(yùn)維管理 HYPERLINK\l"bookmark56"2.7.6統(tǒng)一基礎(chǔ)管理 HYPERLINK\l"bookmark57"2.8基礎(chǔ)支撐平臺(tái) HYPERLINK\l"bookmark58"2.8.1物聯(lián)網(wǎng)建設(shè) 280HYPERLINK\l"bookmark59"2.8.2政務(wù)外網(wǎng)組網(wǎng)要求 第一章項(xiàng)目概述1.1項(xiàng)目背景些、更智慧一些。"化轉(zhuǎn)型，加快數(shù)字社會(huì)建設(shè)步伐，提高數(shù)字政府建設(shè)水平，<XX市推進(jìn)數(shù)字經(jīng)濟(jì)和數(shù)字化發(fā)展三年行動(dòng)計(jì)劃(2021—2023年)>的實(shí)施方案》,圍繞“強(qiáng)富美高”總目標(biāo)，堅(jiān)持整體化轉(zhuǎn)變、全方位賦能、革命性重塑，搶抓發(fā)展新機(jī)遇、1.2建設(shè)原則總體框架)等一系列標(biāo)準(zhǔn)要求，建立完善可靠的安全保障體時(shí)間不問斷地安全運(yùn)行。包括數(shù)據(jù)庫(kù)可靠性和系統(tǒng)可靠性：人數(shù)據(jù)不合理的情況下有較高的抗干抗性和排除故障能力及安全防控能力。3.可移植和可擴(kuò)展性充分利用已有設(shè)備和已有系統(tǒng)成果，實(shí)現(xiàn)已有數(shù)據(jù)、系統(tǒng)的利用和保護(hù)以及現(xiàn)有工作人員知識(shí)的利用。永康市公共服務(wù)平臺(tái)是一個(gè)不斷發(fā)展中的應(yīng)用，在設(shè)計(jì)時(shí)要考慮到新技發(fā)生變化時(shí)，可以擴(kuò)展平臺(tái)的功能和性能。軟件設(shè)計(jì)要簡(jiǎn)明，各功能模塊間的耦合度小，以適應(yīng)業(yè)務(wù)發(fā)展需要，便于項(xiàng)目的繼承和擴(kuò)展。4.簡(jiǎn)單和易用性主要體現(xiàn)在兩個(gè)方面：一是應(yīng)用界面簡(jiǎn)捷、直觀，盡量減少菜單的層次和不必要的點(diǎn)擊過程，使用戶在使用時(shí)一目了然，便于快速掌握系統(tǒng)操作方法，特別是要符合工作人員的思維方式和工作習(xí)慣，方便非計(jì)算機(jī)專業(yè)人員的使用；二是應(yīng)提供聯(lián)機(jī)的或脫機(jī)的幫助手段。5.開放性和標(biāo)準(zhǔn)化采用的技術(shù)和設(shè)備符合國(guó)際標(biāo)準(zhǔn)、國(guó)家標(biāo)準(zhǔn)和業(yè)界標(biāo)準(zhǔn)，為系統(tǒng)的擴(kuò)展升級(jí)、與其他系統(tǒng)的互聯(lián)提供良好的基礎(chǔ)。同時(shí)提供良好標(biāo)準(zhǔn)的接口，便于系統(tǒng)的維護(hù)與修改，也可以比較方便的對(duì)外系統(tǒng)服務(wù)。1.3建設(shè)依據(jù)1.國(guó)家層面相關(guān)文件《國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》(2021.03)《中共中央關(guān)于制定國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和二○三五年遠(yuǎn)景目標(biāo)的建議》(2020.11)《國(guó)家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》(2020.8)《關(guān)于促進(jìn)人工智能和實(shí)體經(jīng)濟(jì)深度融合的指導(dǎo)意見》《促進(jìn)新一代人工智能產(chǎn)業(yè)發(fā)展三年行動(dòng)計(jì)劃(2018-2020年)》(2017.12)《人工智能標(biāo)準(zhǔn)化白皮書》(2021.07)見》(建科〔2020〕59號(hào))工業(yè)和信息化部2018年6月發(fā)布《工業(yè)互聯(lián)網(wǎng)發(fā)展行動(dòng)計(jì)劃信息化部(2018-2020年)》工信部2018年發(fā)布《物聯(lián)網(wǎng)安全白皮書》工業(yè)和信息化部2019年4月發(fā)布《關(guān)于開展2019年《信息技術(shù)人工智能機(jī)器學(xué)習(xí)模型及系統(tǒng)的質(zhì)量要《信息技術(shù)人工智能面向機(jī)器學(xué)習(xí)的系統(tǒng)框架和功《信息技術(shù)人工智能面向機(jī)器學(xué)習(xí)的數(shù)據(jù)標(biāo)注規(guī)程》《信息技術(shù)智能設(shè)備操作系統(tǒng)身份識(shí)別服務(wù)接口》GB/T36468-2018《物聯(lián)網(wǎng)系統(tǒng)評(píng)價(jià)指標(biāo)體系編制通則》GB/T36478.1-2018《物聯(lián)網(wǎng)信息交換和共享第1部GB/T36478.2-2018《物聯(lián)網(wǎng)信息交換和共享第2部分：通用技術(shù)要求》GB/T51243-2017《物聯(lián)網(wǎng)應(yīng)用支撐平臺(tái)工程技術(shù)標(biāo)準(zhǔn)》GB/T37044-2018《信息安全技術(shù)物聯(lián)網(wǎng)安全參考模型及通用要求》GB/T36951-2018《信息安全技術(shù)物聯(lián)網(wǎng)GB/T37024-2018《信息安全技術(shù)物聯(lián)網(wǎng)感知層網(wǎng)關(guān)GB/T37025-2018《信息安全技術(shù)物聯(lián)網(wǎng)數(shù)據(jù)傳輸安全技術(shù)要求》GB/T37093-2018《信息安全技術(shù)物聯(lián)網(wǎng)感知層接入規(guī)劃和二○三五年遠(yuǎn)景目標(biāo)綱要》《科技部關(guān)于發(fā)布科技創(chuàng)新2030—“新一代人工智能”重大項(xiàng)目2021年度項(xiàng)目申報(bào)指南的通知》(2021.07)《XX省國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和二O三五年遠(yuǎn)景目標(biāo)綱要》(2021.02)XX省2012年2月發(fā)布《關(guān)于進(jìn)一步支持以物聯(lián)網(wǎng)為龍頭的新一代信息技術(shù)產(chǎn)業(yè)發(fā)展的政策意見》XX省2012年8月發(fā)布《無錫國(guó)家傳感網(wǎng)創(chuàng)新示范區(qū)發(fā)展規(guī)劃綱要(2012-2020)》[2021]1號(hào)文《XX市推進(jìn)數(shù)字經(jīng)濟(jì)和數(shù)字化發(fā)展三年行動(dòng)計(jì)劃(2021-2023)》《XX市推進(jìn)數(shù)字經(jīng)濟(jì)和數(shù)字化發(fā)展三年行動(dòng)計(jì)劃(2021—2023年)》《XX市促進(jìn)新一代人工智能產(chǎn)業(yè)發(fā)展的若干措施》字化發(fā)展三年行動(dòng)計(jì)劃(2021—2023年)>的實(shí)施方案》字化《“數(shù)字XX”三年行動(dòng)計(jì)劃(2021-2023年)》(征求意見稿)1.4目標(biāo)要求共服務(wù)，提升老百姓的獲得感，使智慧城市建設(shè)更有溫度，1.5建設(shè)范圍(一)數(shù)據(jù)湖服務(wù)平臺(tái)(二)人工智能公共服務(wù)平臺(tái)(四)區(qū)塊鏈公共服務(wù)平臺(tái)(五)物聯(lián)感知公共服務(wù)平臺(tái)(六)視頻綜合公共服務(wù)平臺(tái)(七)統(tǒng)一應(yīng)用公共服務(wù)平臺(tái)(八)基礎(chǔ)支撐平臺(tái)1.6總體要求第二章平臺(tái)建設(shè)要求遵循“統(tǒng)籌規(guī)劃、統(tǒng)一建設(shè)、共享共用”的思路，建設(shè)1個(gè)數(shù)據(jù)湖和6大公共服務(wù)平臺(tái)，為全域應(yīng)用提供堅(jiān)實(shí)底層支2.1數(shù)據(jù)湖服務(wù)平臺(tái)數(shù)據(jù)湖是實(shí)現(xiàn)各委辦局業(yè)務(wù)協(xié)同、推動(dòng)數(shù)據(jù)共享、提升政務(wù)管理效率和服務(wù)水平的關(guān)鍵。通過對(duì)全市各委辦局信息系統(tǒng)數(shù)據(jù)進(jìn)行接入、采集、匯聚，將第一手的源數(shù)據(jù)入湖，在數(shù)據(jù)湖進(jìn)行大數(shù)據(jù)整合、加工、共享、分析與應(yīng)用，充分發(fā)揮數(shù)據(jù)資源的綜合效益，實(shí)現(xiàn)XX城市運(yùn)行狀態(tài)和事件實(shí)時(shí)監(jiān)測(cè)、數(shù)據(jù)分析、可視化呈現(xiàn)、智能預(yù)警、應(yīng)急調(diào)度、數(shù)據(jù)發(fā)布、行業(yè)系統(tǒng)事件觸發(fā)和行業(yè)信息共享等功能。2.1.1數(shù)據(jù)資源湖建設(shè)1.數(shù)據(jù)資源探測(cè)通過數(shù)據(jù)探查主要對(duì)來源數(shù)據(jù)進(jìn)行數(shù)據(jù)探查分析，主要探查的內(nèi)容包括：業(yè)務(wù)探查：對(duì)來源表的業(yè)務(wù)含義進(jìn)行探查，幫助更準(zhǔn)確地理解和把握數(shù)據(jù)。接入方式探查：對(duì)來源表的存儲(chǔ)位置、提供方式進(jìn)行探查，為數(shù)據(jù)接入規(guī)則定義和數(shù)據(jù)處理、組織提供依據(jù)。字段探查：對(duì)具體字段的數(shù)據(jù)內(nèi)容進(jìn)行探查，識(shí)別其代表的含義和統(tǒng)計(jì)分布情況?？罩德侍讲椋航y(tǒng)計(jì)字段空值占比情況。一方面可重點(diǎn)關(guān)注空值率高的重要字段，另一方面可通過與歷史情況比較及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量的動(dòng)態(tài)變化。值域及分布探查：對(duì)字段的值域范圍以及分布情況進(jìn)行手機(jī)號(hào)等命名實(shí)體，幫助理解字段語(yǔ)義。數(shù)據(jù)元探查：根據(jù)字段名字及內(nèi)容，探查字段的確切語(yǔ)義，并與數(shù)據(jù)元標(biāo)準(zhǔn)進(jìn)行映射。類型及格式探查：探查字段的類型及格式是否符合規(guī)范。數(shù)據(jù)集探查：針對(duì)來源數(shù)據(jù)集表名、引用數(shù)據(jù)元情況，探查數(shù)據(jù)集是否為標(biāo)準(zhǔn)數(shù)據(jù)集。探查數(shù)據(jù)總量、增量及更新情況，為數(shù)據(jù)接入、處理和組織提供依據(jù)。問題數(shù)據(jù)探查：探查字段中不符合規(guī)范的數(shù)據(jù)，給后續(xù)數(shù)據(jù)清洗規(guī)則的制定提供依據(jù)。2.數(shù)據(jù)資源采集整理信息資源數(shù)據(jù)庫(kù)的建設(shè)緊密圍繞基礎(chǔ)信息資源目錄的梳理成果，按其標(biāo)準(zhǔn)統(tǒng)一采集、按規(guī)范統(tǒng)一處理、形成統(tǒng)一的政務(wù)目錄服務(wù)資源。既要整合人口庫(kù)、法人庫(kù)、電子證照庫(kù)、地名地址庫(kù)、信用信息庫(kù)、宏觀經(jīng)濟(jì)庫(kù)、商業(yè)數(shù)據(jù)基礎(chǔ)庫(kù)、網(wǎng)絡(luò)爬蟲專題庫(kù)、公共底座專題庫(kù)、元數(shù)據(jù)庫(kù)等基礎(chǔ)且變化頻率相對(duì)較低的數(shù)據(jù)資源進(jìn)行統(tǒng)籌匯聚、加工和存儲(chǔ)，同時(shí)需要整合安全專題所需要的數(shù)據(jù)。整合庫(kù)按照一數(shù)一源、多元采集、權(quán)威部門維護(hù)權(quán)威數(shù)據(jù)的原則，確保信息資源的權(quán)威性、基準(zhǔn)性、鮮活性。3.自動(dòng)獲取元數(shù)據(jù)元數(shù)據(jù)發(fā)現(xiàn)的定位為OSS等存儲(chǔ)上面的數(shù)據(jù)文件自動(dòng)發(fā)現(xiàn)和構(gòu)建表、字段、分區(qū)，并感知新增表&字段&分區(qū)等元數(shù)據(jù)信息，方便計(jì)算與分析。在數(shù)據(jù)采集過程中，通過對(duì)數(shù)據(jù)源的探測(cè)和分析，在數(shù)據(jù)采集和加工的過程中，對(duì)元數(shù)據(jù)自動(dòng)獲取和解析，自動(dòng)生成表結(jié)構(gòu)元數(shù)據(jù)信息。數(shù)據(jù)湖元數(shù)據(jù)服務(wù)的設(shè)計(jì)目標(biāo)是能夠在大數(shù)據(jù)引擎、存儲(chǔ)多樣性的環(huán)境下，構(gòu)建不同存儲(chǔ)系統(tǒng)、格式和不同計(jì)算引擎統(tǒng)一元數(shù)據(jù)視圖，并具備統(tǒng)一的權(quán)限、元數(shù)據(jù)，且需要兼容和擴(kuò)展開源大數(shù)據(jù)生態(tài)元數(shù)據(jù)服務(wù)，支持自動(dòng)獲取元數(shù)據(jù)，并達(dá)到一次管理多次使用的目的，既能夠兼容開源生態(tài)，也具備極大的易用性。4.數(shù)據(jù)資源編目數(shù)據(jù)資源編目管理包括數(shù)據(jù)源的管理、元數(shù)據(jù)信息同步、元數(shù)據(jù)信息預(yù)覽、模糊搜索、元數(shù)據(jù)更新歷史、元數(shù)據(jù)更新信息比對(duì)、標(biāo)簽管理等主要功能模塊。1)政務(wù)信息資源目錄政務(wù)信息資源目錄分類：政務(wù)信息資源目錄分類包括資源屬性分類、涉密屬性分類、共享屬性分類和層級(jí)屬性分類政務(wù)信息資源元數(shù)據(jù)：政務(wù)信息資源元數(shù)據(jù)包括核心元數(shù)據(jù)和擴(kuò)展元數(shù)據(jù)。政務(wù)信息資源代碼：參照GBT210634-2007《政務(wù)信息資源目錄體系第4部分：政務(wù)信息資源分類》的代碼結(jié)構(gòu)規(guī)則，政務(wù)信息資源代碼結(jié)構(gòu)由前段碼、后段碼組成。前段碼由“類”、“項(xiàng)”、“目”、“細(xì)目”組成，作為政務(wù)信息資源的分類碼；后段碼為政務(wù)信息資源的順序碼。2)編目流程政務(wù)信息資源目錄編制流程包括：編目準(zhǔn)備、資源調(diào)研、目錄編制、目錄匯總與管理、目錄更新四個(gè)過程。3)數(shù)據(jù)資源目錄管理數(shù)據(jù)資源自動(dòng)編目：通過對(duì)數(shù)據(jù)資源探測(cè)，通過對(duì)數(shù)據(jù)元數(shù)據(jù)和數(shù)據(jù)字段含義解析，將探查到的業(yè)務(wù)含義結(jié)果匯總，結(jié)合數(shù)據(jù)標(biāo)簽庫(kù)和人工智能模型，給待入湖的數(shù)據(jù)資源新建或者歸檔到對(duì)應(yīng)的目錄下存儲(chǔ)。數(shù)據(jù)資源目錄存儲(chǔ)：數(shù)據(jù)處理平臺(tái)的元數(shù)據(jù)目錄統(tǒng)一存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中。數(shù)據(jù)資源目錄定義和抽?。簲?shù)據(jù)處理平臺(tái)在結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的抽取過程中，通過定義數(shù)據(jù)抽取和規(guī)則即形成了該數(shù)據(jù)的元數(shù)據(jù)。此外，平臺(tái)支持對(duì)資源目錄的導(dǎo)入，可將資源服務(wù)平臺(tái)資源目錄和數(shù)據(jù)元標(biāo)準(zhǔn)導(dǎo)入到平臺(tái)內(nèi)，平臺(tái)對(duì)其進(jìn)行統(tǒng)一管理。數(shù)據(jù)資源目錄管理：數(shù)據(jù)資源目錄將匯集的數(shù)據(jù)按照不同業(yè)務(wù)主題進(jìn)行分類存儲(chǔ)，通過抽取對(duì)應(yīng)數(shù)據(jù)的元數(shù)據(jù)信息建立統(tǒng)一的平臺(tái)數(shù)據(jù)資源服務(wù)目錄。用戶可通過數(shù)據(jù)資源目錄的展示功能查看數(shù)據(jù)處理平臺(tái)內(nèi)所有數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)定義，并可對(duì)目錄中的元數(shù)據(jù)信息進(jìn)行檢索。資源目錄錄入完成后，系統(tǒng)進(jìn)行自動(dòng)審核，確認(rèn)目錄錄入的質(zhì)量是否符合預(yù)期。系統(tǒng)自動(dòng)審核根據(jù)管理員定制的規(guī)則進(jìn)行審核，建立符合規(guī)范的審核模型。通過對(duì)平臺(tái)內(nèi)所有元數(shù)據(jù)信息進(jìn)行統(tǒng)一管理和展示，能夠?qū)崿F(xiàn)對(duì)資源目錄按需瀏覽、查詢和使用等功能，并可支撐第三方應(yīng)用程序?qū)Y源目錄、資源目錄結(jié)構(gòu)、元數(shù)據(jù)結(jié)構(gòu)以及數(shù)據(jù)資源的查詢和使用。據(jù)等，數(shù)據(jù)類型涵蓋了結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，據(jù)通過數(shù)據(jù)抽取的方式匯聚到數(shù)據(jù)湖，網(wǎng)絡(luò)爬蟲數(shù)據(jù)通過過API接口推送方式匯聚到數(shù)據(jù)湖。1)數(shù)據(jù)采集(一)數(shù)據(jù)抽取多種協(xié)議與其他應(yīng)用系統(tǒng)的交互。對(duì)于現(xiàn)有已建系統(tǒng)接入，已進(jìn)行應(yīng)用整合的系統(tǒng)采用一次性全量接入方式進(jìn)行數(shù)據(jù)和Local(本地文件存儲(chǔ))等文件傳輸協(xié)議，文件解析支持提供文件采集組件，支持結(jié)構(gòu)化(如明確的字段定義的視頻等)和特定日志文件(文本文件、Excel文件式來訪問HDFS,不必局限于HDFSJava編程接口支持的數(shù)據(jù)導(dǎo)入方式：從源系統(tǒng)通過物理拷貝、橋接、接口調(diào)用方式：數(shù)據(jù)源為基于Web服務(wù)的信息資源，可海量的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)可利用云化ETL (二)RPA數(shù)據(jù)采集RPA(Roboticprocessautomati化的簡(jiǎn)稱，是以軟件機(jī)器人及人工智能(AI)為基礎(chǔ)的業(yè)務(wù)過程自動(dòng)化科技。RPA一個(gè)重要功能就是能與Web系統(tǒng)非常施和系統(tǒng)提供的API接口。RPA基于模擬人工瀏覽頁(yè)面、辦(三)消息隊(duì)列消息的持久化，這種結(jié)構(gòu)對(duì)于即使數(shù)以TB的消息存儲(chǔ)也能(四)批量數(shù)據(jù)轉(zhuǎn)移技術(shù)業(yè)務(wù)系統(tǒng)數(shù)據(jù)遷移需要將實(shí)時(shí)數(shù)據(jù)庫(kù)中的歷史數(shù)據(jù)與實(shí)時(shí)數(shù)據(jù)整齊地通過Kafka消息隊(duì)列輸出到Hadoop數(shù)據(jù)湖區(qū)的數(shù)據(jù)解析并生成指定格式的數(shù)據(jù)，實(shí)時(shí)向Hadoop數(shù)據(jù)湖中的Kafka集群推送，存入Kafka的Topic中，每一個(gè)業(yè)務(wù)系統(tǒng)對(duì)應(yīng)一個(gè)采集協(xié)議，同一采集協(xié)議的數(shù)據(jù)放在一個(gè)換、加載到Hbase中去。數(shù)據(jù)按照業(yè)務(wù)系統(tǒng)進(jìn)行分類，進(jìn)行量的導(dǎo)入，在導(dǎo)入過程中進(jìn)行面向業(yè)務(wù)的數(shù)據(jù)清洗、轉(zhuǎn)換、加載Hbase中去。數(shù)據(jù)按照業(yè)務(wù)系統(tǒng)進(jìn)行分類，進(jìn)行標(biāo)簽的(五)實(shí)時(shí)數(shù)據(jù)抽取技術(shù)MysqlBinlog則是一種實(shí)時(shí)的數(shù)據(jù)流，用于主從節(jié)點(diǎn)之間的數(shù)據(jù)復(fù)制，我們可以利用它來進(jìn)行數(shù)據(jù)抽取。通過存儲(chǔ)中。2)數(shù)據(jù)清洗轉(zhuǎn)換數(shù)據(jù)清洗即ETL,包含數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(一)數(shù)據(jù)清洗數(shù)據(jù)清洗是對(duì)業(yè)務(wù)數(shù)據(jù)中不符合標(biāo)準(zhǔn)規(guī)范或者無效的(二)數(shù)據(jù)去重(三)數(shù)據(jù)補(bǔ)全由于生產(chǎn)庫(kù)本身就存在部分?jǐn)?shù)據(jù)字段的屬性值的缺失，(四)數(shù)據(jù)轉(zhuǎn)換(六)數(shù)據(jù)加載具有將數(shù)據(jù)加載到HDFS上的能力，加載數(shù)據(jù)的格式包支持追加或者覆蓋的加載方式等。利用Hado算框架MapReduce進(jìn)行分布式遠(yuǎn)程加載，提供兩種數(shù)據(jù)庫(kù)的庫(kù)的native私有接口進(jìn)行數(shù)據(jù)記載。(七)數(shù)據(jù)傳輸完整性。3)數(shù)據(jù)分布式存儲(chǔ)(一)分布式文件系統(tǒng)HDFS是在文件創(chuàng)建時(shí)的寫入或者在現(xiàn)有文件之后的添加操作。底層分布式文件存儲(chǔ)系統(tǒng)采用HDFS,它被設(shè)計(jì)成適合運(yùn)3.基于Kerberos認(rèn)證支持安全認(rèn)證及文件訪問權(quán)限控/寫訪問控制。4.能夠提供容錯(cuò)機(jī)制，數(shù)據(jù)自動(dòng)保存多個(gè)副本，能夠支持設(shè)置數(shù)據(jù)副本，當(dāng)副本丟失后，能夠自動(dòng)恢復(fù)。比傳統(tǒng)HDFS的3副本策略，使用ErasureCode將使ApacheHadoop只需1.5副本，降低一倍存儲(chǔ)量需求，可容忍4個(gè)數(shù)據(jù)塊同時(shí)丟失，將存儲(chǔ)利用率提升2倍以上，極大降低了總體擁有成本，平均無故障時(shí)間提高了一倍。Erasurecoding糾刪碼技術(shù)簡(jiǎn)稱EC,是一種數(shù)據(jù)保護(hù)技術(shù)。最早用于通信行業(yè)中數(shù)據(jù)傳輸中的數(shù)據(jù)恢復(fù)，是一種編碼容錯(cuò)技術(shù)。他通過在原始數(shù)據(jù)中加入新的校驗(yàn)數(shù)據(jù)，使得各個(gè)部分的數(shù)據(jù)產(chǎn)生關(guān)聯(lián)性。在一定范圍的數(shù)據(jù)出錯(cuò)情況下，通過糾刪碼技術(shù)都可以進(jìn)行恢復(fù)。Parity部分就是校驗(yàn)數(shù)據(jù)塊，我們把一行數(shù)據(jù)塊組成為Stripe條帶，每行條帶由n個(gè)數(shù)據(jù)塊和m個(gè)校驗(yàn)塊組成。原始數(shù)據(jù)塊和校驗(yàn)數(shù)據(jù)塊都可以通過現(xiàn)有的數(shù)據(jù)塊進(jìn)行恢復(fù)，如果校驗(yàn)數(shù)據(jù)塊發(fā)生錯(cuò)誤，通過對(duì)原始數(shù)據(jù)塊進(jìn)行編碼重新生成。如果原始數(shù)據(jù)塊發(fā)生錯(cuò)誤，,通過校驗(yàn)數(shù)據(jù)塊的解碼可6.基于集成平臺(tái)一鍵啟動(dòng)HDFSHA高可用功能，排除單點(diǎn)故障，任何一個(gè)角色故障后都應(yīng)有備份機(jī)器承擔(dān)原失效節(jié)點(diǎn)工作。7.能夠支持GB級(jí)、TB級(jí)文件超大文件的存儲(chǔ)。8.提供數(shù)據(jù)負(fù)載均衡工具，盡量均勻的將數(shù)據(jù)分布在集群中各個(gè)節(jié)點(diǎn)上。9.支持文件刪除恢復(fù)機(jī)制，當(dāng)用戶或應(yīng)用刪除某個(gè)文件時(shí)，并沒有立刻從分布式文件系統(tǒng)中刪除，而是將此文件重命名，轉(zhuǎn)移到回收站目錄下，只要文件還存在于回收站目錄下即可被迅速恢復(fù)。文件在回收站中的保存時(shí)間是可配置的，當(dāng)超過這個(gè)時(shí)間是，將會(huì)徹底的刪除此文件。(二)分布式數(shù)據(jù)庫(kù)Hbase數(shù)據(jù)存儲(chǔ)使用Hbase來承接，Hbase是一個(gè)開源的、面向列(Column-Oriented)、適合存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)或半支持實(shí)時(shí)數(shù)據(jù)讀寫的分布式存儲(chǔ)系統(tǒng)。Hbase是一個(gè)高可靠、高性能、面向列、可伸縮的分布式存儲(chǔ)數(shù)據(jù)庫(kù)，適合存儲(chǔ)海量非結(jié)構(gòu)化、半結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)，利用Hbase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模存儲(chǔ)集群。Hbase目標(biāo)是主要依靠橫向擴(kuò)展，通過不斷增加廉價(jià)的商用服務(wù)器，來增加計(jì)算和存儲(chǔ)能力。Hbase中的表一般有這樣的特點(diǎn)：存儲(chǔ)在Hbase中的表的典型特征：大表(BigTable):一個(gè)表可以有上億行，上百萬列面向列：面向列(族)的存儲(chǔ)、檢索與權(quán)限控制稀疏：表中為空(null)的列不占用存儲(chǔ)空間Hbase具有如下功能：數(shù)據(jù)面向列式存儲(chǔ)列可以動(dòng)態(tài)增加，并且列為空不占存儲(chǔ)空間能力Hbase支持高并發(fā)讀寫操作支持RegionServers之間故障自動(dòng)轉(zhuǎn)移(三)基于Hadoop的數(shù)據(jù)存儲(chǔ)工具HiveHive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫(kù)許熟悉MapReduce開發(fā)者的開發(fā)自定義的mapper和reducer來處理內(nèi)建的mapper和reducer無法完成的復(fù)(四)內(nèi)存數(shù)據(jù)庫(kù)Redis它通常被稱為數(shù)據(jù)結(jié)構(gòu)服務(wù)器，因?yàn)橹?value)可以是字符串(String),哈希(Hash),列表(li數(shù)據(jù)庫(kù)常見的讀寫比是8:2,即80%是在讀取數(shù)據(jù)，會(huì)消耗大量IO,增加后端數(shù)據(jù)庫(kù)壓力。添加Redis后，第一次的數(shù)據(jù)讀取會(huì)從數(shù)據(jù)庫(kù)中消耗IO獲取，然后緩存在Redis中，第二次讀取時(shí)會(huì)優(yōu)先從Redis數(shù)據(jù)庫(kù)中獲取，不需要再?gòu)暮蠖藘?nèi)存數(shù)據(jù)庫(kù)Redis可提供給SparkStreaming實(shí)時(shí)計(jì)算提供臨時(shí)存儲(chǔ)，數(shù)據(jù)首先存在內(nèi)存里。如果配置了持久化，(五)圖片存儲(chǔ)FastDFS件訪問，文件上傳下載。支持單次存儲(chǔ)大小4k-500M。(六)圖數(shù)據(jù)庫(kù)(七)冷/熱數(shù)據(jù)存儲(chǔ)轉(zhuǎn)換存儲(chǔ)在SSD)、全冷存儲(chǔ)(數(shù)據(jù)全部存儲(chǔ)在HDD)、冷熱混合冷熱分區(qū)布局會(huì)按照分區(qū)值N的大小降序排列，最大的(八)數(shù)據(jù)庫(kù)集群BI大屏報(bào)表等高價(jià)值密度的海量結(jié)構(gòu)化數(shù)據(jù)存入結(jié)構(gòu)化數(shù)須考慮數(shù)據(jù)庫(kù)集群的方式來提升性能。數(shù)據(jù)庫(kù)集群用的是“主從集群”,而不是“主備集群”?！皬臋C(jī)”的“從”可以理解為“仆從”,仆從是要幫主人干活的，“從機(jī)”是需要提供讀數(shù)據(jù)的功能的；而“備機(jī)”一般被認(rèn)為僅僅提供備份功能，不提供訪問功能。所以使用“主從”還是“主備”,是要看場(chǎng)景的，這兩個(gè)詞并不是完全等同的。數(shù)據(jù)庫(kù)集群通過從主從復(fù)制延遲和分配機(jī)制兩個(gè)方面設(shè)計(jì)，實(shí)現(xiàn)讀寫分離的邏輯。讀寫分離數(shù)據(jù)庫(kù)寫入邏輯不受影響，但是讀取大大分?jǐn)偭?，提高了系統(tǒng)性能。當(dāng)讀取被分?jǐn)偤螅珠g接提高了寫入2)增加冗余，提高服務(wù)可用性。當(dāng)一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器宕機(jī)后可以調(diào)整另外一臺(tái)從庫(kù)以最快速度恢復(fù)服務(wù)。6.信息資源庫(kù)信息資源庫(kù)是數(shù)據(jù)資源湖按照數(shù)據(jù)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、統(tǒng)一采集、清洗、匯聚，匯聚完成的各類數(shù)據(jù)集包括了基礎(chǔ)數(shù)據(jù)集、部門數(shù)據(jù)專題集、公共底座數(shù)據(jù)集、網(wǎng)絡(luò)輿情專題集等，以及按照政府?dāng)?shù)據(jù)負(fù)面清單指導(dǎo)劃分的對(duì)應(yīng)的負(fù)面數(shù)據(jù)集。信息資源庫(kù)的建設(shè)基于系統(tǒng)利舊和政務(wù)數(shù)據(jù)“應(yīng)歸盡歸”的原則，對(duì)于已經(jīng)在大數(shù)據(jù)局完成采集匯聚的數(shù)據(jù)集直接將數(shù)據(jù)入湖；對(duì)于未完成或未啟動(dòng)的數(shù)據(jù)集，需按照數(shù)據(jù)湖采集匯聚標(biāo)準(zhǔn)統(tǒng)一操作處理。1)城市基礎(chǔ)庫(kù)信用信息庫(kù)、宏觀經(jīng)濟(jì)庫(kù)。2)商業(yè)數(shù)據(jù)基礎(chǔ)庫(kù)對(duì)接第三方數(shù)據(jù)源，獲取企業(yè)基礎(chǔ)數(shù)據(jù)和經(jīng)濟(jì)數(shù)據(jù)、法律法規(guī)、知識(shí)庫(kù)等。3)部門專題庫(kù)基于利舊原則通過對(duì)數(shù)據(jù)交換平臺(tái)進(jìn)行升級(jí)改造，支持半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的交換，對(duì)接城市大腦存量XX市各部委辦局系統(tǒng)數(shù)據(jù)，建立數(shù)據(jù)湖資源專題庫(kù)4)公共底座專題庫(kù)統(tǒng)一應(yīng)用服務(wù)庫(kù)，開放采集各類型維度的專題數(shù)據(jù)。敏感數(shù)據(jù)進(jìn)行加密存儲(chǔ)，支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等多種數(shù)據(jù)類型的接入。5)網(wǎng)絡(luò)輿情專題庫(kù)網(wǎng)絡(luò)爬蟲可以根據(jù)自定義的數(shù)據(jù)采集模板，對(duì)新聞采集、電商采集、社交采集、房產(chǎn)采集、招投標(biāo)采集、跨境電商等數(shù)據(jù)信息采集。支持社交媒體平臺(tái)、官方媒體網(wǎng)站、政府公告類網(wǎng)站、垂直行業(yè)網(wǎng)站等新聞媒體平臺(tái)，覆蓋網(wǎng)站標(biāo)題、正文、作者、時(shí)間、發(fā)布來源、評(píng)論等全維度數(shù)據(jù)場(chǎng)景。6)數(shù)據(jù)資源查詢實(shí)時(shí)查詢：通過presto實(shí)時(shí)查詢引擎，以SQL語(yǔ)言作為接口的分布式實(shí)時(shí)查詢引擎，可以對(duì)PB級(jí)的數(shù)據(jù)進(jìn)行快速的交互式查詢。它支持標(biāo)準(zhǔn)的ANS|SQL包含查詢，聚合，JON以及窗口函數(shù)等。即席查詢：即席查詢是用戶根據(jù)自己的需求，靈活選擇查詢條件，系統(tǒng)根據(jù)用戶的選擇生成相應(yīng)的統(tǒng)計(jì)報(bào)表。普通查應(yīng)用查詢是定制開發(fā)的，即席查詢是用戶自定義查詢條件。語(yǔ)音搜索：基于強(qiáng)大的語(yǔ)音識(shí)別能力，支持通過語(yǔ)音命令快速發(fā)起搜索，讓搜索更快捷、更智能。全文搜索：計(jì)算機(jī)索引程序通過掃描文章中的每一個(gè)詞，對(duì)每一個(gè)詞建立一個(gè)索引，指明該詞在文章中出現(xiàn)的次數(shù)和位置，當(dāng)用戶查詢時(shí)，檢索程序就根據(jù)事先建立的索引進(jìn)行查找，并將查找的結(jié)果反饋給用戶的檢索方式。這個(gè)過程類似于通過字典中的檢索字表查字的過程。全文搜索搜索引擎數(shù)據(jù)庫(kù)中的數(shù)據(jù)。文件搜索：能夠?qū)?shù)據(jù)庫(kù)，文件服務(wù)器，HDFS等分布式文件存儲(chǔ)，等多種文件存儲(chǔ)模式的文件進(jìn)行檢索；通過集成圖像OCR技術(shù)，可識(shí)別圖片中的文字，表格，標(biāo)簽等等，漢字識(shí)別率超過98%。提供文本/圖片自動(dòng)分類聚類，自動(dòng)提取關(guān)鍵詞和摘要，命名實(shí)體識(shí)別，文本去重及相似度計(jì)算等多種語(yǔ)義搜索技術(shù)。一鍵搜索：提供可擴(kuò)展的搜索，具有接近實(shí)時(shí)的搜索，并支持多租戶，可以用于搜索各種文檔。一鍵搜索基于分布式設(shè)計(jì)，建立在全文搜索引擎基礎(chǔ)上的搜索和分析引擎，一鍵搜索除了應(yīng)包含全文搜索的能力，還應(yīng)具備如下功能：分布式實(shí)時(shí)文件存儲(chǔ)，并將每一個(gè)字段都編入索引，使其可以被搜索。實(shí)時(shí)分析的分布式搜索引擎?？梢詳U(kuò)展到上百臺(tái)服務(wù)器，處理PB級(jí)別的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。7)元數(shù)據(jù)庫(kù)元數(shù)據(jù)庫(kù)是存儲(chǔ)和管理元數(shù)據(jù)的一種特定數(shù)據(jù)庫(kù)。元數(shù)據(jù)庫(kù)管理模塊主要是管理元數(shù)據(jù)，支持元數(shù)據(jù)信息的網(wǎng)絡(luò)發(fā)布，這要求該模塊具有較高效率的數(shù)據(jù)索引。針對(duì)這一要求，模塊應(yīng)采用具有較高效率的靜態(tài)索引算法對(duì)元數(shù)據(jù)記錄進(jìn)行索引。通過定義數(shù)據(jù)庫(kù)的可索引域，將數(shù)據(jù)庫(kù)索引至不同的元素字段，較好地適應(yīng)查全率和查準(zhǔn)率的要求。元數(shù)據(jù)的范圍包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)詞典、字段維度、程序映射邏輯、數(shù)據(jù)生命周期等。元數(shù)據(jù)管理包括元數(shù)據(jù)定義、存儲(chǔ)、查詢、維護(hù)、檢查和分析應(yīng)用。元數(shù)據(jù)庫(kù)是存儲(chǔ)和管理元數(shù)據(jù)的一種特定數(shù)據(jù)庫(kù)。元數(shù)據(jù)庫(kù)管理模塊需要具有較高效率的數(shù)據(jù)索引，并支持XML格式的元數(shù)據(jù)存儲(chǔ)，提供元數(shù)據(jù)庫(kù)的建立和刪除，元數(shù)據(jù)庫(kù)索引的建立和刪除，以及元數(shù)據(jù)的導(dǎo)入、導(dǎo)出等維護(hù)管理功能。7.負(fù)面數(shù)據(jù)資源庫(kù)對(duì)于涉及國(guó)家安全、商業(yè)秘密和個(gè)人隱私等數(shù)據(jù)，政務(wù)數(shù)據(jù)資源開放實(shí)行負(fù)面清單管理，命中負(fù)面清單的數(shù)據(jù)單獨(dú)加工處理，加工的負(fù)面數(shù)據(jù)結(jié)果集有限制的向個(gè)委辦局共享輸出。按照數(shù)據(jù)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、統(tǒng)一采集、清洗、匯聚，匯(一)負(fù)面基礎(chǔ)數(shù)據(jù)集法人基礎(chǔ)數(shù)據(jù)、電子證照基礎(chǔ)數(shù)據(jù)、信用信息庫(kù)基礎(chǔ)數(shù)據(jù)、及國(guó)家安全、商業(yè)秘密和個(gè)人隱私，生成負(fù)面基礎(chǔ)數(shù)據(jù)集，(二)部門負(fù)面數(shù)據(jù)專題集部門負(fù)面數(shù)據(jù)專題集的主要數(shù)據(jù)來源為市各委辦局主部門負(fù)面數(shù)據(jù)專題集可以通過委辦局部門、類型區(qū)分，(三)公共底座負(fù)面數(shù)據(jù)集公共底座負(fù)面數(shù)據(jù)集的主要數(shù)據(jù)來源為公共底座專題基礎(chǔ)數(shù)據(jù)集，作為數(shù)據(jù)資源湖內(nèi)高密度價(jià)值數(shù)據(jù)的一部分，部門負(fù)面數(shù)據(jù)專題集可以通過委辦局部門、類型區(qū)分，(四)網(wǎng)絡(luò)輿情負(fù)面專題集網(wǎng)絡(luò)輿情負(fù)面專題集的主要數(shù)據(jù)來源為公共底座專題部門負(fù)面數(shù)據(jù)專題集可以通過委辦局部門、類型區(qū)分，數(shù)據(jù)資源管控功能是數(shù)據(jù)由資源數(shù)據(jù)各類基礎(chǔ)庫(kù)和專題庫(kù)數(shù)據(jù)向數(shù)據(jù)共享服務(wù)平臺(tái)遷移的流程和質(zhì)量管控措施。只有匯聚完成且數(shù)據(jù)質(zhì)量達(dá)標(biāo)的數(shù)據(jù)集才能將加工好的數(shù)數(shù)據(jù)質(zhì)量管控：通過對(duì)各委辦局等數(shù)據(jù)源采集、清洗、服務(wù)平臺(tái)。2.1.2公共數(shù)據(jù)服務(wù)1.數(shù)據(jù)資源大屏通過大數(shù)據(jù)可視化展示設(shè)計(jì)和開發(fā)，以直觀、清晰、易于理解的方式展現(xiàn)高價(jià)值數(shù)據(jù)，為用戶決策分析提供支撐。數(shù)據(jù)資源大屏為大數(shù)據(jù)局和各部委辦局清晰地展現(xiàn)出平臺(tái)整體結(jié)果數(shù)據(jù)與動(dòng)態(tài)數(shù)據(jù)，實(shí)時(shí)調(diào)取最新的數(shù)據(jù)并且對(duì)提出的需求和問題做出及時(shí)準(zhǔn)確的反饋，大屏數(shù)據(jù)從不同的角度和層次查看對(duì)比數(shù)據(jù)。2.數(shù)據(jù)共享服務(wù)建設(shè)公共數(shù)據(jù)服務(wù)平臺(tái)共享門戶，通過對(duì)各委辦局外部數(shù)據(jù)源、第三方商業(yè)數(shù)據(jù)源、網(wǎng)絡(luò)輿情數(shù)據(jù)進(jìn)行清洗匯聚，并將匯聚的數(shù)據(jù)資源歸集為“數(shù)據(jù)資源湖”,數(shù)據(jù)湖資產(chǎn)通過數(shù)據(jù)共享門戶向委辦局進(jìn)行共享輸出。數(shù)據(jù)共享服務(wù)可以促進(jìn)政府在數(shù)字黨政、數(shù)字法治、數(shù)字社會(huì)、數(shù)字經(jīng)濟(jì)、數(shù)字政務(wù)、數(shù)字康旅等領(lǐng)域履職能力，提升城市公共服務(wù)和事件的快速協(xié)同處置能力。有效支撐全市各部門業(yè)務(wù)模式創(chuàng)新。功能包括：數(shù)據(jù)共享總覽、數(shù)據(jù)共享服務(wù)、數(shù)據(jù)共享指數(shù)、個(gè)人中心和數(shù)據(jù)互動(dòng)等功能。1)數(shù)據(jù)共享總覽共享服務(wù)總覽是展示的數(shù)據(jù)采集、清洗入湖的實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)，從總體出發(fā)展示共享服務(wù)的數(shù)據(jù)總量質(zhì)態(tài)，包含但不限于開放目錄(總數(shù)量和今日增量)、數(shù)據(jù)專題庫(kù)(總量和今日增量)、接口(總量和今日增量)、數(shù)據(jù)項(xiàng)(總量和今日增量)、數(shù)據(jù)(總量和今日增量)等維度數(shù)據(jù)，并支持多(一)服務(wù)便捷入口將共享數(shù)據(jù)按照領(lǐng)域(標(biāo)簽)和部門分類，通過選擇領(lǐng)域或者某個(gè)部門可以快速跳轉(zhuǎn)到相關(guān)領(lǐng)域或相關(guān)部門的數(shù)據(jù)集頁(yè)面將共享數(shù)據(jù)集按照當(dāng)下熱門的話題進(jìn)行應(yīng)用場(chǎng)景分類，(二)數(shù)據(jù)共享分類對(duì)于共享的數(shù)據(jù)集專題按照數(shù)據(jù)領(lǐng)域標(biāo)簽進(jìn)行分類匯新增共享數(shù)據(jù)集默認(rèn)狀態(tài)為不開放。(三)數(shù)據(jù)動(dòng)態(tài)共享數(shù)據(jù)動(dòng)態(tài)主要包括了數(shù)據(jù)動(dòng)態(tài)、接口動(dòng)態(tài)和數(shù)據(jù)新聞，數(shù)據(jù)動(dòng)態(tài)是從數(shù)據(jù)集角度展示最近數(shù)據(jù)集和熱門數(shù)據(jù)集被訪問下載的質(zhì)態(tài)數(shù)據(jù)；接口動(dòng)態(tài)展示最近更新前五的接口和下載量前五的接口；新聞動(dòng)態(tài)展示跟數(shù)據(jù)湖相關(guān)的最新前五條新聞和最新前五的相關(guān)法規(guī)政策。支持管理員賬號(hào)對(duì)數(shù)據(jù)動(dòng)態(tài)設(shè)置，設(shè)置顯示規(guī)則，支持手動(dòng)從動(dòng)態(tài)展示列表里刪除數(shù)據(jù)。(四)服務(wù)幫助為提高服務(wù)的便捷度和用戶上手能力，需實(shí)現(xiàn)新手智能等服務(wù)幫助措施。管理員賬號(hào)支持對(duì)新手指南內(nèi)容的增刪改新手指南：新手指南中會(huì)將整個(gè)系統(tǒng)平臺(tái)進(jìn)行簡(jiǎn)單的操作流程介紹，包括注冊(cè)、登錄、創(chuàng)建應(yīng)用、申請(qǐng)接口、接口調(diào)用、應(yīng)用接入、應(yīng)用審核。2)數(shù)據(jù)共享服務(wù)數(shù)據(jù)共享平臺(tái)主要實(shí)現(xiàn)服務(wù)接口目錄、數(shù)據(jù)圖譜、服務(wù)對(duì)接技術(shù)支持以及相關(guān)技術(shù)支持查詢等功能，同時(shí)對(duì)服務(wù)的管理進(jìn)行流程化的管理?？刹榭疵總€(gè)服務(wù)從服務(wù)接口預(yù)覽、服務(wù)接口審核、服務(wù)接口文檔編制上傳、服務(wù)接口技術(shù)支持信息、服務(wù)接口關(guān)聯(lián)政務(wù)服務(wù)信息、服務(wù)接口發(fā)布整個(gè)內(nèi)部管理過程。(一)數(shù)據(jù)集服務(wù)①數(shù)據(jù)集服務(wù)數(shù)據(jù)共享服務(wù)展示數(shù)據(jù)資源湖匯聚完成的各類基礎(chǔ)庫(kù)和專題數(shù)據(jù)集，支持按照數(shù)據(jù)來源和數(shù)據(jù)領(lǐng)域(標(biāo)簽)進(jìn)行數(shù)據(jù)來源主要包括了政府各部委辦局常規(guī)數(shù)據(jù)和負(fù)面數(shù)據(jù)領(lǐng)域(標(biāo)簽)主要包括安全生產(chǎn)、財(cái)稅金融、城建數(shù)據(jù)共享集查詢支持?jǐn)?shù)據(jù)精確搜索，用戶通過輸入關(guān)鍵詞，系統(tǒng)對(duì)關(guān)鍵詞進(jìn)行模糊匹配，檢索出數(shù)據(jù)共享集名稱中包含關(guān)鍵詞的數(shù)據(jù)集，默認(rèn)按照下載量進(jìn)行倒敘排列，支持?jǐn)?shù)據(jù)分頁(yè)。用戶可以將查詢出的數(shù)據(jù)按照訪問量或下載量或更新時(shí)間或數(shù)據(jù)容量從大到小排列。數(shù)據(jù)共享集列表展示的數(shù)據(jù)內(nèi)容包括：數(shù)據(jù)集名稱、數(shù)據(jù)集主要字段信息、數(shù)據(jù)容量、數(shù)據(jù)提供者、數(shù)據(jù)領(lǐng)域、數(shù)據(jù)格式、查看量、下載量、更新時(shí)間。③數(shù)據(jù)共享集詳情詳細(xì)信息頁(yè)面展示數(shù)據(jù)共享集的具體信息，幫助用戶更簽、更新周期、資源格式、數(shù)據(jù)單位地址、數(shù)據(jù)領(lǐng)域、系統(tǒng)管理賬號(hào)支持對(duì)數(shù)據(jù)及詳情維護(hù)，支持詳情字段的內(nèi)容及數(shù)據(jù)下載和預(yù)覽的開關(guān)。數(shù)據(jù)共享集數(shù)據(jù)項(xiàng)包含了字段名稱、英文名稱、數(shù)據(jù)類型、字段描述、字段長(zhǎng)度、是否字典項(xiàng)、是否為空、是否主鍵，便于開發(fā)者對(duì)此數(shù)據(jù)進(jìn)行二次開發(fā)。關(guān)聯(lián)信息：將數(shù)據(jù)集相關(guān)聯(lián)的數(shù)據(jù)集以列表形式展示出來，方便用戶可以查看跳轉(zhuǎn)到相關(guān)聯(lián)的數(shù)據(jù)集。相關(guān)應(yīng)用：以圖標(biāo)+列表形式展示出應(yīng)用了該數(shù)據(jù)集的相關(guān)應(yīng)用，方便用戶快速定位到相關(guān)應(yīng)用并直接使用數(shù)據(jù)集下載快速入口。④數(shù)據(jù)共享集預(yù)覽數(shù)據(jù)共享集的數(shù)據(jù)規(guī)模和體量較大，高并發(fā)和全量獲取會(huì)嚴(yán)重消耗系統(tǒng)資源，所以對(duì)于數(shù)據(jù)集的預(yù)覽支持查看前十條詳細(xì)數(shù)據(jù)信息，方便用戶在下載之前確認(rèn)是否為自己需要的數(shù)據(jù)，如果確認(rèn)是需要的即可點(diǎn)擊下載。管理賬號(hào)對(duì)數(shù)據(jù)預(yù)覽設(shè)置，可設(shè)置預(yù)覽顯示的數(shù)據(jù)條數(shù)，并支持?jǐn)?shù)據(jù)預(yù)覽開關(guān)控制。⑤數(shù)據(jù)可視化對(duì)于用戶獲取的數(shù)據(jù)共享集的預(yù)覽數(shù)據(jù)支持基于BI智能引擎自助式可視化數(shù)據(jù)分析，提供多種圖表分析組件。選擇數(shù)據(jù)項(xiàng)、統(tǒng)計(jì)項(xiàng)、數(shù)據(jù)量、排序方式，在選擇合適的圖表 (餅狀圖、柱狀圖、折線圖)將數(shù)據(jù)以圖表的形式展示出來，便于用戶更好理解。管理賬號(hào)對(duì)數(shù)據(jù)可視化設(shè)置，可設(shè)置支持的可視化展示的維度，并支持?jǐn)?shù)據(jù)可視化開關(guān)控制。⑥數(shù)據(jù)共享集使用數(shù)據(jù)下載：用戶根據(jù)自己想要的數(shù)據(jù)格式點(diǎn)擊相應(yīng)的格式按鈕進(jìn)行數(shù)據(jù)下載，數(shù)據(jù)量較大的情況下數(shù)據(jù)將自動(dòng)分成多個(gè)數(shù)據(jù)表單。數(shù)據(jù)收藏：數(shù)據(jù)集支持用戶對(duì)數(shù)據(jù)進(jìn)行收藏，方便用戶在用戶中心對(duì)數(shù)據(jù)進(jìn)行管理，在數(shù)據(jù)有需要時(shí)及時(shí)下載，減少用戶搜索成本時(shí)間。數(shù)據(jù)訂閱：數(shù)據(jù)訂閱的數(shù)據(jù)集系統(tǒng)會(huì)自動(dòng)判斷已訂閱的并在用戶中心的<我的訂閱>模塊中以右上角有小紅點(diǎn)的方(二)數(shù)據(jù)目錄以各委辦局業(yè)務(wù)使用人員不同程度開放使用下載的數(shù)據(jù)目理方式。1)數(shù)據(jù)開放目錄數(shù)據(jù)開放目錄是大數(shù)據(jù)局將數(shù)據(jù)資源湖中資源目錄進(jìn)行開放，開放的目錄無需申請(qǐng)審批即可有權(quán)獲取。支持?jǐn)?shù)據(jù)目錄按照單位進(jìn)行分類。數(shù)據(jù)集開放目錄列表展示的數(shù)據(jù)內(nèi)容包括：數(shù)據(jù)集名稱、數(shù)源單位、目錄發(fā)布時(shí)間、信息項(xiàng)概覽展示。數(shù)據(jù)目錄查詢支持?jǐn)?shù)據(jù)精確搜索，通過輸入關(guān)鍵詞，系統(tǒng)對(duì)關(guān)鍵詞進(jìn)行模糊匹配，檢索出數(shù)據(jù)集名稱中包含關(guān)鍵詞的數(shù)據(jù)集，按照更新時(shí)間進(jìn)行倒敘排列，數(shù)據(jù)結(jié)果支持分頁(yè)可以預(yù)覽所有數(shù)據(jù)目錄，對(duì)于開放的數(shù)據(jù)目錄，支持所有數(shù)據(jù)目錄批量下載，支持并以EXCEL格式保存到本地，以便查看數(shù)據(jù)集目錄的集合。2)數(shù)據(jù)受限目錄數(shù)據(jù)受限目錄是大數(shù)據(jù)局將數(shù)據(jù)資源湖中資源目錄進(jìn)行受限開放，數(shù)據(jù)受限目錄需要個(gè)委辦局賬號(hào)向大數(shù)據(jù)局申請(qǐng)授權(quán)，授權(quán)通過的賬號(hào)登錄后通過后才能獲取。支持?jǐn)?shù)據(jù)目錄按照單位進(jìn)行分類。數(shù)據(jù)集開放目錄列表展示的數(shù)據(jù)內(nèi)容包括：數(shù)據(jù)集名稱、數(shù)源單位、目錄發(fā)布時(shí)間、信息項(xiàng)概覽展示。數(shù)據(jù)目錄查詢支持?jǐn)?shù)據(jù)精確搜索，通過輸入關(guān)鍵詞，系統(tǒng)對(duì)關(guān)鍵詞進(jìn)行模糊匹配，檢索出數(shù)據(jù)集名稱中包含關(guān)鍵詞的數(shù)據(jù)集，按照更新時(shí)間進(jìn)行倒敘排列，數(shù)據(jù)結(jié)果支持分頁(yè)可以預(yù)覽所有數(shù)據(jù)目錄，對(duì)于開放的數(shù)據(jù)目錄，支持所有數(shù)據(jù)目錄批量下載，支持并以EXCEL格式保存到本地，以便查看數(shù)據(jù)集目錄的集合。數(shù)據(jù)受限目錄申請(qǐng)：勾選需要申請(qǐng)的數(shù)據(jù)，點(diǎn)擊“受限申請(qǐng)”,跳轉(zhuǎn)到數(shù)據(jù)服務(wù)申請(qǐng)頁(yè)面，填寫相關(guān)信息，并提交相關(guān)材料，如下圖所示；可在“數(shù)據(jù)清單”項(xiàng)上看到選擇的數(shù)據(jù)項(xiàng)管理賬號(hào)對(duì)數(shù)據(jù)目錄進(jìn)行設(shè)置，可將數(shù)據(jù)目錄設(shè)置為開放、受限開放和不開放，新增數(shù)據(jù)集默認(rèn)狀態(tài)為不開放。支持對(duì)受限目錄申請(qǐng)進(jìn)行審批。(三)接口服務(wù)服務(wù)接口審核是用于管理員審核服務(wù)接口注冊(cè)信息，需要審核服務(wù)接口的在這里以列表形式展示，列表內(nèi)容包括序號(hào)、服務(wù)編號(hào)、服務(wù)名稱，點(diǎn)擊服務(wù)名稱可以獲取服務(wù)的詳細(xì)信息。可進(jìn)行審核操作，審核時(shí)需要填寫相關(guān)意見和上傳相關(guān)文件。服務(wù)接口的發(fā)布和刪除必須經(jīng)過管理平臺(tái)的線_上審核審批后才能進(jìn)行相應(yīng)操作。支持提供完善的服務(wù)管理操作，包括但不限于服務(wù)發(fā)布、服務(wù)審批、服務(wù)刪除和服務(wù)啟停等。大數(shù)據(jù)局審批后才允許時(shí)支持臨時(shí)啟停服務(wù)。支持提供服務(wù)訂閱審批機(jī)制和流程記錄功能。審批后才可以使用服務(wù)，服務(wù)提供方可撤銷已授予的訪問權(quán)限。流程記錄功能可以記錄從服務(wù)訂閱的提交、中心審批、部門審批到聯(lián)調(diào)測(cè)試全流程各環(huán)節(jié)的操作人、操作結(jié)論和操作時(shí)間等記錄信息。服務(wù)接口管理模塊具有靈活的安全控制機(jī)制，提供防攻擊、防重放、請(qǐng)求加密、身份認(rèn)證、權(quán)限管理和流量控制等多重手段保證API安全，降低API開放風(fēng)險(xiǎn)。提供代理訪問真實(shí)API的能力，數(shù)據(jù)供應(yīng)方的真實(shí)API僅暴露給數(shù)據(jù)共享平臺(tái)，其它用戶看到的都是數(shù)據(jù)共享平臺(tái)提供的代理訪問地址；為上層開發(fā)者提供統(tǒng)一的認(rèn)證機(jī)制及數(shù)據(jù)獲取機(jī)制，使用方按需訂購(gòu)服務(wù)，服務(wù)提供方審核后方可使用服務(wù)。可實(shí)現(xiàn)數(shù)據(jù)填表：利用數(shù)據(jù)接口實(shí)現(xiàn)數(shù)據(jù)自動(dòng)填表，解決繁瑣的數(shù)據(jù)整理、收集、錄入工作，提升系統(tǒng)便捷性，提高用戶工作效率實(shí)現(xiàn)隨時(shí)隨地獲取數(shù)據(jù)可輸出定制化報(bào)告：根據(jù)自身的需求將多維的數(shù)據(jù)接口輸出的結(jié)果整合成報(bào)告，實(shí)現(xiàn)業(yè)務(wù)人員自助完成數(shù)據(jù)分析的目的可實(shí)現(xiàn)系統(tǒng)智能風(fēng)險(xiǎn)預(yù)警：通過數(shù)據(jù)接口實(shí)時(shí)獲取最新的數(shù)據(jù)信息，檢測(cè)出其中的異常數(shù)據(jù)，針對(duì)異常數(shù)據(jù)系統(tǒng)自動(dòng)快速?zèng)Q策或觸發(fā)風(fēng)控提醒智能輔助管理人員決策1)接口查詢接口查詢支持?jǐn)?shù)據(jù)集和數(shù)據(jù)領(lǐng)域組合條件篩選，不僅能滿足用戶的接口瀏覽需求又能滿足用戶接口精確定位查找。接口查詢支持?jǐn)?shù)據(jù)精確搜索，用戶通過輸入關(guān)鍵詞，系統(tǒng)對(duì)關(guān)鍵詞進(jìn)行模糊匹配，檢索出接口名稱中包含關(guān)鍵詞的接口，默認(rèn)按照下載量進(jìn)行倒敘排列，支持?jǐn)?shù)據(jù)結(jié)果分頁(yè)顯用戶可以將查詢出的接口按照訪問量或下載量或更新時(shí)間從大到小排列。管理賬號(hào)對(duì)服務(wù)API接口進(jìn)行設(shè)置，可將API接口設(shè)置為開放、受限開放和不開放，新增API接口默認(rèn)狀態(tài)為不開放。只有開放或者受限開發(fā)的接口才可以被查詢到。2)接口預(yù)覽接口預(yù)覽支持對(duì)應(yīng)接口返回結(jié)果內(nèi)容樣例展示，將接口返回Demo樣例，方便用戶理解對(duì)接。3)接口申請(qǐng)對(duì)于提供隱私數(shù)據(jù)、保密數(shù)據(jù)等敏感信息的共享接口的申請(qǐng)，需要向大數(shù)據(jù)申請(qǐng)，通過審批通過后才可以接入接口。接口申請(qǐng)頁(yè)面，填寫相關(guān)信息。申請(qǐng)頁(yè)面的接口名稱自動(dòng)帶入，申請(qǐng)方需選擇對(duì)接的應(yīng)用或者創(chuàng)建新應(yīng)用(創(chuàng)建應(yīng)用在后面說明),填寫申請(qǐng)手機(jī)號(hào)、申請(qǐng)理由、申請(qǐng)需求、需要的數(shù)據(jù)字段，申請(qǐng)?zhí)峤缓笥珊笈_(tái)進(jìn)行審核，審核通過后即可調(diào)用接口。管理賬號(hào)對(duì)受限的API接口申請(qǐng)進(jìn)行審批，只有審批通過的接入請(qǐng)求才能按照格式要求調(diào)用對(duì)應(yīng)接口。4)接口調(diào)用支持查看接口狀態(tài)，可以進(jìn)入接口詳細(xì)頁(yè)面，查詢總接口地址、分頁(yè)接口地址等接口信息，接口的詳情頁(yè)面會(huì)提供接口的調(diào)用樣例，調(diào)用接口時(shí)需要在樣例前面加上當(dāng)前平臺(tái)URL地址，并附上申請(qǐng)接口時(shí)所提供的應(yīng)用的AppSecret,才能正確調(diào)用接口，返回對(duì)應(yīng)的“分頁(yè)接口”每次調(diào)用最多返回200條數(shù)據(jù)。5)接口文檔編制上傳服務(wù)接口文檔編制上傳需要對(duì)原始接口文檔按照政務(wù)提供API服務(wù)快速錄入的能力，用戶可以通過Swagger文檔快速導(dǎo)入RESTful,或通過WSDL文檔快速導(dǎo)入WebService,亦或是手工錄入API?？梢酝瑫r(shí)運(yùn)行同一API1、支持RESTful反向代理能力支持手工錄入和通過Swagger文檔導(dǎo)入API服務(wù)。適應(yīng)于后臺(tái)以RESTful的形式文檔自動(dòng)生成RESTfulAPI功能。適應(yīng)于后臺(tái)以WebServiceRPC-style和soapDocument-6)接口發(fā)布與管理服務(wù)路徑、認(rèn)證類型、服務(wù)狀態(tài)、服務(wù)創(chuàng)建者、歷史版本、用詳情等一系列信息。共享指數(shù)模塊主要展示整個(gè)平臺(tái)的相關(guān)數(shù)據(jù)共享輸出門數(shù)量。量1)互動(dòng)交流息的回復(fù)和刪除操作，支持對(duì)交流內(nèi)容進(jìn)行分類匯總分析，2)智能助手3)政策動(dòng)態(tài)支持管理賬號(hào)對(duì)政策動(dòng)態(tài)內(nèi)容設(shè)置，設(shè)置操作支持政策法規(guī)和新聞動(dòng)態(tài)的新建、刪除、關(guān)閉、開放等操作。5.數(shù)據(jù)共享用戶中心登錄后可以查看到相關(guān)用戶中心內(nèi)容：數(shù)據(jù)集的查詢、數(shù)據(jù)目錄查詢等不登錄也可以查看。用戶中心可以查看用戶的賬戶信息，用戶消息、用戶應(yīng)用、用戶申請(qǐng)、用戶收藏、用戶訂閱、用戶成果。用戶信息：賬戶信息自動(dòng)帶入委辦局信息并進(jìn)行展示。用戶消息：消息模塊會(huì)將大數(shù)據(jù)局對(duì)用戶互動(dòng)交流提出的意見反饋以列表形式展示，方便用戶及時(shí)查看回復(fù)的信息，并支持再次回復(fù)互動(dòng)交流。用戶申請(qǐng)：申請(qǐng)以列表形式展示給用戶查看資源名稱、類型、字段、申請(qǐng)?jiān)?、是否通過、下載。用戶收藏：收藏頁(yè)面將用戶在瀏覽數(shù)據(jù)集、接口時(shí)收藏的數(shù)據(jù)和接口以列表形式展示，用戶可在用戶收藏中心模塊瀏覽關(guān)心的數(shù)據(jù)，也可以進(jìn)行取消收藏操作。取消訂閱操作，當(dāng)所訂閱的數(shù)據(jù)集或者接口有更新時(shí)訂閱列表也會(huì)同步更新，并以右上角小紅點(diǎn)的形式通知用戶有更新。2.1.3數(shù)據(jù)中臺(tái)建設(shè)1.數(shù)據(jù)開發(fā)1)數(shù)據(jù)分區(qū)管理針對(duì)數(shù)據(jù)處理場(chǎng)景比較復(fù)雜的現(xiàn)狀，對(duì)數(shù)據(jù)體系進(jìn)行分區(qū)建設(shè)，各分區(qū)可以有不同的治理規(guī)則，各分區(qū)通過數(shù)據(jù)處理銜接。按照數(shù)據(jù)分區(qū)建設(shè)要求，為各個(gè)分區(qū)數(shù)據(jù)分配不同的數(shù)據(jù)治理規(guī)則，更好的使用不同業(yè)務(wù)、不同類型數(shù)據(jù)的差異化管理。2)數(shù)據(jù)對(duì)比多源數(shù)據(jù)經(jīng)過清洗、轉(zhuǎn)換后，在存入大數(shù)據(jù)平臺(tái)之前，需要進(jìn)行數(shù)據(jù)比對(duì)。數(shù)據(jù)比對(duì)作為數(shù)據(jù)采集流程配置的一部為進(jìn)行某數(shù)據(jù)表的數(shù)據(jù)比對(duì)工作，采集系統(tǒng)將設(shè)置一套同樣的臨時(shí)數(shù)據(jù)表和變更數(shù)據(jù)統(tǒng)計(jì)表，新的準(zhǔn)備入庫(kù)數(shù)據(jù)可以與原有的庫(kù)表數(shù)據(jù)一一比對(duì)，有變更項(xiàng)時(shí)，則將原有的庫(kù)表數(shù)據(jù)和變更的數(shù)據(jù)字段存入臨時(shí)數(shù)據(jù)表，變更數(shù)據(jù)統(tǒng)計(jì)表中記錄變更前后值。全部比對(duì)結(jié)束后，將臨時(shí)數(shù)據(jù)表的內(nèi)容全部導(dǎo)入，臨時(shí)數(shù)據(jù)表的內(nèi)容再清除。3)數(shù)據(jù)轉(zhuǎn)換對(duì)數(shù)據(jù)清洗完成后，依據(jù)轉(zhuǎn)換規(guī)則，對(duì)交換信息庫(kù)的數(shù)據(jù)按照基礎(chǔ)關(guān)系庫(kù)中的信息模型進(jìn)行轉(zhuǎn)換，數(shù)據(jù)的轉(zhuǎn)換涉及可伸縮并且可維護(hù)就極為重要。數(shù)據(jù)轉(zhuǎn)換是將從業(yè)務(wù)應(yīng)用系統(tǒng)抽取出來的不同格式的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)模型要求一致數(shù)據(jù)的過程。支持在最小的數(shù)據(jù)采集單元中，進(jìn)行異構(gòu)數(shù)據(jù)源整合。支持一定的數(shù)據(jù)轉(zhuǎn)換功能，對(duì)常用的數(shù)據(jù)轉(zhuǎn)換功能。支持部分業(yè)務(wù)指標(biāo)的計(jì)算和轉(zhuǎn)換功能。按照數(shù)據(jù)源與目標(biāo)數(shù)據(jù)的定義，將數(shù)據(jù)單位傳輸?shù)侥繕?biāo)數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換主要包括格式轉(zhuǎn)換、類型轉(zhuǎn)換、數(shù)據(jù)翻譯、轉(zhuǎn)換的顆粒度到記錄級(jí)別和字段級(jí)別。格式轉(zhuǎn)換：數(shù)據(jù)中心某個(gè)字段內(nèi)容跟應(yīng)用系統(tǒng)中的某個(gè)字段內(nèi)容完全相同，這時(shí)可以直接轉(zhuǎn)換。如果兩個(gè)字段存儲(chǔ)格式不同，則需要進(jìn)行格式轉(zhuǎn)換，同時(shí)還可能需要?jiǎng)h除應(yīng)用系統(tǒng)中數(shù)據(jù)中的前置或后置空格。比如業(yè)務(wù)上代表一個(gè)數(shù)值，但在系統(tǒng)中存儲(chǔ)為字符格式的，需要將字符格式轉(zhuǎn)換為數(shù)字格式；再比如保存為字符格式的日期數(shù)據(jù)，則需要轉(zhuǎn)換為日期格式。字段拆分：如果數(shù)據(jù)中心中的多個(gè)字段對(duì)應(yīng)業(yè)務(wù)應(yīng)用系統(tǒng)中的同一字段，即數(shù)據(jù)中心中多個(gè)字段的信息都可以從應(yīng)用系統(tǒng)中的同一字段獲取，則需要進(jìn)行字段拆分。比如，有的應(yīng)用系統(tǒng)將員工姓名、地址、聯(lián)系電話等信息都保存在一個(gè)字符類型的字段中；而在數(shù)據(jù)中心中，員工姓名、地址、聯(lián)系電話可能是分開存放的。這個(gè)時(shí)候，就需要將應(yīng)用系統(tǒng)中的員工信息字段進(jìn)行拆分。拆分時(shí)，通常采用數(shù)據(jù)庫(kù)提供的函數(shù)進(jìn)行。如果數(shù)據(jù)庫(kù)提供的內(nèi)置函數(shù)無法滿足拆分需要，則應(yīng)該編寫自定義函數(shù)進(jìn)行拆分。字段合并：如果數(shù)據(jù)中心的一個(gè)字段在業(yè)務(wù)應(yīng)用系統(tǒng)中分為多個(gè)字段存儲(chǔ)，即數(shù)據(jù)中心中一個(gè)字段的信息，在應(yīng)用系統(tǒng)分為多個(gè)字段進(jìn)行存儲(chǔ)，則需要進(jìn)行字段合并。比如，有的應(yīng)用系統(tǒng)中，將員工地址中的省份、地區(qū)、街道等分為多個(gè)字段存儲(chǔ)；而在數(shù)據(jù)倉(cāng)庫(kù)中，客戶地址是一個(gè)字段時(shí)，就需要將應(yīng)用系統(tǒng)中的多個(gè)地址字段合并為一個(gè)字符串，然后保存到數(shù)據(jù)倉(cāng)庫(kù)中。字段合并時(shí)，通常采用數(shù)據(jù)庫(kù)提供的函數(shù)進(jìn)行。如果合并的字段需要預(yù)先處理，則在合并前還需要進(jìn)行預(yù)處理。數(shù)字轉(zhuǎn)換：如果數(shù)據(jù)中心中存儲(chǔ)經(jīng)過初步運(yùn)算后的綜合數(shù)據(jù)，則需要對(duì)應(yīng)用系統(tǒng)中的多個(gè)字段進(jìn)行運(yùn)算轉(zhuǎn)換。在大多數(shù)情況下，可以采用數(shù)據(jù)庫(kù)提供的函數(shù)進(jìn)行字段運(yùn)算。在遇到需要使用數(shù)據(jù)庫(kù)不提供函數(shù)的復(fù)雜計(jì)算時(shí)，則需要自行編寫計(jì)算函數(shù)進(jìn)行運(yùn)算。數(shù)據(jù)翻譯：對(duì)原來信息表示不完整的字段，將其信息補(bǔ)充完整。比如日期數(shù)據(jù)，在應(yīng)用系統(tǒng)可能只保留了年的后兩位，則在保存到數(shù)據(jù)中心前，應(yīng)該根據(jù)具體數(shù)據(jù)，在前面或后面補(bǔ)充完整。行列轉(zhuǎn)換：如數(shù)據(jù)中心的一行數(shù)據(jù)，在應(yīng)用系統(tǒng)中保存在多行中，則需要進(jìn)行行列轉(zhuǎn)換。由于行列轉(zhuǎn)換比較復(fù)雜，因此在轉(zhuǎn)換時(shí)通常無法簡(jiǎn)單通過函數(shù)來實(shí)現(xiàn)，而需要編寫代碼。在代碼中，需要確定數(shù)據(jù)倉(cāng)庫(kù)中除主鍵外的其他所有列。在應(yīng)用系統(tǒng)中如何根據(jù)主鍵信息來獲取。數(shù)據(jù)校驗(yàn)：數(shù)據(jù)校驗(yàn)包括數(shù)據(jù)采集、數(shù)據(jù)加載、數(shù)據(jù)分發(fā)等過程中數(shù)據(jù)校驗(yàn)。在數(shù)據(jù)采集過程中通過對(duì)數(shù)據(jù)源與目標(biāo)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)進(jìn)行對(duì)比分析，從而進(jìn)一步來分析、發(fā)現(xiàn)與解決在數(shù)據(jù)抽取過程可能產(chǎn)生的異常錯(cuò)誤信息。4)數(shù)據(jù)脫敏加密為保障數(shù)據(jù)安全，避免數(shù)據(jù)安全事故的發(fā)生，數(shù)據(jù)匯聚和開放過程必須采用脫敏加密技術(shù)進(jìn)行嚴(yán)格處理。(1)數(shù)據(jù)脫敏常用的脫敏技術(shù)有：替換、重排、加密、截?cái)唷⒀诖a日期偏移取整，根據(jù)特定的應(yīng)用場(chǎng)景對(duì)敏感字段實(shí)施具體的脫敏處理方法。數(shù)據(jù)脫敏主要分為兩種：動(dòng)態(tài)脫敏和靜態(tài)脫敏。動(dòng)態(tài)數(shù)據(jù)脫敏，即根據(jù)不同的應(yīng)用需求，對(duì)數(shù)據(jù)中的敏感信息進(jìn)行不同的界定，通過制定相應(yīng)的脫敏規(guī)則對(duì)那些被界定為敏感信息的數(shù)據(jù)進(jìn)行屏蔽。靜態(tài)數(shù)據(jù)脫敏也叫“持久性數(shù)據(jù)脫敏”,即對(duì)數(shù)據(jù)中的常規(guī)敏感信息在數(shù)據(jù)源處就進(jìn)行替換、覆蓋或隱藏等脫敏處(2)數(shù)據(jù)加密HDFS讀取和寫入數(shù)據(jù)都會(huì)透明地進(jìn)行加密和解密，不需要用戶應(yīng)用程序代碼的變更。這個(gè)加密是端到端的，也就意味著數(shù)據(jù)只能被客戶端加密和解密。HDFS從來不會(huì)存儲(chǔ)或訪問未加密的數(shù)據(jù)或者為加密的加密key。這滿足了2個(gè)典型的加密要求：靜態(tài)加密以及在傳輸加密。靜態(tài)加密：HDFS層級(jí)加密適合在數(shù)據(jù)庫(kù)級(jí)別和文件系統(tǒng)級(jí)別之間的棧進(jìn)行加密加密傳輸：為保障數(shù)據(jù)傳輸安全，在數(shù)據(jù)接入的信息傳輸過程中可以加密協(xié)議進(jìn)行傳輸，保證數(shù)據(jù)傳輸過程中不泄密。采用SSL協(xié)議方式對(duì)數(shù)據(jù)進(jìn)行加密處理，以保障傳輸內(nèi)容的機(jī)密性和完整性。支持SSL加密傳輸，數(shù)據(jù)交換網(wǎng)關(guān)之間交換數(shù)據(jù)時(shí)，可使用SSL來加密傳輸。支持Gzip,Snappy,LZ4等壓縮算法。通過壓縮傳輸，可有效減少網(wǎng)絡(luò)帶寬。(3)解密解壓為了防止信息數(shù)據(jù)泄密被他人盜用，通過文件服務(wù)器或其他方式傳輸家在到數(shù)據(jù)接入系統(tǒng)上中的文件數(shù)據(jù)都會(huì)被壓縮和加密，只有通過租戶授權(quán)的管理系統(tǒng)客戶端，才能對(duì)加密數(shù)據(jù)進(jìn)行解壓、解密。數(shù)據(jù)接入系統(tǒng)的解壓解密要支持對(duì)常見壓縮算法壓縮的數(shù)據(jù)的解壓，支持的格式包括GZIP、5)數(shù)據(jù)關(guān)聯(lián)通過分析數(shù)據(jù)間的業(yè)務(wù)關(guān)系，建立關(guān)鍵數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，將離散的數(shù)據(jù)串聯(lián)起來形成能表達(dá)更多含義信息集合，以形成基礎(chǔ)庫(kù)、業(yè)務(wù)庫(kù)、知識(shí)庫(kù)等數(shù)據(jù)集。數(shù)據(jù)關(guān)聯(lián)組件需要完成在不同數(shù)據(jù)集之間的關(guān)聯(lián)，實(shí)現(xiàn)在不同數(shù)據(jù)集的聯(lián)動(dòng)，為數(shù)據(jù)治理、業(yè)務(wù)應(yīng)用的需求提供支撐。支持基于標(biāo)準(zhǔn)的數(shù)據(jù)元體系、數(shù)據(jù)字典提下驅(qū)動(dòng)形成原始數(shù)據(jù)與標(biāo)準(zhǔn)體系的關(guān)聯(lián)。支持?jǐn)?shù)據(jù)表關(guān)聯(lián)提供表與表、字段與字段之間的關(guān)聯(lián)管理功能，具備數(shù)據(jù)表、字段級(jí)別的關(guān)聯(lián)功能。支持提供建立數(shù)據(jù)元和表字段的數(shù)據(jù)關(guān)聯(lián)，根據(jù)語(yǔ)義相似度自動(dòng)關(guān)聯(lián)數(shù)據(jù)元到數(shù)據(jù)表的某個(gè)字段，完成數(shù)據(jù)表字段與標(biāo)準(zhǔn)數(shù)據(jù)元的關(guān)聯(lián)關(guān)系配置，支持機(jī)器學(xué)習(xí)推薦的方式建立邏輯實(shí)體與物理數(shù)據(jù)的數(shù)據(jù)關(guān)聯(lián)。6)數(shù)據(jù)標(biāo)識(shí)數(shù)據(jù)標(biāo)識(shí)模塊依托標(biāo)簽引擎結(jié)合業(yè)務(wù)知識(shí)庫(kù)、標(biāo)簽規(guī)則庫(kù)對(duì)數(shù)據(jù)進(jìn)行標(biāo)識(shí)。標(biāo)簽規(guī)則庫(kù)提供標(biāo)簽的定義、內(nèi)容、版通過人工或智能的方式實(shí)現(xiàn)對(duì)數(shù)據(jù)打標(biāo)，以便提升數(shù)據(jù)的價(jià)值密度，并為上層應(yīng)用提供支撐。根據(jù)標(biāo)簽規(guī)則庫(kù)提供的規(guī)則接口，數(shù)據(jù)標(biāo)識(shí)過程分為以下三類：基礎(chǔ)標(biāo)簽標(biāo)識(shí)：根據(jù)基礎(chǔ)標(biāo)簽定義的規(guī)則，對(duì)數(shù)據(jù)進(jìn)行規(guī)則篩選，符合規(guī)則的數(shù)據(jù)增添一列基礎(chǔ)標(biāo)簽。業(yè)務(wù)標(biāo)簽標(biāo)識(shí)：按照業(yè)務(wù)數(shù)據(jù)模型管理數(shù)據(jù)，根據(jù)標(biāo)簽規(guī)則庫(kù)提供的標(biāo)簽元數(shù)據(jù)信息，在資源庫(kù)中找到標(biāo)簽所需的相關(guān)聯(lián)的數(shù)據(jù)，根據(jù)規(guī)則進(jìn)行合并、匯總等工作，得到的數(shù)據(jù)按照標(biāo)簽定義增加一列內(nèi)容到目標(biāo)數(shù)據(jù)中。智能標(biāo)簽標(biāo)識(shí)：據(jù)標(biāo)簽規(guī)則庫(kù)提供的模型接口，將相應(yīng)的數(shù)據(jù)輸入模型進(jìn)行計(jì)算，將計(jì)算后的結(jié)果按照標(biāo)簽規(guī)則庫(kù)定義的標(biāo)簽內(nèi)容增加一列業(yè)務(wù)標(biāo)簽到目標(biāo)數(shù)據(jù)中。7)數(shù)據(jù)融合標(biāo)準(zhǔn)化去噪后的數(shù)據(jù)需要采取必要的數(shù)據(jù)融合手段，按照市各委辦局主題庫(kù)、專題庫(kù)以及數(shù)據(jù)應(yīng)用需要的方式組織，以支撐各委辦局的數(shù)據(jù)需求。在數(shù)據(jù)融合的過程中，應(yīng)該以合理的方式設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)，保障數(shù)據(jù)應(yīng)用對(duì)數(shù)據(jù)高效分析查詢的同時(shí)，盡可能減少冗余。數(shù)據(jù)融合處理過程貫穿主題庫(kù)、專題庫(kù)和數(shù)據(jù)應(yīng)用的建設(shè)過程：2.數(shù)據(jù)計(jì)算多樣性分析針對(duì)不用的業(yè)務(wù)類型提供不同的計(jì)算框架，如針對(duì)批處理的MapReduce計(jì)算框架；針對(duì)交互式查詢的ImpalaMPP查詢引擎；針對(duì)內(nèi)存及流計(jì)算的Spark框架；針對(duì)全文檢索的ES搜索引擎。第56頁(yè)1)分布式批處理計(jì)算框架MapReduce件架構(gòu)，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。概念“Map(映射)”和“Reduce(化簡(jiǎn))”,及他們的主要思想，MapReduce的根源是函數(shù)性編程中的map和reduce函函數(shù)生成的列表，然后根據(jù)它們的鍵縮小鍵/值對(duì)列表。2)分布式內(nèi)存計(jì)算框架Spark不再需要讀寫HDFS,因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。并能夠幫助用戶簡(jiǎn)單的快速開發(fā)，統(tǒng)一的大數(shù)據(jù)應(yīng)用，對(duì)數(shù)據(jù)進(jìn)行協(xié)處理，3)高性能數(shù)據(jù)分析MPP引擎ImpalaImpala是運(yùn)行于ApacheHadoop之上，業(yè)界領(lǐng)先的大規(guī)模并行處理(MPP)SQL查詢引擎。Impala是Apache-庫(kù)技術(shù)和Hadoop進(jìn)行結(jié)合，幫助用戶能HDFS和Hbase的數(shù)據(jù)而不用進(jìn)行數(shù)據(jù)遷移或者轉(zhuǎn)變。Impala和MapReduce,Hive,Pig以及Hadoop的其他組件，都享有Join等操作),表的元數(shù)據(jù)信息存儲(chǔ)在Hive的Metastore各個(gè)節(jié)點(diǎn)的健康狀況，提供節(jié)點(diǎn)注冊(cè)、錯(cuò)誤檢測(cè)等功能。將這些子查詢分發(fā)到各個(gè)節(jié)點(diǎn)上，由各個(gè)節(jié)點(diǎn)上的QueryImpala的查詢效率比Hive有數(shù)量級(jí)的提升。從技術(shù)角的原因：Impala不需要把中間結(jié)果寫入磁盤，省掉了大量的I/0task的速度很慢(默認(rèn)每個(gè)心跳間隔是3秒鐘),Impala直Impala完全拋棄了MapReduce這個(gè)不太適合做SQL查詢的范式，而是像Dremel一樣借鑒了MPP并行數(shù)據(jù)庫(kù)的思想另起爐灶，因此可做更多的查詢優(yōu)化，從而省掉不必要的用C++實(shí)現(xiàn)，做了很多有針對(duì)性的硬件優(yōu)化，例如使用將數(shù)據(jù)和計(jì)算分配在同一臺(tái)機(jī)器上進(jìn)行，減少了網(wǎng)絡(luò)開銷。Hadoop,但是需要交互式響應(yīng)，用戶就不得不把數(shù)據(jù)轉(zhuǎn)移到Impala的出現(xiàn)使得用戶增加了一個(gè)選擇。操作存儲(chǔ)于Hadoop的數(shù)據(jù)進(jìn)行交互。不僅如此，Impala可以減輕現(xiàn)有分析數(shù)據(jù)庫(kù)的壓力從而避免了BI任務(wù)堆積。比ApahceHive/Stinger快10-100倍用戶熟悉度：Impala使用標(biāo)準(zhǔn)的SQL,查詢數(shù)據(jù)，用戶4)流計(jì)算引擎ApacheFlink是一個(gè)框架和分布式處理引擎，用于對(duì)無Flink擅長(zhǎng)處理無界和有界數(shù)據(jù)集。精確控制時(shí)間和狀態(tài)使Flink的運(yùn)行時(shí)能夠在無界流上運(yùn)行任何類型的應(yīng)用程ApacheStorm只能支持低延時(shí)和高性能特性，無法滿(2)支持事件時(shí)間(EventTime)概念(3)支持有狀態(tài)計(jì)算所謂狀態(tài)就是在流式計(jì)算過程中將算子的中間結(jié)果保能(4)基于輕量級(jí)分布式快照(Snapshot)實(shí)現(xiàn)的容錯(cuò)Flink能夠分布運(yùn)行在上千個(gè)節(jié)點(diǎn)上，通過基于分布式快照技術(shù)的Checkpoints,將執(zhí)行過程中的狀態(tài)信息進(jìn)行持久化存儲(chǔ)，一旦任務(wù)出現(xiàn)異常停止，F(xiàn)link能夠從在一段時(shí)間內(nèi)應(yīng)用的終止有可能導(dǎo)致數(shù)據(jù)的丟失或者計(jì)算Table更高階的API,集成在Tablelibrary中提供，在流第61頁(yè)和批上都可以用此API開發(fā)業(yè)務(wù)。通過SQL開發(fā)人員可以只關(guān)注業(yè)務(wù)邏輯，學(xué)習(xí)成本低，容易理解，而且內(nèi)置了很多的優(yōu)化規(guī)則，可以簡(jiǎn)化開發(fā)復(fù)雜度，通過SQL還能在高層應(yīng)用非常文檔的特點(diǎn)，流與批的統(tǒng)一，F(xiàn)link底層Runtime本身就是一個(gè)流與批統(tǒng)一的引擎，而SQL可以做到API層的流與批統(tǒng)一。SparkStreaming是Spark接口的一種擴(kuò)展。它將流式計(jì)算分解成一系列短小的批處理作業(yè)，并在內(nèi)部采用統(tǒng)一的基于RDD的處理引擎。具體來說，SparkStreaming會(huì)將輸入按照時(shí)間窗口，例如1秒，將連續(xù)的數(shù)據(jù)流切分成一段一段的離散數(shù)據(jù)塊，稱之為離散數(shù)據(jù)流(D-Stream),即一組基于時(shí)間的RDD的集合。而SparkStreaming對(duì)離散數(shù)據(jù)流的轉(zhuǎn)換操作在執(zhí)行過程中會(huì)被映射到核心RDD并將轉(zhuǎn)換后的操作結(jié)果保存在內(nèi)存中。整個(gè)流式計(jì)算可以根據(jù)業(yè)務(wù)的需求對(duì)中間結(jié)果進(jìn)行疊加亦或存儲(chǔ)到外部設(shè)備中進(jìn)行永久存儲(chǔ)。SparkStreaming的計(jì)算其實(shí)質(zhì)是一組微量批處理任務(wù)的序列。一般時(shí)間窗口選取范圍在0.5~2秒，延遲要求越高，則窗口時(shí)間越短?？傮w而言，SparkStreaming能夠滿足除了對(duì)實(shí)時(shí)性要求非常高(如高頻實(shí)時(shí)交易)之外的所有流式準(zhǔn)實(shí)時(shí)計(jì)算場(chǎng)景。執(zhí)行過程中根據(jù)運(yùn)算操作符建立血緣關(guān)系(lineage),只要保證輸入數(shù)據(jù)的可靠存儲(chǔ)，當(dāng)任意一個(gè)RDD分區(qū)缺失時(shí)，系統(tǒng)可以利用原始輸入數(shù)據(jù)通過轉(zhuǎn)換操作來進(jìn)行重新計(jì)算。而血緣關(guān)系，從另一層面上也解決了一致性語(yǔ)義問題。通過離散化數(shù)據(jù)流，時(shí)間被自然地切分成離散的區(qū)間，該框架進(jìn)而會(huì)自動(dòng)在每個(gè)區(qū)間所生成的RDD與輸入結(jié)果以及前一個(gè)區(qū)間所生成的RDD之間建立血緣關(guān)系。由此，當(dāng)一個(gè)RDD計(jì)算前Spark計(jì)算框架會(huì)保證其依賴的所有RDD都完成計(jì)算，從而保證了“exactly-once”的一致性語(yǔ)義。關(guān)于編程模型，SparkStreaming與Spark接口保持基Streaming而言，其單元?jiǎng)t是離散數(shù)據(jù)流。對(duì)于數(shù)據(jù)操作，主要分為5種類型：上下文環(huán)境構(gòu)建，用于管理/共享數(shù)據(jù)流處理過程的執(zhí)行上下文；輸入操作：統(tǒng)一輸入接口，支持多種數(shù)據(jù)源，包括磁盤、網(wǎng)絡(luò)等；轉(zhuǎn)換操作：兼容原始Spark操作符，將離散數(shù)據(jù)流的操作映射到原始RDD操作符，包括map、reduce、groupBy、join等。通過轉(zhuǎn)換操作，應(yīng)用程序可以將一個(gè)或多個(gè)離散數(shù)據(jù)流生成一個(gè)新的離散數(shù)據(jù)流；輸出操作：應(yīng)用程序?qū)?shù)據(jù)保存到外部系統(tǒng)中，例如將額外數(shù)據(jù)流相關(guān)操作，包括窗口函數(shù)，增量聚合等?？偟脕碚f，SparkStreaming提供了一個(gè)可擴(kuò)展的流式規(guī)?？梢詳U(kuò)展至100+個(gè)結(jié)點(diǎn)；與Spark批處理與交互式處理無縫整合；提供簡(jiǎn)單通用的編程接口從而有效提高復(fù)雜算法實(shí)現(xiàn)支持多種實(shí)時(shí)數(shù)據(jù)流：Kafka,Flume,ZeroMQ等等。5)實(shí)時(shí)流式引擎Storm流式處理引擎基于開源ApacheStorm,是一個(gè)分布式、可靠、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。用于對(duì)大規(guī)模流式數(shù)據(jù)提供實(shí)時(shí)處理。Storm有眾多適用場(chǎng)景：實(shí)時(shí)分析、持續(xù)計(jì)算、分適用場(chǎng)景廣泛可伸縮性高保證無數(shù)據(jù)丟失容錯(cuò)性好語(yǔ)言無關(guān)(1)可靠性Storm提供三種級(jí)別的數(shù)據(jù)可靠性：至多一次：處理的數(shù)據(jù)可能會(huì)丟失，但不會(huì)被重復(fù)處理。此情況下，系統(tǒng)吞吐量最大。至少一次：保證數(shù)據(jù)傳輸可靠，但可能會(huì)被重復(fù)處理。此情況下，對(duì)在超時(shí)時(shí)間內(nèi)沒有獲得成功處理響應(yīng)的數(shù)據(jù)，會(huì)在Spout處進(jìn)行重發(fā)，供后續(xù)Bolt再次處理，會(huì)對(duì)性能稍有影響。精確一次：數(shù)據(jù)成功傳遞，不丟失，不冗余處理。此情況下，性能最差。可靠性不同級(jí)別的選擇，需要根據(jù)業(yè)務(wù)對(duì)可靠性的要求來選擇、設(shè)計(jì)。例如對(duì)于一些對(duì)數(shù)據(jù)丟失不敏感的業(yè)務(wù)，可以在業(yè)務(wù)中不考慮數(shù)據(jù)丟失處理從而提高系統(tǒng)性能；而對(duì)于一些嚴(yán)格要求數(shù)據(jù)可靠性的業(yè)務(wù)，則需要使用精確一次的可靠性方案，以確保數(shù)據(jù)被處理且僅被處理一次。(2)高可用性NimbusHA機(jī)制，避免了Storm集群中Nimbus成為單點(diǎn)問題，從而導(dǎo)致集群無法提供Topology的新增及修改。增強(qiáng)了集群可用性(3)容錯(cuò)說明說明該Worker所在節(jié)點(diǎn)上的Supervisor會(huì)重新在法成功啟動(dòng)，則Nimbus會(huì)將該任務(wù)重新分配其他節(jié)點(diǎn)。則該節(jié)點(diǎn)上的所有分配的任務(wù)會(huì)超時(shí)，而Nimbus會(huì)將這些Worker重新分配在該節(jié)點(diǎn)上運(yùn)行的worker,但是會(huì)無法接收新失效角色Worke失效節(jié)點(diǎn)失效sor失效失效角色說明的Worker分配。當(dāng)Supervisor失效時(shí)，集群進(jìn)程。效Nimbus也是無狀態(tài)且快速失效的。當(dāng)主Nimbus失效時(shí)，備Nimbus會(huì)接管，供服務(wù)。具有MPP(大規(guī)模并行處理系統(tǒng))的性能，比其他Hadoop動(dòng)態(tài)數(shù)據(jù)流引擎：基于UDP的高速互聯(lián)網(wǎng)絡(luò)。彈性執(zhí)行引擎：可以根據(jù)查詢大小來決定執(zhí)行查詢使用的節(jié)點(diǎn)及Segment個(gè)數(shù)。分區(qū)。分區(qū)表對(duì)性能有很大幫助，比如你只想訪問最近一個(gè)月的數(shù)據(jù)，查詢只需要掃描最近一個(gè)月數(shù)據(jù)所在分區(qū)。多種UDF(用戶自定義函數(shù))語(yǔ)言支持：java,python,動(dòng)態(tài)擴(kuò)容：動(dòng)態(tài)按需擴(kuò)容，按照存儲(chǔ)大小或者計(jì)算需求，秒級(jí)添加節(jié)點(diǎn)。多級(jí)資源或負(fù)載管理：和外部資源管理器YARN集成；可以管理CPU,Memory資源等；支持多級(jí)資源隊(duì)列；方便的DDL管理接口。支持訪問任何HDFS及其他系統(tǒng)的數(shù)據(jù)：各種HDFS格式 (文本，SequenceFile,Avro,Parquet等等)以及其他外部系統(tǒng)(Hbase等),并且用戶自己可以開發(fā)插件來訪問新的數(shù)據(jù)源。原生的機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘庫(kù)MADLib支持：易于使用及高性能。數(shù)據(jù)格式、訪問等。完善的安全及權(quán)限管理：kerberos;數(shù)據(jù)庫(kù)，表等各個(gè)級(jí)別的授權(quán)管理。支持多種第三方工具：比如Tableau,SAS,較新的ApacheZeppelin等。(其他項(xiàng)目也可以使用)。支持在本地、虛擬化環(huán)境或者在云端部署。7)近實(shí)時(shí)查詢開發(fā)方案Hbase+ES能快速查詢，但是對(duì)于復(fù)雜查詢，尤其分頁(yè)、查詢總數(shù)等，實(shí)現(xiàn)方案浪費(fèi)計(jì)算資源，所以可以針對(duì)Hbase數(shù)據(jù)創(chuàng)建二級(jí)索引(HbaseSecondaryIndexing),供復(fù)雜查詢使用。而ES作為一個(gè)高性能，采用Java5開發(fā)，基于Lucene(同時(shí)對(duì)其進(jìn)行了擴(kuò)展)的全文搜索服務(wù)器，提供了比Lucene更為豐富間工具。在CDH5中的Key-ValueStoreIndexer使用的是LilyHbaseIndexer是一款靈活的、可擴(kuò)展的、高容錯(cuò)的、事務(wù)性的，并且近實(shí)時(shí)的處理Hbase列索引數(shù)據(jù)的分布通過Hbase的replication功能來把這些操作抽象成一系列的Event事件，并用來保證寫入ES中的Hbase索引數(shù)據(jù)的一致性。并且Indexer支持用戶自定義的抽取，轉(zhuǎn)換規(guī)則來索引Hbase列數(shù)據(jù)。ES搜索結(jié)果會(huì)包含用戶自定義的接訪問Hbase的列數(shù)據(jù)。而且Indexer索引和搜索不會(huì)影響Hbase運(yùn)行的穩(wěn)定性和Hbase數(shù)據(jù)寫入的吞吐量，因?yàn)樗饕鼿base負(fù)責(zé)海量數(shù)據(jù)存儲(chǔ)；ES負(fù)責(zé)構(gòu)建索引和提供對(duì)外查詢；Indexer負(fù)責(zé)提供Hbase到ES的索引構(gòu)建。8)圖譜分析引擎(1)知識(shí)構(gòu)建圖譜分析引擎支持用戶根據(jù)不同的業(yè)務(wù)場(chǎng)景或業(yè)務(wù)需求進(jìn)行個(gè)性化的圖譜模型構(gòu)建，用戶不僅可以自定義模型，作，同時(shí)可以對(duì)已經(jīng)定義并公開的圖譜模型，進(jìn)行對(duì)實(shí)體、(2)知識(shí)導(dǎo)入圖譜分析引擎可將存放在數(shù)據(jù)資源湖的數(shù)據(jù)進(jìn)行連通行管理，將可用數(shù)據(jù)源提供至用戶來進(jìn)行圖譜模型的創(chuàng)建。(3)圖譜管理輯修改。(4)知識(shí)利用將當(dāng)前結(jié)果保存為快照，即將圖研分析挖掘草稿進(jìn)行儲(chǔ)存。通過快照入口直接進(jìn)入到保存的圖研狀態(tài)下繼續(xù)進(jìn)行實(shí)體與關(guān)系的挖掘。的數(shù)據(jù)建模需求和可視化展示需求使得行業(yè)數(shù)據(jù)分析深陷泥沼難以自拔。為提升行業(yè)數(shù)據(jù)建模分析的響應(yīng)能力，平臺(tái)融合常用據(jù)進(jìn)行分析。到數(shù)據(jù)分析覆蓋面的拓展，從而實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的快速轉(zhuǎn)型落地，大大提高數(shù)據(jù)分析應(yīng)用的開發(fā)效率，實(shí)現(xiàn)從大數(shù)據(jù)分析由繁至簡(jiǎn)的極致轉(zhuǎn)變。1)建模平臺(tái)圖形化、拖拽式的自助建模平臺(tái)，提供數(shù)據(jù)預(yù)處理、分析、挖掘基礎(chǔ)組件及可視化模板，基于思維的簡(jiǎn)易交互方案，行業(yè)人員可采用拖拽操作的方式，根據(jù)思維、關(guān)注點(diǎn)自主易用的搭建分析模型。用戶不再需要被固定化分析模型所捆綁，即可自主進(jìn)行分析和挖掘，并可利用可視化模板將分析結(jié)果進(jìn)行可視化展示，推送至應(yīng)用集市中提供全行業(yè)的業(yè)務(wù)決策信息化輔助能力。開發(fā)一整套自主搭建的建模工具，將大數(shù)據(jù)分析與圖形化建模體系完美結(jié)合研發(fā)形成大數(shù)據(jù)建模分析系統(tǒng)。建模分析系統(tǒng)將內(nèi)置多種數(shù)據(jù)分析算法進(jìn)行組件化封裝，包含數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、數(shù)據(jù)挖掘及可視化組件，支持圖形化的模型設(shè)計(jì)功能，可直接通過圖形化的組件拖拽方式完成數(shù)據(jù)分析模型的搭建，并通過系統(tǒng)提供的可視化模板將結(jié)果快速以圖形的方式進(jìn)行可視化展示，并開放給全行業(yè)業(yè)務(wù)人員2)建模組建建模平臺(tái)組件庫(kù)分為數(shù)據(jù)組件、行業(yè)組件、算法組件與可視化組件，數(shù)據(jù)組件提供數(shù)據(jù)建模以及ETL功能，可視化組件提供數(shù)據(jù)報(bào)表，圖形化功能。數(shù)據(jù)組件：提供分組、表關(guān)聯(lián)、結(jié)果導(dǎo)出、表合并、類型轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)換、公式、數(shù)據(jù)離散、時(shí)空碰撞等具體數(shù)據(jù)分析工具，模塊化配置，支持基礎(chǔ)的數(shù)據(jù)操作。行業(yè)組件：根據(jù)行業(yè)需求，將基礎(chǔ)的行業(yè)數(shù)據(jù)處理邏輯封裝，避免重操作，加快模型產(chǎn)出。提供分類算法(支持向量機(jī)、邏輯回歸、決策樹，隨機(jī)森林、樸素貝葉斯算法)推薦算法聚類算法集成(Ensembles)學(xué)習(xí)算法等基礎(chǔ)機(jī)器學(xué)習(xí)算法復(fù)雜算法可以在人工智能公共服務(wù)平臺(tái)算法庫(kù)尋求技術(shù)支撐算法支撐工具組件如算法訓(xùn)練、選擇預(yù)測(cè)列模型封裝與模型保存相結(jié)合，支持機(jī)器算法模型產(chǎn)出。可視化組件：提供折線圖、柱狀圖、餅狀圖、散點(diǎn)圖等數(shù)據(jù)基礎(chǔ)可視化展示方式，并提供導(dǎo)出組件可以將分析形成的可視化模型導(dǎo)出保存。3.快速建?？蓪⑼獠繑?shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入到建模平臺(tái)中作為建模數(shù)據(jù)源，基于建模界面的數(shù)據(jù)和組建進(jìn)行組合，通過模型編輯，按照數(shù)據(jù)處理分析的模型搭建策略，快速完成數(shù)據(jù)建模。數(shù)據(jù)速錄：通過選擇數(shù)據(jù)資源湖的數(shù)據(jù)作為建模數(shù)據(jù)源，支持將建模需要的數(shù)據(jù)批量導(dǎo)入、全量更新、增量更新。同時(shí)建模數(shù)據(jù)支持文件導(dǎo)入外部數(shù)據(jù)，擴(kuò)大建模數(shù)據(jù)來源以便于模型的調(diào)優(yōu)。快速建模：通過對(duì)數(shù)據(jù)源和建模組件進(jìn)行邏輯組合，分析組件用來預(yù)處理和分析，算法組建用來構(gòu)建算法模型、算法預(yù)測(cè)，可視化組件包括折線圖、柱狀圖、餅圖、散點(diǎn)圖、熱力地圖等，輸出可視化結(jié)果，快速建模組建支持自定義以豐富創(chuàng)建模型的靈活性。4.模型中心模型創(chuàng)建完成后，支持在模型中心歸類查看，支持模型目錄管理：創(chuàng)建新的目錄(輸入目錄名稱與說明),支持將模型進(jìn)行目錄劃分，支持對(duì)目錄進(jìn)行名稱與說明的編輯。所有模型：會(huì)顯示私有模型的信息，包括創(chuàng)建人、創(chuàng)建時(shí)間、執(zhí)行狀態(tài)、模型狀態(tài)(草稿或已發(fā)布)等，可對(duì)模型5.數(shù)據(jù)預(yù)覽在下方構(gòu)建數(shù)據(jù)預(yù)覽區(qū)域，可以實(shí)時(shí)展示數(shù)據(jù)的總體情況，總條目數(shù)，并提供靈活多變的行篩選機(jī)制，可以通過組合并集和或集進(jìn)行數(shù)據(jù)的精確篩選。針對(duì)字段設(shè)計(jì)，提供大于、小于、包含、范圍等多種工具，精確數(shù)據(jù)展示范圍。且實(shí)時(shí)運(yùn)算的條目數(shù)可以在頁(yè)面展示，且可以選擇具體展示的數(shù)據(jù)條目數(shù)。執(zhí)行日志內(nèi)則展示了模型運(yùn)算的具體狀態(tài)，如果存在異常也會(huì)準(zhǔn)確展示異常的原因。2.1.4數(shù)據(jù)資產(chǎn)湖建設(shè)1.數(shù)據(jù)資產(chǎn)大屏資產(chǎn)大屏包括資產(chǎn)總覽、用戶及操作總覽，內(nèi)容具體展示：整個(gè)開放服務(wù)平臺(tái)用戶相關(guān)操作以及數(shù)據(jù)資產(chǎn)的相關(guān)統(tǒng)計(jì)分析數(shù)據(jù)。包括每日新增注冊(cè)用戶數(shù)、每日登錄用戶數(shù)量、用戶總量、數(shù)據(jù)下載調(diào)用次數(shù)、各部門數(shù)據(jù)被下載調(diào)用量排行、每日新增開放數(shù)據(jù)集數(shù)量及總量、每日新增開放接口量2.數(shù)據(jù)地圖數(shù)據(jù)地圖就是所有被管理好的數(shù)據(jù)的地圖。它可以快速?gòu)暮Ａ繑?shù)據(jù)中定位出我們所需的數(shù)據(jù)，同時(shí)也會(huì)給我們提供數(shù)據(jù)的周邊關(guān)系，即數(shù)據(jù)關(guān)系圖譜。同時(shí)，數(shù)據(jù)地圖也是數(shù)據(jù)資產(chǎn)管理的重要功能之一。1)數(shù)據(jù)全局視圖分別展示外部數(shù)據(jù)源信息、數(shù)據(jù)資產(chǎn)湖數(shù)據(jù)信息和數(shù)據(jù)資源庫(kù)信息，并且展示從外部數(shù)據(jù)源到數(shù)據(jù)資源湖再到數(shù)據(jù)資產(chǎn)湖的數(shù)據(jù)整體流向，展示類別數(shù)目、庫(kù)數(shù)目、表數(shù)目、分別統(tǒng)計(jì)庫(kù)、表、字段、作業(yè)、任務(wù)等數(shù)量。從表數(shù)目和數(shù)據(jù)存儲(chǔ)量的角度展示數(shù)據(jù)倉(cāng)庫(kù)中按月度變化的動(dòng)態(tài)信息，以直觀的圖形化進(jìn)行動(dòng)態(tài)展示。并且可以區(qū)分不同部門或者租戶進(jìn)行統(tǒng)計(jì)。2)數(shù)據(jù)動(dòng)態(tài)分布圖通過多種元數(shù)據(jù)采集和集中管理，基于豐富的元數(shù)據(jù)庫(kù)資源，自動(dòng)生成數(shù)據(jù)資產(chǎn)之間的血緣關(guān)系，方便用戶快速的瀏覽和查詢數(shù)據(jù)，對(duì)數(shù)據(jù)之間的關(guān)系進(jìn)行直觀理解和分析。數(shù)據(jù)動(dòng)態(tài)分布：從表數(shù)目和數(shù)據(jù)存儲(chǔ)量的角度展示數(shù)據(jù)倉(cāng)庫(kù)中按月度變化的動(dòng)態(tài)信息，以直觀的圖形化進(jìn)行動(dòng)態(tài)展示。并且可以區(qū)分不同部門或者租戶進(jìn)行統(tǒng)計(jì)3)數(shù)據(jù)關(guān)系地圖了解所需數(shù)據(jù)與上下游數(shù)據(jù)的關(guān)系，方便對(duì)數(shù)據(jù)血緣和任務(wù)依賴有更直觀展示，方便數(shù)據(jù)業(yè)務(wù)的擴(kuò)展和運(yùn)維。數(shù)據(jù)關(guān)系圖溯源：從某一表出發(fā)，尋找該表依賴的上游表，分析該表的數(shù)據(jù)最初來源來自哪個(gè)業(yè)務(wù)系統(tǒng)或者外部數(shù)據(jù)庫(kù)中的其他表，分析數(shù)據(jù)表對(duì)象在數(shù)據(jù)處理鏈條上的所依數(shù)據(jù)影響分布圖：從某一表出發(fā)，尋找依賴該表的處理過程或其他表，當(dāng)某些表發(fā)生變化或者需要修改時(shí)，評(píng)估實(shí)體影響范圍，分析出一個(gè)數(shù)據(jù)表對(duì)象在數(shù)據(jù)處理鏈條上的所數(shù)據(jù)加工地圖：檢索某個(gè)數(shù)據(jù)項(xiàng)相關(guān)的元數(shù)據(jù)信息，探察該數(shù)據(jù)最后修改時(shí)間，找到和該元素相關(guān)的處理過程及其執(zhí)行時(shí)間，對(duì)該時(shí)間進(jìn)行分析以決定該數(shù)據(jù)的時(shí)間有效性和3.數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)是根據(jù)數(shù)據(jù)資源湖數(shù)據(jù)根據(jù)數(shù)據(jù)中臺(tái)進(jìn)行模型加工和計(jì)算分析，經(jīng)過政府負(fù)面清單進(jìn)行規(guī)則加工和過濾，生成數(shù)據(jù)湖資產(chǎn)數(shù)據(jù)集。加工完成的數(shù)據(jù)資產(chǎn)，通過管理賬號(hào)發(fā)布后數(shù)據(jù)集被發(fā)布到數(shù)據(jù)開放平臺(tái)，開放給社會(huì)面高校、高精企業(yè)、數(shù)字創(chuàng)新實(shí)驗(yàn)室的專題數(shù)據(jù)集資產(chǎn)。效支撐全市數(shù)字產(chǎn)業(yè)化創(chuàng)新。1)數(shù)據(jù)資產(chǎn)集數(shù)據(jù)資產(chǎn)集是基于數(shù)據(jù)資源湖基礎(chǔ)庫(kù)和各類專題庫(kù)通過數(shù)據(jù)中臺(tái)計(jì)算分析而來。數(shù)據(jù)資產(chǎn)集包括了基礎(chǔ)數(shù)據(jù)集、部委辦局及其他各類主題數(shù)據(jù)集，還包括了按照城市運(yùn)營(yíng)特色沉淀出的特色主題庫(kù)。(一)基礎(chǔ)數(shù)據(jù)集基礎(chǔ)數(shù)據(jù)集包括了XX市人口基礎(chǔ)數(shù)據(jù)、法人基礎(chǔ)數(shù)據(jù)、電子證照基礎(chǔ)數(shù)據(jù)、信用信息庫(kù)基礎(chǔ)數(shù)據(jù)、宏觀經(jīng)濟(jì)基礎(chǔ)數(shù)據(jù)。不涉及國(guó)家安全、商業(yè)秘密和個(gè)人隱私的XX市政府?dāng)?shù)據(jù)資源，只要不是不可開放的，盡量都向社會(huì)開放?；A(chǔ)數(shù)據(jù)集可以通過類型區(qū)分，通過數(shù)據(jù)領(lǐng)域進(jìn)行標(biāo)簽化。對(duì)于加工完成的數(shù)據(jù)集，完成數(shù)據(jù)質(zhì)量校驗(yàn)后，通過管理賬號(hào)發(fā)布后數(shù)據(jù)集被發(fā)布到數(shù)據(jù)開放服務(wù)平臺(tái)，進(jìn)而供社會(huì)企業(yè)和個(gè)人獲取使用。(二)主題數(shù)據(jù)集主體數(shù)據(jù)集市包括了市各委辦局主題數(shù)據(jù)、商業(yè)主題數(shù)據(jù)、網(wǎng)絡(luò)輿情主題數(shù)據(jù)、公共底座主題數(shù)據(jù)。不涉及國(guó)家安全、商業(yè)秘密和個(gè)人隱私的XX市政府?dāng)?shù)據(jù)資源，只要不是不可開放的，盡量都向社會(huì)開放。主題數(shù)據(jù)集可以通過委辦局部門、類型區(qū)分，通過數(shù)據(jù)領(lǐng)域進(jìn)行標(biāo)簽化。對(duì)于加工完成的數(shù)據(jù)集，完成數(shù)據(jù)質(zhì)量校驗(yàn)后，通過管理賬號(hào)發(fā)布后數(shù)據(jù)集被發(fā)布到數(shù)據(jù)開放服務(wù)平臺(tái)，進(jìn)而供社會(huì)企業(yè)和個(gè)人獲取使用。(三)特色主題集通過對(duì)數(shù)據(jù)資產(chǎn)湖的城市基礎(chǔ)庫(kù)、商業(yè)數(shù)據(jù)基礎(chǔ)庫(kù)、部門專題庫(kù)、公共底座專題庫(kù)、網(wǎng)絡(luò)爬取專題庫(kù)等數(shù)據(jù)清洗、加工、匯總、計(jì)算和分析，按照城市運(yùn)營(yíng)特色，沉淀出21類主題庫(kù)，具體包括：2)負(fù)面數(shù)據(jù)資產(chǎn)集數(shù)據(jù)集。(一)負(fù)面基礎(chǔ)數(shù)據(jù)集(二)負(fù)面主題數(shù)據(jù)集負(fù)面主體數(shù)據(jù)集的主要數(shù)據(jù)來源為市各委辦局主題數(shù)量校驗(yàn)后，供特定部門和專屬人員調(diào)取，不像社會(huì)面開放。(三)負(fù)面特色主題集和分析，按照城市運(yùn)營(yíng)特色，沉淀出12類特色主題庫(kù)數(shù)據(jù)。負(fù)面特色主題數(shù)據(jù)集可以通過委辦局部門、類型區(qū)分，3)數(shù)據(jù)資產(chǎn)目錄(1)數(shù)據(jù)資產(chǎn)自動(dòng)編目(2)數(shù)據(jù)資源目錄存儲(chǔ)數(shù)據(jù)處理平臺(tái)的元數(shù)據(jù)目錄統(tǒng)一存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)(3)數(shù)據(jù)集目錄定義和抽取加工計(jì)算分析過程中，通過對(duì)元數(shù)據(jù)的分析定數(shù)據(jù)集目錄。一管理。(4)資產(chǎn)數(shù)據(jù)集目錄管理4)數(shù)據(jù)資產(chǎn)管控?cái)?shù)據(jù)管控功能是數(shù)據(jù)由資產(chǎn)湖向數(shù)據(jù)開放服務(wù)平臺(tái)遷移的流程和質(zhì)量管控措施。只有加工完成且數(shù)據(jù)質(zhì)量達(dá)標(biāo)的數(shù)據(jù)集才能將加工好的數(shù)據(jù)集發(fā)布到數(shù)據(jù)開放服務(wù)平臺(tái)。數(shù)據(jù)質(zhì)量管控：通過對(duì)數(shù)據(jù)中臺(tái)加工、匯總、計(jì)算和分析生成的數(shù)據(jù)資產(chǎn)集監(jiān)控，首先判定數(shù)據(jù)集加工完成且數(shù)據(jù)集加工鏈路狀態(tài)無