醫(yī)養(yǎng)結合大數(shù)據(jù)平臺建設方案目錄AGENDA0102需求分析信息化方案03項目頂層設計總覽0404智能化方案0405案例06進度規(guī)劃和價格預估01需求分析01桃園頤養(yǎng)中心采用“互聯(lián)網(wǎng)+智慧養(yǎng)老”模式，基于“5G智能”和NB-IOT技術，融合云計算、大數(shù)據(jù)、移動互聯(lián)網(wǎng)等最前沿信息技術產(chǎn)品，通過采集和分析人體體征、整合臨床數(shù)據(jù)、以及室內(nèi)外環(huán)境等數(shù)據(jù)，實現(xiàn)權威的體檢中心、健康管理中心、康復理療中心、養(yǎng)老服務中心之間的信息互聯(lián)互通和分析處理。為老人提供遠程護理、遠程會診、安全報警等智能化服務，真正實現(xiàn)數(shù)字化、網(wǎng)絡化、智能化健康養(yǎng)老。減少人員的投入，用技術手段實現(xiàn)智能化看護、養(yǎng)護服務。

建立一站式大健康管理全息體系，打造國家級醫(yī)養(yǎng)結合一體化養(yǎng)老示范基地。01項目目標數(shù)據(jù)沉淀算法優(yōu)化01衛(wèi)建委對社區(qū)養(yǎng)老的定位幫助桃園頤養(yǎng)社區(qū)，打造人工智能的輔助診療平臺，提高基層醫(yī)生的診斷水平小病善治大病善辨急病善轉(zhuǎn)慢病善管智能醫(yī)養(yǎng)結合定位醫(yī)生診斷與當?shù)卣献?，走訪專家，社區(qū)醫(yī)院的醫(yī)生，制定適合當?shù)氐募膊》诸悩藴蕦τ诓煌募膊》诸?，給予不同的輔助診療建議信息化和流程化管理，減少人工的干預和過多參與患者就診輔助診療平臺小病疾病診斷疾病診療建議大病疾病診斷急病與120打通，未入院提前診斷，應對措施指南疾病診斷慢病長期慢病管理轉(zhuǎn)診患者全生命周期管理和追蹤患者信息癥狀&病史01數(shù)據(jù)整合的云平臺打通各個合作單位的系統(tǒng)和數(shù)據(jù)平臺，形成統(tǒng)一的大數(shù)據(jù)中心通過系統(tǒng)的直接數(shù)據(jù)對接，或者用戶授權的方式來獲取個體和群體的健康數(shù)據(jù)和檔案利用中心平臺來實現(xiàn)各數(shù)據(jù)孤島的整合，建立全面的個體健康檔案管理和群體健康監(jiān)控系統(tǒng)123醫(yī)養(yǎng)一體化長者公寓，康復中心、體檢中心、護理醫(yī)院、老年病?？漆t(yī)院的運營管理面向院內(nèi)及院外會員的慢病和健康管理高端外部醫(yī)療資源的協(xié)同及管理客戶關系管理會員制養(yǎng)老看護平臺高端體檢服務高端診療就診平臺45基于5G和物聯(lián)網(wǎng)的智慧醫(yī)療及老年看護綜合管控老人/親屬、醫(yī)生及機構工作人員的溝通管理醫(yī)養(yǎng)結合云平臺01需求分析以體檢為基礎，健康管理為服務的醫(yī)養(yǎng)平臺互聯(lián)網(wǎng)醫(yī)療平臺智慧醫(yī)療大數(shù)據(jù)平臺01醫(yī)養(yǎng)社區(qū)運營的變革降低人力投入成本內(nèi)外部快速響應提升人員工作效率通過技術優(yōu)勢，減少人員投入減少總的服務人員數(shù)量利用技術，提升人員更高效工作讓工作人員能夠充分了解在正確的時間、趕到正確的地點、提供正確的服務人機協(xié)同，形成和外部的整體快速響應，實現(xiàn)全面的養(yǎng)老看護分級服務、分級響應、有機協(xié)同02項目頂層設計總覽醫(yī)養(yǎng)結合的路徑021體制機制構建以服務人群為導向以服務需求為基礎以服務內(nèi)容為支撐對服務人群進行評估和分級管理對服務機構加以實施監(jiān)管養(yǎng)老機構和醫(yī)療機構近距離規(guī)劃，簽訂合作協(xié)議推進養(yǎng)老機構建設醫(yī)療機構，醫(yī)療水平至少達到一級醫(yī)院以上構建智能養(yǎng)老信息化平臺建設老人信息數(shù)據(jù)庫智能健康、智能監(jiān)護構建區(qū)域健康管理信息平臺高端醫(yī)療資源平臺對接遠程醫(yī)療遠程智能健康管理建立老人評估指標體系建立服務質(zhì)量評價指標系統(tǒng)2優(yōu)化模式構建3信息構建4評估、評價指標體系醫(yī)療機構的信息化建設在不斷升級02

實時地進行

感知、分析、和行動車聯(lián)網(wǎng)虛擬現(xiàn)實物聯(lián)網(wǎng)移動互聯(lián)網(wǎng)自然語言處理HIS系統(tǒng)人工智能邊緣計算人臉識別物流流程管理智慧醫(yī)院醫(yī)療冷鏈應急預案管理系統(tǒng)臨床系統(tǒng)醫(yī)養(yǎng)結合醫(yī)院的系統(tǒng)02醫(yī)養(yǎng)結合一體兩翼依托雙中心在管理上醫(yī)養(yǎng)一體化，建立緊密的醫(yī)療協(xié)作關系，從而實現(xiàn)醫(yī)療體系為養(yǎng)老體系提供包括診療、慢病防治等在內(nèi)的可靠的醫(yī)療服務支撐。自理老人半自理老人失能老人遠程診療醫(yī)療/康復服務健康管理居家照護：服務延伸至社區(qū)

健康管理：醫(yī)療照護

養(yǎng)老基礎服務診療中心康復中心體檢中心長者公寓醫(yī)養(yǎng)一體

膳食中心：營養(yǎng)管理

快樂生活：幸福管理02醫(yī)養(yǎng)一體分級診療延伸社區(qū)02醫(yī)養(yǎng)數(shù)據(jù)的價值和發(fā)展人機學習+小數(shù)據(jù)開放云平臺+大數(shù)據(jù)全面健康智能平臺完成個人或家庭的健康“軌跡”報告通過數(shù)據(jù)累積，特征學習算法逐步清晰化個人的健康“畫像”，完成疾病預防的預測模型不斷豐富數(shù)據(jù)維度和精度，通過強化學習實現(xiàn)主動、自我完善的智能平臺通過數(shù)據(jù)中心的病例庫對標準算法有精確地驗證200+萬病例，20億的事例和每個患者的4000數(shù)據(jù)點選取真實病例進行驗證02構建基于桃園頤養(yǎng)社區(qū)的群體健康體系大數(shù)據(jù)存儲和管理平臺分布式文件系統(tǒng)HDFS表存儲HIVE列存儲HBASE非結構化數(shù)據(jù)存儲結構化數(shù)據(jù)存儲元數(shù)據(jù)Meta半結構化數(shù)據(jù)存儲群體健康應用平臺數(shù)據(jù)應用Web前端應用移動端應用客戶應用個人客戶企業(yè)客戶愛康體系推薦引擎智能分析醫(yī)療知識圖譜構建與智能分析平臺圖譜構建實體抽取實體融合關系學習動態(tài)更新圖譜存儲Neo4jNLP引擎ML引擎群組挖掘聚類分析預測模型語義理解智能問答關系挖掘體系構建03智慧醫(yī)療方案03信息化的目標一體的管理體系支撐完整的服務體系支撐人工智能的專業(yè)業(yè)務體系支撐打造養(yǎng)老機構、醫(yī)療機構、服務機構一體化的管理體系支撐涵蓋健康管理、養(yǎng)老、醫(yī)療、居家服務等全流程的服務體系專業(yè)化的養(yǎng)老、醫(yī)療業(yè)務體系03人工智能算法模型分析諸多健康相關的數(shù)據(jù)源（癥狀、疾病歷史、身體條件等），特征學習和權重分析這些數(shù)據(jù)的關聯(lián)性和影響程度。整合各類數(shù)據(jù)，精度和效率完全超越人類醫(yī)生，實現(xiàn)真正實時的健康關懷，未病先干預。數(shù)據(jù)源臨床數(shù)據(jù)運動數(shù)據(jù)飲食習慣體檢數(shù)據(jù)工作環(huán)境過敏源疫苗家庭病史體質(zhì)評估心理健康AI數(shù)據(jù)整合AI風險預測AI干預管理疾病風險提示專科檢查建議健康改善建議持續(xù)跟蹤評估03健康數(shù)據(jù)的關聯(lián)性運算03利用人工智能手段快速給出診斷和治療建議數(shù)據(jù)層處理服務實體

養(yǎng)老公寓康復中心體檢中心診療中心健康管理中心統(tǒng)一的服務入口健康管理平臺健康檔案健康監(jiān)測健康評估健康指導設備管理數(shù)據(jù)采集養(yǎng)老服務平臺會員管理養(yǎng)老服務系統(tǒng)服務商管理預約受理工單評價安全監(jiān)護系統(tǒng)居家監(jiān)護移動監(jiān)護養(yǎng)老公寓運營平臺基礎功能營銷管理

入住管理

服務管理運營管理財務管理報表管理聯(lián)網(wǎng)報警管理平臺系統(tǒng)養(yǎng)老社區(qū)會員管理系統(tǒng)電子商務平臺客戶關系管理照護/康復服務照護/康復評估照護/康復計劃照護/康復任務工作計劃遠程醫(yī)療系統(tǒng)遠程醫(yī)療信息共享系統(tǒng)遠程視頻通訊系統(tǒng)慢病管理慢病篩查系統(tǒng)糖尿病慢病管理睡眠管理系統(tǒng)慢病管理系統(tǒng)AI輔助診療系統(tǒng)展示中心指揮調(diào)度中心運營調(diào)度（呼叫中心座席）集中展示智慧養(yǎng)老樣板間專業(yè)的業(yè)務系統(tǒng)互聯(lián)網(wǎng)門戶微信/APP呼叫中心自助查詢機03系統(tǒng)架構統(tǒng)一標準數(shù)據(jù)客戶信息數(shù)據(jù)庫

健康檔案數(shù)據(jù)庫

電子病歷志愿者數(shù)據(jù)庫

RESTAPI持續(xù)在線服務匹配和合并分布化流程關聯(lián)和聚合標準化/富集化排列/分類/集群趨勢和預測搜索/發(fā)現(xiàn)/協(xié)同03桃園頤養(yǎng)的會員服務體系利用人工智能提供精準增值服務群體用戶個體用戶高端會員搭建智能體檢、問診、導醫(yī)、健康管理、精準營銷平臺各分院健康服務產(chǎn)品的布局與優(yōu)化重大陽性隨訪、熱線醫(yī)生、銷售等醫(yī)療管理協(xié)作平臺定制個體化的體檢項目/套餐，以及保險與保費方案推送個體化的健康管理信息（健康資訊、飲食方案、運動方案等）智能解讀體檢報告，疾病風險預測，全面升級優(yōu)化個檢報告銜接日常健康信息（生理指標、睡眠、行為等）監(jiān)測，實現(xiàn)智能健康干預團檢報告、HR平臺、行業(yè)白皮書的多維度自動展示定制化的行業(yè)（大客戶）健康解決方案群體性的康健計劃和附加服務03健康云服務平臺健康管理服務自動關聯(lián)算法自動給出建議自動輔助安排養(yǎng)護服務03慢病管理-慢病篩查系統(tǒng)健康管理信息平臺健康管理平臺醫(yī)療衛(wèi)生資源生活服務資源政府社區(qū)資源資源匯聚整合各類資源健康云服務平臺安康監(jiān)護系統(tǒng)健康服務系統(tǒng)大數(shù)據(jù)分析系統(tǒng)主動關懷系統(tǒng)信息管理系統(tǒng)健康生活館醫(yī)療檢測設備運動康復設備按摩理療設備居家監(jiān)測設備獨居老人安全監(jiān)測慢病數(shù)據(jù)監(jiān)測睡眠數(shù)據(jù)監(jiān)測老人防走失設備呼叫中心養(yǎng)老信息化平臺老人信息數(shù)據(jù)庫基礎設施數(shù)據(jù)庫服務商管理系統(tǒng)服務管理系統(tǒng)統(tǒng)計報表系統(tǒng)0303護理院/衛(wèi)生服務中心信息平臺公共衛(wèi)生服務康復護理管理家庭醫(yī)生管理服務醫(yī)院基礎管理系統(tǒng)（HIS）智能化電子病歷實驗室信息管理系統(tǒng)（LIS）醫(yī)學影像管理系統(tǒng)（PACS）03遠程醫(yī)療管理平臺03公共服務平臺服務通過APP、互聯(lián)網(wǎng)門戶、自助查詢機等多種方式提供給居家或在院的老年人，以及老年人的家屬。WEB門戶APP微信公眾號自助查詢機手機端個性化報告03展示中心03大數(shù)據(jù)平臺-園區(qū)醫(yī)療管理03大數(shù)據(jù)平臺-個體健康分析03大數(shù)據(jù)平臺-專業(yè)疾病分析03大數(shù)據(jù)平臺-基因檢測報告03一體化的管理所有的業(yè)務運行、運營狀況、基礎設施設備等均可以在一個入口進行查看、管理，支持移動端、網(wǎng)頁端、大屏等展現(xiàn)方式035G技術的支持和應用遠程醫(yī)療遠程健康監(jiān)控遠程問診醫(yī)學傳感器醫(yī)學穿戴設備遠程診療、專家會診醫(yī)療傳感器連接到多個節(jié)點，實現(xiàn)網(wǎng)絡連接高可靠性安全共享

生物特征數(shù)據(jù)03知識圖譜結構病癥和病理關聯(lián)（1715條）癥狀表現(xiàn)（418條）臨床病種（72種）全科分類（12類）Calculator的功能Actions的功能Questions

的功能Module&Reports的功能Answers的功能知識結構模型機器學習算法03實時的關聯(lián)性分析，指導性預測大數(shù)據(jù)分析和管理平臺數(shù)據(jù)可用性和可訪問性：高級數(shù)據(jù)可視化直觀的最終用戶應用程序洞察力和預測電子健康報告和疾病管理疾病預測和控制健康指導和運動建議慢病管理和實時監(jiān)控CompanyLogisticsConsultantsClientsSuppliersVendorsAgenciesEmployees現(xiàn)場用戶桃園養(yǎng)老管理平臺管理人員從各類系統(tǒng)收集的數(shù)據(jù)第三方的臨床數(shù)據(jù)或者體檢數(shù)據(jù)穿戴設備或者醫(yī)療設備數(shù)據(jù)即服務數(shù)據(jù)驅(qū)動的應用03基于實時數(shù)據(jù)的人工智能預診模型患者錄入基本屬性疾病信息歷史病例人工智能分析健康評估疾病預測治療建議就醫(yī)建議患者選擇就醫(yī)科室推薦就診時間確認患者信息同步到EMR患者選擇自我管理可穿戴設備錄入日常健康指導日常健康記錄醫(yī)生工作準備預知患者病情高效問診醫(yī)生診斷結合綜合健康狀況評估結合病史診斷結果錄入EMR，并同步到分析平臺患者端分析平臺患者端醫(yī)生端患者端患者長期健康管理幫助桃園頤養(yǎng)，打造人工智能的預診平臺，實現(xiàn)未病先防、預先干預04實時醫(yī)養(yǎng)管理方案04基于人工智能圖譜的醫(yī)養(yǎng)平臺04實時觸發(fā)快速響應在邊緣設備上

進行事件處理主平臺運行在云端

或者本地服務器上對外部資源

進行關聯(lián)整合自動讓人或者

機器實時響應智能交互平臺–讓系統(tǒng)和人無縫對接04技術上包括：視頻、手機、地理空間、云（電子病例）、傳統(tǒng)病例系統(tǒng)、報警和參與預警：病人的優(yōu)先級、藥物依賴性、120急救降低人員培訓成本和看護頻次，實現(xiàn)人機互動和醫(yī)護人員的實時響應對老人情況的實時感知和響應04更新實時的監(jiān)控儀表板一切正常痛苦的、

致命的征兆積極的警示和介入治療無明確征兆...利用預診模型，建立早期預防和干預系統(tǒng)自動觸發(fā)，減少人工監(jiān)控04運作流程實例心動過速當前病人的狀況從心跳感應器獲取信息根據(jù)消息激活規(guī)則檢測病人警告手機應用文字推送疾病預測模型Source源Rules規(guī)則Type態(tài)Rule規(guī)則Situation場景Rule規(guī)則Collaboration協(xié)作系統(tǒng)幫助人員來實現(xiàn)實時護理04實時的智能數(shù)據(jù)驅(qū)動引擎移動設備大數(shù)據(jù)本地部署的平臺云服務桌面端邊緣設備1：病人監(jiān)護監(jiān)測門診病人的健康狀況確定干預的要點減少重復入院率，避免財務影響2：精準醫(yī)學持續(xù)評估病人的進展使用真實世界證據(jù)對治療途徑進行個性化修改3：庫存和供應鏈管理管理和跟蹤高價值的醫(yī)療設備自動庫存控制/需求預測設備供應商使用實時使用數(shù)據(jù)來改進產(chǎn)品-并提高交付到護理點的效率智能化支持現(xiàn)場及時診斷04醫(yī)療設備醫(yī)療設備

管理和連接臨床現(xiàn)場醫(yī)生管理用品和設備智能調(diào)度如：派單看護醫(yī)生增強現(xiàn)實情景型智能-醫(yī)療大數(shù)據(jù)平臺關聯(lián)性智能臨床服務

智能1、資產(chǎn)/病人警報-病例/工作單2、現(xiàn)場臨床醫(yī)師日程安排3、病例更新回饋系統(tǒng)和人員5.臨床醫(yī)生到達，攜帶平板電腦，同時獲得安裝支持6.給臨床醫(yī)師更新病例狀態(tài)背景，指示行動/參與規(guī)劃患者4、現(xiàn)場臨床醫(yī)生到位時通知患者。HIS系統(tǒng)智慧分級服務–降低人工、提升效率04醫(yī)生專人服務?？浦笇?護理數(shù)據(jù)平臺專業(yè)看護/健康顧問人機協(xié)作健康助理專家預約體檢提醒群體目標回訪邀請醫(yī)護營銷中心健康建議訂立時間手機端全自動維護人機協(xié)作知識庫+AI算法自動分類服務管理人員自動篩查高服務級別低智慧分級服務方式服務類別控制人員規(guī)模健康管理平臺全智能模式05案例商業(yè)模式：

高端養(yǎng)老機構+健康管理中心。

功能分區(qū)：

低區(qū)設立為康復，護理門診服務區(qū)域以及護理院；

中區(qū)長者公寓；

頂層為高端老年有氧健身活動區(qū)域及老年公寓配套服務區(qū)域；

入住對象：

養(yǎng)老剛需群體及以有養(yǎng)老需求的高凈值人群為目標客群。

目標：“醫(yī)康養(yǎng)”結合的養(yǎng)老、醫(yī)療、護理新模式特色：養(yǎng)老+專業(yè)護理養(yǎng)老+嵌入式高端醫(yī)療機構：曙光鴻泰老年?？漆t(yī)院養(yǎng)老地產(chǎn)類項目05醫(yī)養(yǎng)結合類項目國家級三級甲等醫(yī)院、四川省中醫(yī)藥科學院附屬醫(yī)院，是省、市、區(qū)基本醫(yī)療保險及商業(yè)醫(yī)療保險定點醫(yī)療機構。四川省中西醫(yī)結合醫(yī)院四川省重點醫(yī)養(yǎng)結合試點項目。實現(xiàn)醫(yī)養(yǎng)結合的總體規(guī)劃目標，充分發(fā)揮醫(yī)院在社會養(yǎng)老中的支柱保障作用，建設頤養(yǎng)中心、智慧養(yǎng)老、物聯(lián)網(wǎng)生理監(jiān)測終端3個軟件平臺。0505醫(yī)養(yǎng)結合類項目某地醫(yī)養(yǎng)結合老年健康社區(qū)正在規(guī)劃整個項目的頂層設計和運營模式，包括弱電智能化，健康云服務平臺、養(yǎng)老服務平臺、養(yǎng)老社區(qū)運營平臺、護理院/衛(wèi)生服務中心信息化平臺等醫(yī)養(yǎng)一體整體解決方案。國內(nèi)第一個通過綠色三星級認證的醫(yī)院總建筑面積20885平方米，包括養(yǎng)老院和社區(qū)衛(wèi)生服務中心兩部分，其中養(yǎng)老院設置床位450床，為進一步完善該地區(qū)配套養(yǎng)老、醫(yī)療設施，為社會居民、老齡人口提供可靠優(yōu)質(zhì)的服務。05醫(yī)養(yǎng)結合類項目長春養(yǎng)老服務整體建設主要包括市級醫(yī)養(yǎng)一體云服務平臺建設和護理院托管服務。預計投資9億元，基于“1+9+N”模式，在長春建設1個市級養(yǎng)護一體機構加9個區(qū)域性養(yǎng)護一體機構，并將康復護理和五助服務延伸至379個社區(qū)日照中心！05養(yǎng)老服務商類項目泰州“德叔叔”社區(qū)居家養(yǎng)老包括智慧養(yǎng)老信息化管理平臺，52個日間照料中心健康管理，社區(qū)運營模式輸出。實現(xiàn)泰州某區(qū)域的社區(qū)居家智慧養(yǎng)老建設和運營。綠色智慧醫(yī)院0506進度規(guī)劃及服務06項目進度規(guī)劃項目的需求調(diào)研項目的具體項目規(guī)劃第三方系統(tǒng)和設備數(shù)據(jù)對接方案數(shù)據(jù)分析模型大數(shù)據(jù)監(jiān)控和呈現(xiàn)手機端的開發(fā)要求9月10月11月12月1月2月3月4月5月6月7月8月系統(tǒng)的設計和開發(fā)分析模型和知識庫的本地化和設計數(shù)據(jù)接口的標準化開發(fā)第三方服務接口的打通和準備數(shù)據(jù)源的采集、對接、整理和結構化數(shù)據(jù)分析的呈現(xiàn)設計、UI交互設計數(shù)據(jù)的生命周期管理和開發(fā)項目的開發(fā)、實施產(chǎn)品的初期驗證和交付數(shù)據(jù)的標準化、協(xié)同和整合大數(shù)據(jù)平臺的原型驗證大數(shù)據(jù)監(jiān)控管理平臺的功能驗證整體數(shù)據(jù)平臺的交付使用和穩(wěn)定性人-機協(xié)同的場景測試和交付AI數(shù)據(jù)模型的驗證和交付平臺的項目規(guī)劃

數(shù)據(jù)源的調(diào)研項目實施和開發(fā)項目的交付和驗收06項目交付后服務本地化部署費用：0中移動云平臺云架構部署分層數(shù)據(jù)管理系統(tǒng)升級費用：0系統(tǒng)的升級數(shù)據(jù)庫+軟件升級數(shù)據(jù)接口升級維護保障支持費用：1500元/人*天云平臺的維護系統(tǒng)運行環(huán)境的維護數(shù)據(jù)的備份/容災設備對接開發(fā)費用：3500元/人*天硬件設備數(shù)據(jù)對接數(shù)據(jù)庫數(shù)據(jù)對接特殊一起設備的對接定制功能開發(fā)費用：5000元/人*天定制功能的再開發(fā)功能/數(shù)據(jù)結構的定制人員培訓費用：0系統(tǒng)的使用培訓平臺的維護培訓定制開發(fā)的指導培訓Thankyou分享合作創(chuàng)造園區(qū)園區(qū)大數(shù)據(jù)治理解決方案目錄CONTENTS1園區(qū)大數(shù)據(jù)治理綜述2園區(qū)大數(shù)據(jù)治理總體架構3園區(qū)大數(shù)據(jù)治理演進路線4園區(qū)大數(shù)據(jù)治理建設實施5園區(qū)大數(shù)據(jù)治理治理目錄CONTENTS1園區(qū)大數(shù)據(jù)治理綜述智慧園區(qū)分析類應用建設現(xiàn)狀基本分析智慧園區(qū)是綜合運用以物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)和移動互聯(lián)網(wǎng)等為代表的現(xiàn)代科學技術和手段，是集高端發(fā)展的網(wǎng)絡化、信息化、智能化和現(xiàn)代化于一體的智慧園區(qū)，是以智慧管理、智慧產(chǎn)業(yè)、智慧民生等為重要內(nèi)容的園區(qū)發(fā)展的新模式。智慧管理、智慧產(chǎn)業(yè)、智慧民生三大工程助力智慧園區(qū)建設。智慧園區(qū)智慧園區(qū)分析類應用建設現(xiàn)狀基本分析智慧園區(qū)分析類應用建設現(xiàn)狀基本分析智慧園區(qū)分析類應用建設現(xiàn)狀基本分析全面物聯(lián)充分整合協(xié)同運作激勵創(chuàng)新即智能傳感設備將園區(qū)公共設施物聯(lián)成網(wǎng)。物聯(lián)網(wǎng)與互聯(lián)網(wǎng)系統(tǒng)完全對接融合。園區(qū)的各個關鍵系統(tǒng)和參與者進行和諧高效地協(xié)作。園區(qū)、企業(yè)在智慧基礎設施之上進行科技和業(yè)務的創(chuàng)新應用。大數(shù)據(jù)服務內(nèi)容大數(shù)據(jù)全鏈路解決方案產(chǎn)業(yè)融合數(shù)據(jù)規(guī)劃硬件體系智慧運營數(shù)據(jù)中臺的開發(fā)與部署數(shù)據(jù)治理數(shù)據(jù)鏈接數(shù)據(jù)資產(chǎn)化數(shù)據(jù)挖掘大數(shù)據(jù)產(chǎn)品的開發(fā)及應用智慧展廳智慧園區(qū)企業(yè)服務人工智能數(shù)據(jù)產(chǎn)業(yè)運營支持大數(shù)據(jù)產(chǎn)業(yè)研究傳統(tǒng)產(chǎn)業(yè)促進人才培養(yǎng)技術創(chuàng)新邏輯關系感知層手機呼叫中心無線網(wǎng)絡攝像頭傳感器網(wǎng)絡internet平臺層系統(tǒng)層應用層游客管理系統(tǒng)智慧展廳企業(yè)畫像園區(qū)管理企業(yè)服務行業(yè)監(jiān)測企業(yè)服務系統(tǒng)幸福園區(qū)APP一個數(shù)據(jù)平臺五大業(yè)務應用三大工作步驟一套硬件體系數(shù)據(jù)治理數(shù)據(jù)資產(chǎn)化數(shù)據(jù)產(chǎn)品化一個數(shù)據(jù)平臺：數(shù)據(jù)中臺數(shù)據(jù)治理數(shù)據(jù)管理數(shù)據(jù)模型算法服務數(shù)據(jù)產(chǎn)品1、對于一個智慧園區(qū)或者產(chǎn)業(yè)園區(qū)來講，肯定包含了很多的系統(tǒng)，如：停車系統(tǒng)，企業(yè)服務系統(tǒng)、政務系統(tǒng)、網(wǎng)站、APP等等，這些系統(tǒng)所產(chǎn)生的數(shù)據(jù)需要有統(tǒng)一的數(shù)據(jù)中臺來進行管理；2、通過業(yè)務對中臺的字滋養(yǎng)，可以培育產(chǎn)生新的業(yè)務，培養(yǎng)新的人才數(shù)據(jù)應用架構第三方數(shù)據(jù)各管理系統(tǒng)、園區(qū)APP等企業(yè)數(shù)據(jù)C端數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)管理后臺數(shù)據(jù)流動數(shù)據(jù)過程數(shù)據(jù)數(shù)據(jù)Minpping數(shù)據(jù)清洗數(shù)據(jù)歸一智慧園區(qū)標簽類目體系（初擬）服務引擎可視化組件項目信息智能設備物業(yè)公司入駐企業(yè)消費者投資者物業(yè)服務企業(yè)服務員工服務投資者服務網(wǎng)絡輿情供應鏈網(wǎng)絡數(shù)據(jù)………IBMS交通探針wifi安防通訊能耗管理建筑設備全壽命管理智慧交通智慧安防中央控制中心第三方應用應用1應用2應用3應用n數(shù)據(jù)采集層數(shù)據(jù)中臺數(shù)據(jù)應用層…企業(yè)監(jiān)管企業(yè)服務可視化應用員工服務……能耗設施設備物聯(lián)網(wǎng)數(shù)據(jù)旅游數(shù)據(jù)政務數(shù)據(jù)文化體育產(chǎn)業(yè)服務企業(yè)服務智慧園區(qū)智慧生態(tài)鏈

執(zhí)法監(jiān)督智慧旅游行業(yè)發(fā)展信用融資智慧招商智慧教育設備預警智慧交通企業(yè)風控智慧物管員工服務智慧展廳

創(chuàng)新引導智慧安防能耗管理智慧體育智慧園區(qū)智慧政務智慧管理智慧產(chǎn)業(yè)智慧服務大數(shù)據(jù)對園區(qū)的意義

實現(xiàn)由智能化到智慧化的轉(zhuǎn)變?yōu)閳@區(qū)園區(qū)提供大數(shù)據(jù)管理模式大數(shù)據(jù)為企業(yè)提供全生命周期的服務構建園區(qū)與產(chǎn)業(yè)之間的大數(shù)據(jù)生態(tài)體系業(yè)務數(shù)據(jù)化：數(shù)據(jù)來源系統(tǒng)集成平臺數(shù)據(jù)門禁信息數(shù)據(jù)、車輛管理信息數(shù)據(jù)、探針數(shù)據(jù)、WIFI信息數(shù)據(jù)、攝像頭數(shù)據(jù)、電梯運行數(shù)據(jù)、能耗數(shù)據(jù)、刷卡數(shù)據(jù)、設備使用數(shù)據(jù)、硬件設備日志、智能化數(shù)據(jù)等等平臺系統(tǒng)數(shù)據(jù)商務數(shù)據(jù)、企業(yè)基礎服務數(shù)據(jù)、繳費數(shù)據(jù)、政策數(shù)據(jù)、商旅數(shù)據(jù)、接待數(shù)據(jù)、設備使用數(shù)據(jù)、企業(yè)活動數(shù)據(jù)、企業(yè)裝修信息，園區(qū)消費者信息、日常生活數(shù)據(jù)、通勤數(shù)據(jù)、招商數(shù)據(jù)、租金管理數(shù)據(jù)等等業(yè)態(tài)綜合數(shù)據(jù)酒店數(shù)據(jù)（酒店公司數(shù)據(jù)、客人數(shù)據(jù)、會員數(shù)據(jù)、交易數(shù)據(jù)、網(wǎng)絡數(shù)據(jù)等等）；商業(yè)數(shù)據(jù)（運營數(shù)據(jù)、管理數(shù)據(jù)、C端數(shù)據(jù)、交易數(shù)據(jù)、網(wǎng)絡數(shù)據(jù)、偏好信息）；體育中心數(shù)據(jù)（運營數(shù)據(jù)、管理數(shù)、活動數(shù)據(jù)、比賽數(shù)據(jù)、會員數(shù)據(jù)，人流數(shù)據(jù)、運動數(shù)據(jù)）等等物業(yè)管理數(shù)據(jù)項目基礎信息，設備供應商信息，服務商信息，物業(yè)公司信息、無關員工信息、物業(yè)歸屬信息、物業(yè)管理日志、物業(yè)服務日志、報修信息、工單信息、滿意度信息、投訴信息等等企業(yè)信息數(shù)據(jù)企業(yè)數(shù)量、企業(yè)名稱、企業(yè)類型、法人代表、企業(yè)規(guī)模、企業(yè)發(fā)展、業(yè)務業(yè)務、財務數(shù)據(jù)、稅務數(shù)據(jù)、員工信息、員工數(shù)量、員工結構、人員流動、薪資變動等等第三方數(shù)據(jù)用電信息、用水信息、通信數(shù)據(jù)、銀行數(shù)據(jù)、工商數(shù)據(jù)、稅務數(shù)據(jù)、園區(qū)管委會數(shù)據(jù)、行政數(shù)據(jù)、執(zhí)法數(shù)據(jù)、質(zhì)監(jiān)質(zhì)檢數(shù)據(jù)、媒體信息、信用機構數(shù)據(jù)、協(xié)會數(shù)據(jù)等等智慧智慧園區(qū)分析類應用建設現(xiàn)狀基本分析關注的內(nèi)容存在的問題基本的現(xiàn)狀園區(qū)大數(shù)據(jù)治理累積數(shù)據(jù)沒有充分利用缺乏面向整個園區(qū)的統(tǒng)一、完整的數(shù)據(jù)視圖；缺乏支撐園區(qū)日常應急運轉(zhuǎn)的風險評估體系；缺乏園區(qū)服務360度視圖，服務行為分析和預測無法實現(xiàn)；缺乏面向銀行應急運營管理的關鍵績效指標體系；……園區(qū)已建立面向整個園區(qū)服務的數(shù)據(jù)倉庫，整合了前臺應急運營數(shù)據(jù)和后臺管理數(shù)據(jù)，建立了面向園區(qū)服務的管理分析應用；園區(qū)已開展服務民生等多種應急，積累了一定量的應急數(shù)據(jù)，同時應急人員也從服務管理、風險評級和經(jīng)營規(guī)模預測等方面，提出了大量分析預測需求；……數(shù)據(jù)平臺、數(shù)據(jù)應用、數(shù)據(jù)管控……基礎數(shù)據(jù)平臺和BI應用建設是未來一段時間的重點！數(shù)據(jù)平臺整體架構；數(shù)據(jù)平臺各層建設的標準；較成熟的銀行業(yè)數(shù)據(jù)模型；數(shù)據(jù)質(zhì)量治理；元數(shù)據(jù)管理；

數(shù)據(jù)標準建設數(shù)據(jù)整合；

數(shù)據(jù)應用建設；數(shù)據(jù)平臺的軟硬環(huán)境……園區(qū)大數(shù)據(jù)治理建設目標外部非結構化數(shù)據(jù)統(tǒng)一制定目標和分析模型統(tǒng)一劃分分析主題統(tǒng)一設計數(shù)據(jù)模式統(tǒng)一規(guī)劃分析方法統(tǒng)一部署技術基礎統(tǒng)一定義BI應用自定義報表工具行＋列的簡單定義方式多種格式報表園區(qū)決策層園區(qū)職能管控層各級應急操作層關注園區(qū)主要經(jīng)營指標應急人員使用BI應用實現(xiàn)應急協(xié)作和創(chuàng)新BI分析工具供應鏈銀行系統(tǒng)POP系統(tǒng)其他應急系統(tǒng)云數(shù)據(jù)推送平臺已實現(xiàn)了主要園區(qū)服務及銀行應急系統(tǒng)數(shù)據(jù)清洗、整合，為未來園區(qū)數(shù)據(jù)平臺提供了豐富的數(shù)據(jù)源。通過數(shù)據(jù)平臺和BI應用建設，園區(qū)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺，對各類應急進行前瞻性預測及分析，為園區(qū)各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力采購管理系統(tǒng)查看職能單位的應急經(jīng)營情況智慧園區(qū)大數(shù)據(jù)治理頂層框架智慧園區(qū)大數(shù)據(jù)治理建設預期收益2.加強應急協(xié)作實現(xiàn)分散在服務民生等各個應急系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合，建立單一的產(chǎn)品、服務等數(shù)據(jù)的園區(qū)級視圖，有效促進應急的集成和協(xié)作，并為園區(qū)級分析、交叉銷售提供基礎3.促進應急創(chuàng)新園區(qū)應急人員可以基于明細、可信的數(shù)據(jù)，進行多維分析和數(shù)據(jù)挖掘，為銀行應急創(chuàng)新（服務服務創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件4.提升建設效率通過數(shù)據(jù)平臺對數(shù)據(jù)進行集中，為管理分析、挖掘預測類等系統(tǒng)提供一致的數(shù)據(jù)基礎，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復雜的現(xiàn)狀，實現(xiàn)應用系統(tǒng)建設模式的轉(zhuǎn)變，提升相關IT系統(tǒng)的建設和運行效率5.改善數(shù)據(jù)質(zhì)量從中長期看，數(shù)據(jù)倉庫對園區(qū)分散在各個應急系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于園區(qū)整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實用性通過數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)集中，確保園區(qū)各級單位均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為園區(qū)重要資產(chǎn)的應急價值1.實現(xiàn)數(shù)據(jù)共享智慧園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)管控體系運轉(zhuǎn)機制管控組織數(shù)據(jù)管控委員會數(shù)據(jù)所有人數(shù)據(jù)認責人IT支持……管控流程數(shù)據(jù)接入流程數(shù)據(jù)變更流程數(shù)據(jù)授權流程數(shù)據(jù)退役流程標準/政策制定流程評價考核流程……評價與考核標準（數(shù)據(jù)標準、質(zhì)量要求、安全要求）遵守標準所需要的政策政策與標準遵從考評定義……數(shù)據(jù)產(chǎn)生者數(shù)據(jù)使用者………流程支撐流程支撐制定管控平臺工具支撐明確了數(shù)據(jù)管控過程中的組織結構、角色、職責等。管控組織除了要負責制定數(shù)據(jù)標準、質(zhì)量、安全等要求外，還需要負責制定管控的相關流程和評價考核指標等內(nèi)容?？荚u制定通過建立一些定性或定量的數(shù)據(jù)管控評價考核指標，去評估及考核數(shù)據(jù)相關責任人職責履行情況、數(shù)據(jù)管控標準及數(shù)據(jù)政策的執(zhí)行情況等。規(guī)范了數(shù)據(jù)管控過程中，各個環(huán)節(jié)日常任務處理的運作模式，例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。采用專門的技術平臺支撐管控流程的自動化，發(fā)布管控組織制定的一些相關標準和規(guī)范，及時反映管控過程中存在的一些問題等。管控綜合管理標準/規(guī)范管理流程管理考核儀表盤……元數(shù)據(jù)管理應急元數(shù)據(jù)管理技術元數(shù)據(jù)管理管理元數(shù)據(jù)分析……數(shù)據(jù)質(zhì)量管理稽核規(guī)則管理數(shù)據(jù)稽核質(zhì)量報告……工具支撐組織架構、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系統(tǒng)數(shù)據(jù)的管控。目錄CONTENTS2園區(qū)大數(shù)據(jù)治理總體架構智慧園區(qū)大數(shù)據(jù)治理總體架構智慧園區(qū)大數(shù)據(jù)治理總體架構智慧園區(qū)大數(shù)據(jù)治理總體架構智慧園區(qū)大數(shù)據(jù)治理總體架構智慧園區(qū)大數(shù)據(jù)治理總體架構智慧園區(qū)大數(shù)據(jù)治理總體架構智慧園區(qū)大數(shù)據(jù)治理總體架構智慧園區(qū)大數(shù)據(jù)治理總體架構智慧園區(qū)大數(shù)據(jù)治理總體架構智慧園區(qū)大數(shù)據(jù)治理總體架構歷史數(shù)據(jù)查詢數(shù)據(jù)交換平臺應用集市數(shù)據(jù)區(qū)園區(qū)園區(qū)服務公檢法系統(tǒng)輿情控制系統(tǒng)金融系統(tǒng)……系統(tǒng)園區(qū)內(nèi)外部半結構化、非結構化數(shù)據(jù)大數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)計算層大數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)應用層實時數(shù)據(jù)區(qū)服務主題協(xié)議主題產(chǎn)品主題應急沙盤演練數(shù)據(jù)增值產(chǎn)品園區(qū)服務數(shù)據(jù)供應鏈數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)……用戶訪問層服務匯總賬戶匯總機構匯總……社交媒體移動互聯(lián)用戶評價訪問日志處理后大數(shù)據(jù)待處理大數(shù)據(jù)流程調(diào)度監(jiān)控告警數(shù)據(jù)標準數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度平臺……數(shù)據(jù)管控平臺流程調(diào)度層數(shù)據(jù)管控層數(shù)據(jù)產(chǎn)生層數(shù)據(jù)交換層實時數(shù)據(jù)查詢服務管理財務管理……外部用戶貼源數(shù)據(jù)區(qū)……管理分析用戶歷史歸檔數(shù)據(jù)區(qū)IT人員風險管理智慧園區(qū)大數(shù)據(jù)治理總體產(chǎn)品框架非結構化/半結構化數(shù)據(jù)管理分析平臺（X86MPP集群）應急系統(tǒng)結構化數(shù)據(jù)基礎計算平臺（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）數(shù)據(jù)交換平臺（自主開發(fā)交換組件+NAS存儲）實時分析平臺（內(nèi)存數(shù)據(jù)庫）沙盤演練平臺（Hadoop集群）數(shù)據(jù)大腦管控平臺FTPSFTP/HTTP/APICopyfromloalQueue云數(shù)據(jù)推送平臺增值產(chǎn)品平臺（Hadoop集群）歷史歸檔查詢平臺（Hadoop集群+Hive）Load（Hive）DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程調(diào)度平臺園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)產(chǎn)生層應急系統(tǒng)產(chǎn)生的結構化數(shù)據(jù)園區(qū)日常園區(qū)服務處理過程中產(chǎn)生的結構化數(shù)據(jù)，存儲在關系型數(shù)據(jù)庫中，如：……園區(qū)日常應急處理過程中產(chǎn)生的結構化數(shù)據(jù)，存儲在關系型數(shù)據(jù)庫中，如：……園區(qū)非結構化數(shù)據(jù)日常應急處理過程中產(chǎn)生的非結構化數(shù)據(jù)，存儲形式多樣，主要包括用戶訪問日志、用戶投訴、用戶點評……園區(qū)外部數(shù)據(jù)園區(qū)外部數(shù)據(jù)以非結構化為主，主要包括國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動信息、微博等社交媒體信息……

源數(shù)據(jù)內(nèi)容在本次項目實施中將采用以增量為主、全量為輔結合的方式獲取源數(shù)據(jù)園區(qū)和園區(qū)應急系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識別、獲取由云數(shù)據(jù)推送平臺負責，云數(shù)據(jù)推送平臺采用分析、對比源系統(tǒng)日志方式實現(xiàn)對于無法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個時間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式源數(shù)據(jù)增量園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)交換層數(shù)據(jù)交換層設計目標傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設計的，本質(zhì)是通過分析數(shù)據(jù)存儲結構和數(shù)據(jù)存儲庫的特點來針對性的設計工具，以追求卓越的性能保證數(shù)據(jù)在平臺內(nèi)高速流轉(zhuǎn)保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件大數(shù)據(jù)交換組件園區(qū)系統(tǒng)數(shù)據(jù)服務層外部大數(shù)據(jù)園區(qū)系統(tǒng)Hadoop元數(shù)據(jù)云數(shù)據(jù)推送平臺數(shù)據(jù)平臺導入臨時區(qū)數(shù)據(jù)平臺導出臨時區(qū)NAS存儲ETL程序區(qū)園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)交換層NAS存儲Hadoop集群元數(shù)據(jù)區(qū)ETL數(shù)據(jù)處理程序區(qū)數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)存儲數(shù)據(jù)平臺各個Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù)園區(qū)數(shù)據(jù)交換平臺每日獲取運輸局推送平臺提供的應急系統(tǒng)變化數(shù)據(jù)，暫存在NAS臨時數(shù)據(jù)區(qū)銀行數(shù)據(jù)平臺加工計算結果返回給應急系統(tǒng)，暫存在NAS臨時數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲在NAS集群指定目錄，各接口服務器通過文件系統(tǒng)Link建立映射園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)交換層大數(shù)據(jù)交換組件園區(qū)非結構化、半結構化數(shù)據(jù)，如：音頻、視頻、郵件、Office文檔、抵押品掃描件等園區(qū)外部非結構化、半結構化數(shù)據(jù)，如：微博、貼吧、論壇、用戶點擊流、用戶移動位置等批量采集：大數(shù)據(jù)源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件在線訪問：開發(fā)Java或C應用，調(diào)用大據(jù)源API，或以網(wǎng)絡平臺爬蟲方式抓取源系統(tǒng)非結構化、半結構化數(shù)據(jù)組件以實時和批量兩種模式實現(xiàn)下列功能：數(shù)據(jù)采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換平臺（接口服務器）NAS指定目錄存儲數(shù)據(jù)到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)指定HDFS目錄定時抽取用戶訪問日志，加載到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)HDFS指定目錄，MR程序加工處理開發(fā)網(wǎng)絡爬蟲程序，掃描用戶微博，抓取用戶微博內(nèi)容，社交圈信息，存入大數(shù)據(jù)區(qū)處理對象實現(xiàn)技術實現(xiàn)功能應用場景智慧園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)交換層數(shù)據(jù)庫數(shù)據(jù)交換組件園區(qū)應急系統(tǒng)產(chǎn)生的結構化數(shù)據(jù)，包括兩大來源：園區(qū)園區(qū)服務數(shù)據(jù)，數(shù)據(jù)存儲在Oracle、SQLServer、MySQL和MongoDB四類數(shù)據(jù)庫園區(qū)互聯(lián)網(wǎng)銀行應急數(shù)據(jù)，數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫Perl程序數(shù)據(jù)采集，調(diào)用Perl文件模塊相關函數(shù)，輪詢指定目錄，獲取數(shù)據(jù)文件數(shù)據(jù)核查，Perl執(zhí)行文件級數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)加載，調(diào)用HiveLoad數(shù)據(jù)命令，加載到數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)的HiveTable組件以實時和批量模式實現(xiàn)下列功能：數(shù)據(jù)采集，輪詢NAS集群指定目錄，獲取數(shù)據(jù)文件（LZO壓縮）數(shù)據(jù)核查，對數(shù)據(jù)文件進行質(zhì)量校驗數(shù)據(jù)加載，加載數(shù)據(jù)到臨時數(shù)據(jù)區(qū)云數(shù)據(jù)推送平臺連接供應鏈銀行系統(tǒng)數(shù)據(jù)庫，分析供應鏈銀行MySQL數(shù)據(jù)庫日志，識別增量數(shù)據(jù)，存儲到銀行平臺NAS存儲的指定目錄，銀行平臺加載數(shù)據(jù)文件到數(shù)據(jù)平臺臨時區(qū)Hive表處理對象實現(xiàn)技術實現(xiàn)功能應用場景園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)平臺計算層各數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)沙盤數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū)Sqoop實現(xiàn)集市數(shù)據(jù)區(qū)與數(shù)據(jù)平臺其他Hadoop數(shù)據(jù)區(qū)的數(shù)據(jù)交換Hadoop命令、Hive外部表、MR程序?qū)崿F(xiàn)數(shù)據(jù)平臺Hadoop數(shù)據(jù)區(qū)間的數(shù)據(jù)交換組件以批量方式實現(xiàn)下列數(shù)據(jù)交換功能：貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)到集市數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)到主題數(shù)據(jù)區(qū)和集市數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到沙盤數(shù)據(jù)區(qū)各個數(shù)據(jù)區(qū)數(shù)據(jù)歸檔數(shù)據(jù)集市的數(shù)據(jù)按照據(jù)生命周期規(guī)劃，統(tǒng)一將過期數(shù)據(jù)歸檔到歷史數(shù)據(jù)歸檔區(qū)處理對象實現(xiàn)技術實現(xiàn)功能應用場景智慧園區(qū)大數(shù)據(jù)治理總體架構——流程調(diào)度層批量處理流程批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：獲取應急系統(tǒng)結構化數(shù)據(jù)，存入臨時數(shù)據(jù)區(qū)獲取園區(qū)內(nèi)外部非結構化數(shù)據(jù)，并進行結構化處理，存入主題或集市數(shù)據(jù)區(qū)按照貼源數(shù)據(jù)模型整合數(shù)據(jù)（標準化、數(shù)據(jù)更新/追加）按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總數(shù)據(jù)加工計算后，結果交付到數(shù)據(jù)集市，支持分析類應用園區(qū)大數(shù)據(jù)治理總體架構——流程調(diào)度層實時數(shù)據(jù)處理流程實時數(shù)據(jù)處理強調(diào)的是實時或準實時獲取并處理數(shù)據(jù)，通常采取消息隊列等技術構建“數(shù)據(jù)流”整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)通過大數(shù)據(jù)交換組件獲取非結構化數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標準化處理和貼源整合園區(qū)大數(shù)據(jù)治理總體架構——流程調(diào)度層歸檔數(shù)據(jù)處理流程數(shù)據(jù)歸檔的對象包括應急系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù)數(shù)據(jù)按照生命周期規(guī)劃存儲到歸檔區(qū)Hadoop集群，歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：數(shù)據(jù)文件通過HDFS命令行copyfromlocal進行歸檔貼源、主題和大數(shù)據(jù)區(qū)通過HDFS命令行distcp或自定義開發(fā)的MR程序執(zhí)行歸檔集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫提供的Hadoop集成技術（如：外部表）執(zhí)行歸檔園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)存儲層應急系統(tǒng)前日增量數(shù)據(jù)緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載平臺要求貼源數(shù)據(jù)模型保存最近7天數(shù)據(jù)貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序與主題區(qū)/貼源區(qū)/集市區(qū)構成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，日終批量ETL以ELT形式通過HiveSQL執(zhí)行與主題區(qū)/貼源區(qū)/集市區(qū)構成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機貼源數(shù)據(jù)模型不保存歷史應急系統(tǒng)前日快照數(shù)據(jù)和一段時間的流水數(shù)據(jù)數(shù)據(jù)標準化，為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)臨時數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)存儲層（續(xù)）園區(qū)內(nèi)外部非結構化、半結構化數(shù)據(jù)采集并存儲數(shù)據(jù)，進行結構化處理，最終得到結構化數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載平臺要求數(shù)據(jù)按照HDFS文件存儲建議保留1年集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級應急人員進行智慧園區(qū)大數(shù)據(jù)云MapReduce分布式計算，半/非結構化數(shù)據(jù)的結構化處理（包括文本檢索、語義分詞、圖像識別、音頻識別等）與主題區(qū)/貼源區(qū)構成一個Hadoop集群（HDFS）無單點故障，7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時效區(qū)批量作業(yè)訪問應急人員執(zhí)行歷史數(shù)據(jù)查詢MapReduce分布式計算，HDFS命令實現(xiàn)Hadoop集群內(nèi)歸檔，Sqoop實現(xiàn)數(shù)據(jù)庫歸檔，通過Hive提供歷史查詢獨立的Hadoop集群（HDFS+Hive）無單點故障，7×24小時+非工作日有限停機數(shù)據(jù)按照HDFS文件存儲數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)按數(shù)據(jù)生命周期規(guī)劃歸檔平臺過期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)存儲層（續(xù)）應急系統(tǒng)歷史明細數(shù)據(jù)打破應急條線整合數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載可用性要求第三范式模型保留長期歷史，需要根據(jù)主題細化主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級應急人員進行靈活查詢、挖掘預測I/O敏感，日終批量ETL（合并、拉鏈、關聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級應急人員進行靈活查詢、挖掘預測I/O敏感，日終批量ETL（連接、聚合、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機逆范式寬表依賴于集市數(shù)據(jù)需求對主題數(shù)據(jù)預加工后的結果數(shù)據(jù)針對應用需求進行數(shù)據(jù)預連接、預匯總，為集市提供數(shù)據(jù)主題數(shù)據(jù)區(qū)—明細主題數(shù)據(jù)區(qū)—匯總園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)存儲層（續(xù)）按沙盤演練需求，準備的明細或匯總應急數(shù)據(jù)為數(shù)據(jù)科學家的挖掘預測操作提供數(shù)據(jù)服務數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載可用性要求模型依賴于沙盤演練需求在整個沙盤演練周期內(nèi)保留集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級應急人員進行靈活查詢、挖掘預測I/O敏感，終批量ETL（合并、拉鏈、關聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復雜處理使用MR定制UDF獨立的Hadoop集群（HDFS）無單點故障，7×24小時+非工作日有限停機沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問決策人員、管理人員、應急人員訪問I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）基于開放平臺的完全無共享

MPP數(shù)據(jù)庫集群+內(nèi)存數(shù)據(jù)庫無單點故障，7×24小時+非工作日有限停機維度數(shù)據(jù)模型依賴應急需求面向園區(qū)管理分析類應用需求的匯總數(shù)據(jù)為服務、運營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務沙盤演練數(shù)據(jù)區(qū)應用集市數(shù)據(jù)區(qū)園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)存儲層（續(xù)）根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺加工計算的結果數(shù)據(jù)為部署在數(shù)據(jù)平臺上的園區(qū)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載可用性要求應用模型，依賴于用戶應急需求依賴于用戶應急需求園區(qū)外部人員，如：服務通過自己部署在Paas平臺上的應用訪問I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）獨立的Paas平臺，部署Hadoop集群無單點故障，7×24小時+非工作日有限停機園區(qū)應急人員高時效、高并發(fā)、高可靠性的聯(lián)機交易類查詢CPU敏感，BI工具或應急系統(tǒng)高并發(fā)、高時效查詢，以及準實時連續(xù)ETL處理+SQL批量處理獨立的內(nèi)存數(shù)據(jù)庫集群無單點故障，365×24小時不停機貼源數(shù)據(jù)模型依賴用戶應急需求面向應用的應急系統(tǒng)快照數(shù)據(jù)和一段時間的交易流水為實時獲準實時分析應用提供數(shù)據(jù)服務增值產(chǎn)品數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)存儲層數(shù)據(jù)流數(shù)據(jù)集成層操作型聚合數(shù)據(jù)臨時數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)公共匯總數(shù)據(jù)主題明細數(shù)據(jù)結構化數(shù)據(jù)非結構化&半結構化數(shù)據(jù)沙盤演練數(shù)據(jù)區(qū)實驗室數(shù)據(jù)集市數(shù)據(jù)區(qū)POP自營數(shù)據(jù)貼源數(shù)據(jù)區(qū)銀行應急數(shù)據(jù)主題數(shù)據(jù)區(qū)智慧園區(qū)集市財務管理集市運營管理集市風險管理集市……集市大物流系統(tǒng)數(shù)據(jù)供應鏈系統(tǒng)數(shù)據(jù)財務審計數(shù)據(jù)財務研發(fā)數(shù)據(jù)操作型明細據(jù)歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)源系統(tǒng)數(shù)據(jù)文件貼源數(shù)據(jù)主題數(shù)據(jù)集市數(shù)據(jù)高時效數(shù)據(jù)大數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)應用層大數(shù)據(jù)平臺應用針對公檢法查詢需求、內(nèi)外部審計需求和最終用戶的歷史交易查詢需求，以貼源存儲的歸檔數(shù)據(jù)為基礎，實現(xiàn)的查詢類應用歷史查詢類應用通常使用BI工具或自主開發(fā)實現(xiàn)服務經(jīng)理等最終應急人員針對當前應急的發(fā)生（如：用戶交易、用戶訪問日志），進行實時查詢、分析的應用管理分析類應用主要實現(xiàn)了園區(qū)服務管理、運營管理、財務管理、風險管理、監(jiān)管信息披露五大分析體系功能管理分析類應用通常采用套裝軟件和BI工具（MicroStrategy等）實現(xiàn)應急人員根據(jù)應急需求或自己對應急的理解，設計計算模型，準備各類明細或匯總數(shù)據(jù)，導入模型運算，驗證應急結果沙盤演練類應用通常使用R語言在Hadoop分布式體系下實現(xiàn)園區(qū)數(shù)據(jù)科學家根據(jù)自己對應急需求的理解或者對市場的判斷，設計并運行模型，發(fā)掘數(shù)據(jù)價值，并封裝成商業(yè)產(chǎn)品數(shù)據(jù)增值產(chǎn)品通常采用R語言和BI工具實現(xiàn)，面向園區(qū)內(nèi)外部用戶管理分析類應用1沙盤演練類應用3歷史查詢類應用4高時效類分析應用5數(shù)據(jù)增值類產(chǎn)品2實時分析類應用通常使用CEP、ESB等技術實現(xiàn)園區(qū)大數(shù)據(jù)治理總體架構——平臺發(fā)展不同階段對應應用工作負載復雜度大數(shù)據(jù)平臺發(fā)展階段劃分操作為主階段什么正在發(fā)生？動態(tài)數(shù)據(jù)倉庫階段

讓正確的事情發(fā)生！分析為主階段為什么會發(fā)生報表為主階段發(fā)生了什么預測為主階段將會發(fā)生什么？批量隨機查詢數(shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動態(tài)觸發(fā)數(shù)據(jù)量增長用戶數(shù)增長查詢復雜度增長ETL處理復雜度增長管理分析類應用歷史查詢類應用實時分析類應用沙盤演練類應用數(shù)據(jù)增值類產(chǎn)品園區(qū)大數(shù)據(jù)治理總體架構——管理分析類應用總賬分析資產(chǎn)負債表分析損益表分析現(xiàn)金流量表分析財務指標分析盈利分析機構貢獻度產(chǎn)品貢獻度服務細分貢獻度渠道績效資產(chǎn)負債分析主要指標報告，如：凈利息收入、凈收入、凈現(xiàn)值、市場價值等頭寸報告現(xiàn)金流報告風險價值（VaR）計算財務預算與計劃財務預算財務計劃執(zhí)行監(jiān)控執(zhí)行過程分析年末財務計劃執(zhí)行分析預測與場景分析應急規(guī)模預測收益預測……領導管理駕駛艙機構績效考核服務經(jīng)理考核服務經(jīng)理工作量評估服務經(jīng)理服務服務收益評估產(chǎn)品績效考核應急量考核供應鏈銀行應急人人貸應急保理應急基金應急其它中間應急……渠道成本與收益……風險監(jiān)控報表/信息披露流動性報表利率敏感性報表資本充足率報表……市場風險市場風險暴露值流動性管理、利率管理信用風險信用風險暴露值計算信用風險控制（貸前控制、貸中監(jiān)控、貸后分析）操作風險異常交易預警后督差錯檢查……防欺詐/反洗錢定義欺詐交易模型可能性欺詐交易預警欺詐交易分布分析全面風險管理……目前監(jiān)管機構沒有明確要求服務單一視圖園區(qū)服務信息管理個人服務信息管理同業(yè)服務信息管理目標服務搜索重點服務關懷服務風險服務異動服務服務細分個人服務細分園區(qū)服務細分服務行為分析服務輪廓分析產(chǎn)品交叉銷售分析百分比分析渠道偏好分析營銷活動管理營銷活動規(guī)劃營銷活動定義營銷活動執(zhí)行營銷活動蘋果營銷活動自動化渠道接口與集成流程自動化……服務管理運營管理財務管理風險管理監(jiān)管披露示例園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)訪問層即席查詢：通過即席查詢工具或手工書寫SQL語句，完成應急信息的即席查看多維分析：從多個維度靈活組合對目標值進行分析，常見功能包括上下鉆取、透明鉆取、旋轉(zhuǎn)、分頁、層鉆、跨維鉆取等主動問題發(fā)現(xiàn)：通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)園區(qū)運營中的問題，通過手機、郵件等方式報警決策層管理層應急人員即席查詢靜態(tài)報表多維分析儀表盤挖掘預測儀表盤：通過儀表盤及其它展現(xiàn)方式對園區(qū)關鍵績效指標進行展示，為領導層決策提供直觀的數(shù)據(jù)支持靜態(tài)報表：按照預先定義格式，批處理報表，在線查詢報表等Office集成：將分析應用嵌入到Office界面中，利用Office的方便、易用特性，降低用戶使用難度問題發(fā)現(xiàn)Office集成Web服務挖掘預測：使用專業(yè)的軟件工具，通過數(shù)理統(tǒng)計等高級統(tǒng)計分析算法，分析結構化、非結構化數(shù)據(jù)，通過數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價值數(shù)據(jù)科學家應急系統(tǒng)Web服務：將分析應用的功能發(fā)布為Web服務，注冊在園區(qū)服務總線上，供其它應急系統(tǒng)或分析應用調(diào)用，獲取分析結果多種展現(xiàn)形式滿足各層級用戶及應用系統(tǒng)使用需求園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)管控層銀行數(shù)據(jù)管控體系涵蓋組織架構、評價與考核、管控流程、管控平臺四個域。數(shù)據(jù)標準管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理工作流管理……組織數(shù)據(jù)與信息標準化委員會數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT支持團隊考核指標責任評價標準執(zhí)行評價政策執(zhí)行評價評價標準數(shù)據(jù)類型數(shù)據(jù)格式應急分類真實性定義及時性定義完整性定義技術元數(shù)據(jù)流程評價與考核流程考核指標建立/維護流程標準建立/維護流程組織建立/維護流程評價與考核應急含義一致性定義數(shù)據(jù)認責平臺安全等級權限定義數(shù)據(jù)停用數(shù)據(jù)共享數(shù)據(jù)移動數(shù)據(jù)存儲數(shù)據(jù)創(chuàng)建應急元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)全生命周期數(shù)據(jù)安全管理數(shù)據(jù)標準數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全…………審計定義保留策略……園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)管控體系運轉(zhuǎn)機制管控組織數(shù)據(jù)管控委員會數(shù)據(jù)所有人數(shù)據(jù)認責人IT支持……管控流程數(shù)據(jù)接入流程數(shù)據(jù)變更流程數(shù)據(jù)授權流程數(shù)據(jù)退役流程標準/政策制定流程評價考核流程……評價與考核標準（數(shù)據(jù)標準、質(zhì)量要求、安全要求）遵守標準所需要的政策政策與標準遵從考評定義……數(shù)據(jù)產(chǎn)生者數(shù)據(jù)使用者………流程支撐流程支撐制定管控平臺工具支撐明確了數(shù)據(jù)管控過程中的組織結構、角色、職責等。管控組織除了要負責制定數(shù)據(jù)標準、質(zhì)量、安全等要求外，還需要負責制定管控的相關流程和評價考核指標等內(nèi)容?？荚u制定通過建立一些定性或定量的數(shù)據(jù)管控評價考核指標，去評估及考核數(shù)據(jù)相關責任人職責履行情況、數(shù)據(jù)管控標準及數(shù)據(jù)政策的執(zhí)行情況等。規(guī)范了數(shù)據(jù)管控過程中，各個環(huán)節(jié)日常任務處理的運作模式，例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。采用專門的技術平臺支撐管控流程的自動化，發(fā)布管控組織制定的一些相關標準和規(guī)范，及時反映管控過程中存在的一些問題等。管控綜合管理標準/規(guī)范管理流程管理考核儀表盤……元數(shù)據(jù)管理應急元數(shù)據(jù)管理技術元數(shù)據(jù)管理管理元數(shù)據(jù)分析……數(shù)據(jù)質(zhì)量管理稽核規(guī)則管理數(shù)據(jù)稽核質(zhì)量報告……工具支撐組織架構、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系統(tǒng)數(shù)據(jù)的管控。園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)管控組織數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負責定義和管理應急數(shù)據(jù)相關標準，制定遵尋標準所必須的政策，監(jiān)測正在進行的數(shù)據(jù)管控行動。數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領導的參與，是整個數(shù)據(jù)管控的成敗的關鍵。典型的數(shù)據(jù)管控組織如下所示：數(shù)據(jù)管控負責單位崗位角色數(shù)據(jù)管控主導方信息管理委員會

數(shù)據(jù)標準管理員數(shù)據(jù)質(zhì)量管理員數(shù)據(jù)產(chǎn)生單位數(shù)據(jù)管控參與方應急協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)使用單位應急協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)擁有單位應急協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)管理單位運維組織實施項目組數(shù)據(jù)安全管理員數(shù)據(jù)管控經(jīng)理元數(shù)據(jù)管理員園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)標準管理消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標準納入一個規(guī)范的管理流程中，進行數(shù)據(jù)標準的更新、發(fā)布、使用監(jiān)督等工作。數(shù)據(jù)標準管理工作可以分為以下幾個部分：數(shù)據(jù)標準建立和維護、數(shù)據(jù)標準執(zhí)行、數(shù)據(jù)標準管理的考評。數(shù)據(jù)標準建立和維護數(shù)據(jù)分類數(shù)據(jù)結構關鍵應急對象關鍵代碼數(shù)據(jù)維度代碼映射服務類數(shù)據(jù)標準產(chǎn)品類數(shù)據(jù)標準。。。類數(shù)據(jù)標準數(shù)據(jù)標準執(zhí)行數(shù)據(jù)標準管理的考評定性考評定量考評數(shù)據(jù)標準分析報告數(shù)據(jù)標準理念推廣歸檔系統(tǒng)……ODS園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理框架藍圖如下，其中數(shù)據(jù)質(zhì)量提升是改進數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評的目的：數(shù)據(jù)質(zhì)量要求確認，根據(jù)應急要求制定和明確數(shù)據(jù)質(zhì)量要求，同時也需要符合數(shù)據(jù)標準的要求；數(shù)據(jù)質(zhì)量考評，對數(shù)據(jù)質(zhì)量的量化評價制定數(shù)據(jù)質(zhì)量問題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，實施相應的措施，提升數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量要求應急規(guī)則數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)準確性要求數(shù)據(jù)及時性要求數(shù)據(jù)質(zhì)量標準數(shù)據(jù)質(zhì)量驗證規(guī)則數(shù)據(jù)質(zhì)量考核指標數(shù)據(jù)質(zhì)量提升數(shù)據(jù)補錄手工修正自動修正數(shù)據(jù)質(zhì)量考評數(shù)據(jù)質(zhì)量監(jiān)控不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量分析報告園區(qū)大數(shù)據(jù)治理總體架構——元數(shù)據(jù)管理應急元數(shù)據(jù)：面向應急人員，從應急術語、應急描述、應急指標和應急規(guī)則等幾個方面對數(shù)據(jù)進行描述管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息技術元數(shù)據(jù)：面向技術人員，從數(shù)據(jù)結構和數(shù)據(jù)處理細節(jié)方面對數(shù)據(jù)進行技術化描述園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)安全管理數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級管理和數(shù)據(jù)訪問授權管理兩個部分：數(shù)據(jù)安全分級：根據(jù)應急要求，制定一系列的數(shù)據(jù)安全分級標準和政策，為數(shù)據(jù)應用以及數(shù)據(jù)管理中實施數(shù)據(jù)安全保護和訪問提供數(shù)據(jù)安全控制的基礎。數(shù)據(jù)訪問授權：數(shù)據(jù)訪問授權的主要工作是根據(jù)數(shù)據(jù)安全分級標準，定義數(shù)據(jù)訪問的授權方法及流程，建立基于數(shù)據(jù)安全分級的數(shù)據(jù)使用授權機制，實現(xiàn)數(shù)據(jù)訪問和信息披露的安全。數(shù)據(jù)安全分級數(shù)據(jù)敏感度數(shù)據(jù)安全等級定義數(shù)據(jù)訪問授權數(shù)據(jù)重要性數(shù)據(jù)使用需求數(shù)據(jù)使用者權責數(shù)據(jù)訪問授權規(guī)則安全技術園區(qū)大數(shù)據(jù)治理總體架構——高階工作流程應急數(shù)據(jù)規(guī)劃管理高階流程數(shù)據(jù)認責流程數(shù)據(jù)治理考核體系數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核指標體系數(shù)據(jù)標準管理管理高階流程數(shù)據(jù)標準建立流程數(shù)據(jù)標準維護流程數(shù)據(jù)質(zhì)量管理管理高階流程數(shù)據(jù)質(zhì)量要求確定流程元數(shù)據(jù)管理高階流程元數(shù)據(jù)變更流程數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全審批流程數(shù)據(jù)認責流程數(shù)據(jù)標準、質(zhì)量、元數(shù)據(jù)、安全管理流程協(xié)調(diào)會議考核流程園區(qū)大數(shù)據(jù)治理總體架構——數(shù)據(jù)管控平臺數(shù)據(jù)管控平臺從總體上來說分為數(shù)據(jù)層、應用層、展現(xiàn)層三個主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫及相關基礎系統(tǒng)為主要信息來源，通過應用層的運算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口首頁標準管理主菜單指標速遞待辦事項信息地圖標準瀏覽標準維護工作管理流程管理績效指標系統(tǒng)管理用戶管理權限管理規(guī)范管理數(shù)據(jù)管控平臺統(tǒng)一用戶集成界面數(shù)據(jù)標準知識庫數(shù)據(jù)管控平臺知識庫……元數(shù)據(jù)管理元數(shù)據(jù)采集……元數(shù)據(jù)知識庫質(zhì)量管理規(guī)則配置……質(zhì)量稽核庫數(shù)據(jù)層應用層展現(xiàn)層園區(qū)大數(shù)據(jù)治理總體產(chǎn)品框架非結構化/半結構化數(shù)據(jù)管理分析平臺（X86MPP集群）應急系統(tǒng)結構化數(shù)據(jù)基礎計算平臺（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）數(shù)據(jù)交換平臺（自主開發(fā)交換組件+NAS存儲）實時分析平臺（內(nèi)存數(shù)據(jù)庫）沙盤演練平臺（Hadoop集群）數(shù)據(jù)管控平臺FTPSFTP/HTTP/APICopyfromloalQueue云數(shù)據(jù)推送平臺增值產(chǎn)品平臺（Hadoop集群）歷史歸檔查詢平臺（Hadoop集群+Hive）Load（Hive）DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程調(diào)度平臺目錄CONTENTS3園區(qū)大數(shù)據(jù)治理演進路線園區(qū)大數(shù)據(jù)治理演進路線以基礎平臺搭建為主，配合園區(qū)初期應急開展，應用建設從服務信息管理、風險管理和運營管理三方面開展搭建大數(shù)據(jù)處理平臺和實時分析平臺，應用方面開展實時分析和數(shù)據(jù)產(chǎn)品封裝開展服務信息管理、信用風險評級和應急統(tǒng)計分析三類應用建設開展貼源數(shù)據(jù)整合，初步建立園區(qū)級數(shù)據(jù)視圖，實現(xiàn)對管理分析類應用和實時分析類應用的支撐規(guī)劃數(shù)據(jù)管控藍圖，初步實施數(shù)據(jù)質(zhì)量和技術元數(shù)據(jù)管理2013年2014年——2015年2015年以后對園區(qū)價值的創(chuàng)造應管技應急分析框架基礎數(shù)據(jù)平臺數(shù)據(jù)管控體系應技管全面開展管理分析、實時分析和沙盤演練應用建設，初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作全面開展園區(qū)大數(shù)據(jù)治理建設，引入更多數(shù)據(jù)源，豐富并完善平臺數(shù)據(jù)區(qū)建設隨著應用體系的搭建，完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設，開展數(shù)據(jù)標準化工作應技管深化分析體系，形成深度智能化應急分析性能持續(xù)優(yōu)化、數(shù)據(jù)平臺持續(xù)完善、持續(xù)深化數(shù)據(jù)管控體系，形成園區(qū)園區(qū)級的數(shù)據(jù)管控體系應技管一期2013.10當前位置未來持續(xù)優(yōu)化提升階段第一階段第二階段第三階段園區(qū)大數(shù)據(jù)治理演進說明——基礎數(shù)據(jù)平臺階段劃分建設內(nèi)容預期效果第一階段搭建數(shù)據(jù)交換平臺，部署NAS存儲集群，設計并實施數(shù)據(jù)庫交換組件和數(shù)據(jù)區(qū)交換組件搭建基礎計算平臺，設計并實施貼源數(shù)據(jù)區(qū)，以T+1頻率整合園區(qū)和銀行應急數(shù)據(jù)搭建歷史歸檔查詢平臺，歸檔園區(qū)和銀行應急數(shù)據(jù)文件搭建管理分析應用平臺，部署MPP集群和BI分析應用環(huán)境搭建實時分析平臺，部署內(nèi)存數(shù)據(jù)庫和實時BI分析環(huán)境實現(xiàn)了數(shù)據(jù)平臺個數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸實現(xiàn)了應急數(shù)據(jù)按照貼源數(shù)據(jù)模整合實現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理實現(xiàn)了管理分析環(huán)境搭建實現(xiàn)實時分析環(huán)境搭建第二階段數(shù)據(jù)交換平臺增強和優(yōu)化，包括：大數(shù)據(jù)交換組件設計實施基礎計算平臺增強，包括：引入更多的數(shù)據(jù)源，增強貼源數(shù)據(jù)區(qū)；設計并實施主題數(shù)據(jù)區(qū)，打破應急條線整合數(shù)據(jù)；設計并實施大數(shù)據(jù)區(qū)，實現(xiàn)園區(qū)內(nèi)外部非結構化、半結構化數(shù)據(jù)加工、處理搭建沙盤演練平臺實時分析平臺增強和優(yōu)化，包括：引入更多應用及相關數(shù)據(jù)源實現(xiàn)了基礎數(shù)據(jù)一次存儲、一次計算、多次使用建立了數(shù)據(jù)分析人員的實驗環(huán)境，實現(xiàn)了用戶自主用數(shù)為實時、準實時類分析用提供平臺為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺第三階段基礎計算平臺持續(xù)增強和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和ETL處理搭建增值產(chǎn)品平臺，設計并實施增值產(chǎn)品數(shù)據(jù)區(qū)數(shù)據(jù)交換平臺、沙盤演練平臺、實時分析平臺進一步增強和優(yōu)化數(shù)據(jù)平臺納入盡可能多的園區(qū)內(nèi)外部數(shù)據(jù)數(shù)據(jù)平臺以最優(yōu)的性能支持各類數(shù)據(jù)應用園區(qū)大數(shù)據(jù)治理演進說明——數(shù)據(jù)管控階段劃分建設內(nèi)容預期效果第一階段分析和梳理當前數(shù)據(jù)管理方面的成果和現(xiàn)狀，數(shù)據(jù)管控藍圖和路線圖設計，數(shù)據(jù)管控工作的組織、技術和流程高階設計梳理園區(qū)大數(shù)據(jù)平臺ETL流程各環(huán)節(jié)的數(shù)據(jù)質(zhì)量要求，指定數(shù)據(jù)質(zhì)量檢查規(guī)則、評價指標、管控流程，并落地實施數(shù)據(jù)質(zhì)量管理系統(tǒng)梳理園區(qū)大數(shù)據(jù)平臺包含的技術元數(shù)據(jù)，如：數(shù)據(jù)字典、ETL任務、ETL流程、BI語義層等，制定相應的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)同步園區(qū)大數(shù)據(jù)治理ETL建設，實現(xiàn)了數(shù)據(jù)質(zhì)量管理系統(tǒng)收集并整合了園區(qū)所有技術元數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)生命周管理、血緣分析和影響分析等功能第二階段隨著更多數(shù)據(jù)源的引入，進一步增強數(shù)據(jù)質(zhì)量管理系統(tǒng)隨著更多數(shù)據(jù)源的引入、更多平臺的建立，梳理并整合更多技術元數(shù)據(jù)梳理園區(qū)大數(shù)據(jù)平臺包含的應急和管理類元數(shù)據(jù)，如應急術語、應急指標、應急定義等，制定相應的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)開展基礎類數(shù)據(jù)標準建設，基礎數(shù)據(jù)標準、管控流程、評價指標、落地策略完善了數(shù)據(jù)質(zhì)量管理體系，實現(xiàn)了問題及時發(fā)現(xiàn)、及時解決實現(xiàn)了園區(qū)全方位的元數(shù)據(jù)管理，打通了應急和技術元數(shù)據(jù)關聯(lián)關系為園區(qū)數(shù)據(jù)平臺建設提供了基礎類數(shù)據(jù)標準第三階段數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強元數(shù)據(jù)管理持續(xù)優(yōu)化并增強基礎類數(shù)據(jù)標準逐步落地實施開展指標類數(shù)據(jù)標準建設基礎數(shù)據(jù)標準、管控流程、評價指標、落地策略通過完善的數(shù)據(jù)管控體系，提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性、建立數(shù)據(jù)間的血緣關系，使得應急人員可以方便、有效的使用數(shù)據(jù)，提高數(shù)據(jù)實用性園區(qū)大數(shù)據(jù)治理演進說明——應用體系階段劃分建設內(nèi)容預期效果第一階段開展服務信息管理建設，設計并實施個人服務和供應商360°視圖、服務目標搜索、服務細分等功能開展風險管理建設，設計并實施供應商和個人服務風險評級模型開展運營管理建設，設計并實施服務民生等應急條線應急量統(tǒng)計分析初步梳理實時、準實時分析需求，進行高時效分析應用試點可以方便的對個人服務和供應商進行分群，以及全方位信息查詢和展示供應商和個人服務風險等級評定針對目前開展的應急進行經(jīng)營情況統(tǒng)計分析搭建并驗證高時效應用體系第二階段隨著園區(qū)應急的展開，逐步開展管理分析體系的建設，本階段重點為服務關系管理、運營管理等高級應急人員利用沙盤演練平臺進行數(shù)據(jù)挖掘、預測和科學試驗進一步樹立實時、準實時分析需求，深化開展高時效分析應用開始梳理市場上的數(shù)據(jù)應用需求，嘗試封裝增值數(shù)據(jù)產(chǎn)品通過管理分析體系的建設、滿足了園區(qū)日常經(jīng)營管理、決策分析和進一步提高價值創(chuàng)造力的需要實現(xiàn)了應急人員自主用數(shù)實現(xiàn)了高時效分析，與應急流程的整合實現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝，提升了數(shù)據(jù)價值第三階段隨著園區(qū)應急的展開，進一步完善管理分析體系的建設，包括：市場風險管理、操作風險管理、財務管理等收集實時分析需求，進一步增強并優(yōu)化實時分析應用體系增值數(shù)據(jù)產(chǎn)品設計逐漸成為重點，數(shù)據(jù)分析師收集園區(qū)內(nèi)外部數(shù)據(jù)需求，設計更完善的增值數(shù)據(jù)產(chǎn)品通過管理分析應用體系建設進一步實現(xiàn)數(shù)據(jù)共享、應急協(xié)作與創(chuàng)新通過實時分析應用體系建設，實現(xiàn)大數(shù)據(jù)平臺應急系統(tǒng)的交互，與應急流程的融合增值數(shù)據(jù)產(chǎn)品的開發(fā)進一步發(fā)揮的數(shù)據(jù)平臺的數(shù)據(jù)價值目錄CONTENTS4園區(qū)大數(shù)據(jù)治理建設實施銀行園區(qū)大數(shù)據(jù)治理一期架構基礎計算平臺：基于Hadoop集群構建，按照應急條線、以貼源數(shù)據(jù)模型存儲了應急系統(tǒng)明細數(shù)據(jù)數(shù)據(jù)交換平臺：NAS集群實現(xiàn)了進出數(shù)據(jù)平臺數(shù)據(jù)的暫存，應急數(shù)據(jù)交換組件實現(xiàn)了應急系統(tǒng)每日增量數(shù)據(jù)加載，數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實現(xiàn)了基礎計算平臺與管理分析平臺間的數(shù)據(jù)交換流程調(diào)度平臺：自主開發(fā)的流程調(diào)度引擎實現(xiàn)整個數(shù)據(jù)平臺的數(shù)據(jù)處理任務調(diào)度和運行管理分析平臺：由X86分析型數(shù)據(jù)庫集群、BI軟件1J2EE應用構成，實現(xiàn)了面向應用的數(shù)據(jù)加工、管理、分析服務實時分析平臺：由高檔X86服務器組成的集群，實現(xiàn)高時效、高并發(fā)的實時、準實時類管理分析需求數(shù)據(jù)交換平臺—平臺邏輯架構云數(shù)據(jù)推送平臺實現(xiàn)源系統(tǒng)數(shù)據(jù)一次獲取獲、按需分發(fā)。平臺采用GoldenGate、JBUS、Flume等技術獲取增量數(shù)據(jù)，存儲在MySQL集群平臺按照接口規(guī)范生成文件，LZO壓縮后，通過FTP傳輸?shù)絅AS指定目錄POP銀行園區(qū)大數(shù)據(jù)治理NAS集群物流財務供應鏈人人貸……云數(shù)據(jù)推送平臺數(shù)據(jù)交換平臺由FTP服務器、加載服務器和NAS存儲組成，完成應急系統(tǒng)數(shù)據(jù)的獲取、加載和歸檔FTP服務器：利用LVS構成的FTP集群，接收云數(shù)據(jù)推送平臺處理后的數(shù)據(jù)，存儲在NAS集群的指定目錄加載服務器：部署ETL任務，實現(xiàn)指定目錄的文件到達監(jiān)控、文件級檢核、數(shù)據(jù)加載（HiveLoad）到臨時數(shù)據(jù)區(qū)，同時歸檔（copyfromlocal）歷史數(shù)據(jù)區(qū)NAS集群：按照日期和源系統(tǒng)劃分目錄，緩存數(shù)據(jù)，支持日常數(shù)據(jù)交換和ETL…………LVS集群：FTP服務器#3加載服務器#1文件加載文件歸檔文件到達事件監(jiān)控文件級檢核加載服務器#4文件加載文件歸檔文件到達事件監(jiān)控文件級檢核LVS集群：FTP服務器#1LVS集群：負載均衡服務器…………數(shù)據(jù)交換平臺—參與方責任劃分設計并實施云數(shù)據(jù)推送平臺；按照園區(qū)接口定義，抽取應急系統(tǒng)數(shù)據(jù)；按照園區(qū)接口規(guī)范要求，按時生成數(shù)據(jù)文件、控制文件和DDL文件，并通過FTP傳輸?shù)絅AS指定目錄；若源系統(tǒng)有變更，則要求在變更前提供變更內(nèi)容說明，升級平臺版本，根據(jù)園區(qū)更新接口規(guī)范提供數(shù)據(jù)；應及時解決接口數(shù)據(jù)提供過程中出現(xiàn)的問題；對于未盡事宜，應同園區(qū)協(xié)商解決。云計算安裝部署園區(qū)園區(qū)大數(shù)據(jù)治理物理環(huán)境、應用軟件，并進行基礎設施運維；在應急系統(tǒng)數(shù)據(jù)庫服務器安裝并部署云數(shù)據(jù)推送平臺服務端，并提供數(shù)據(jù)庫訪問。運維單位制定接口規(guī)范，并提交給云數(shù)據(jù)推送項目組；梳理應急系統(tǒng)數(shù)據(jù)字典，制定接口定義，并提交給云數(shù)據(jù)推送項目組；開發(fā)數(shù)據(jù)交換組件，從NAS獲取數(shù)據(jù)并處理；對接收的數(shù)據(jù)提供驗證功能，并返回驗證結果到云數(shù)據(jù)推送平臺；根據(jù)云數(shù)據(jù)推送平臺提交的變更通知修改接口定義和數(shù)據(jù)交換組件；