企業(yè)數(shù)字化轉(zhuǎn)型大數(shù)據(jù)湖一體化運(yùn)營管理平臺建設(shè)方案整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行2023年目錄背景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念1生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式3共享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃4運(yùn)營：大數(shù)據(jù)湖一體化運(yùn)營管理建設(shè)5體系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路2整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行數(shù)據(jù)架構(gòu)與承載體系的演變過程完整性、一致性、交互穩(wěn)定性，并發(fā)性，異常可恢復(fù)性數(shù)據(jù)庫時代關(guān)系型數(shù)據(jù)庫解決了信息時代的數(shù)據(jù)資源存儲和管理，實現(xiàn)了電子化的文件柜采用數(shù)據(jù)模型表示數(shù)據(jù)結(jié)構(gòu)，冗余小面向事務(wù)管理，具有ACID特性數(shù)據(jù)統(tǒng)一管理和控制，易維護(hù)和擴(kuò)充程序與數(shù)據(jù)獨立，具有良好用戶接口1數(shù)據(jù)倉庫時代DW研究和解決了從數(shù)據(jù)庫中獲取信息的問題，通過OLAP、數(shù)據(jù)挖掘等幫助企業(yè)決策分析，構(gòu)建商業(yè)智能（BI）面向主題的，關(guān)注用戶重點業(yè)務(wù)集成的，跨越歷史、區(qū)域、系統(tǒng)…穩(wěn)定的，具有只讀性質(zhì)，以查詢?yōu)橹饕詴r間序列存儲，非規(guī)范化管理2大數(shù)據(jù)平臺時代面對大數(shù)據(jù)5V特點，采用分布式、并行化的存儲和計算架構(gòu)，提升數(shù)據(jù)處理能力對象：PB級，80%以上非結(jié)構(gòu)化數(shù)據(jù)技術(shù)：分布式架構(gòu)、云計算、虛擬化等CAP原理：CAPBASE目標(biāo)：線性擴(kuò)展、彈性計算、實時響應(yīng)、動態(tài)調(diào)節(jié)31970’s1990’sBillInmon提出DW概念E.F.Codd發(fā)明DBMS2000’sGoogle發(fā)布三篇論文存儲經(jīng)濟(jì)性、高性能、高擴(kuò)展、高并發(fā)、靈活模型適配性企業(yè)級跨域整合、業(yè)務(wù)擴(kuò)展性、架構(gòu)設(shè)計合理性、流程規(guī)范性背景：數(shù)據(jù)快速入湖，分析更加智能，應(yīng)用更加多樣，服務(wù)更加開放更多企業(yè)數(shù)據(jù)將進(jìn)入數(shù)據(jù)湖，來自傳統(tǒng)系統(tǒng)的數(shù)據(jù)和傳感器等新型數(shù)據(jù)資源不斷融合，數(shù)據(jù)孤島將繼續(xù)被打破。隨著大數(shù)據(jù)分析能力的不斷提高，人工智能的重要性被逐步提升。當(dāng)今最先進(jìn)的機(jī)器學(xué)習(xí)和人工智能系統(tǒng)正在超越傳統(tǒng)的基于規(guī)則的算法，創(chuàng)建出能夠理解、學(xué)習(xí)、預(yù)測、適應(yīng)，甚至可以自主操作的系統(tǒng)。數(shù)據(jù)服務(wù)數(shù)據(jù)應(yīng)用數(shù)據(jù)分析數(shù)據(jù)治理數(shù)據(jù)平臺以更加深度的數(shù)據(jù)開放，跨行業(yè)大數(shù)據(jù)關(guān)聯(lián)。以更多樣的應(yīng)用能力，構(gòu)建針對性行業(yè)解決方案。數(shù)據(jù)平臺存儲方式向數(shù)據(jù)湖模式轉(zhuǎn)變，多數(shù)據(jù)匯聚。支持結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)多數(shù)據(jù)入湖。入湖即治理，針對性對數(shù)據(jù)源系統(tǒng)輸入數(shù)據(jù)制定入湖標(biāo)準(zhǔn)數(shù)據(jù)驅(qū)動治理規(guī)范，以數(shù)據(jù)為核心實時制定治理規(guī)范。從深度學(xué)習(xí)到機(jī)器學(xué)習(xí)，從機(jī)器學(xué)習(xí)到人工智能。基于數(shù)據(jù)湖的大量的原始數(shù)據(jù)，深度訓(xùn)練，快速分析智能應(yīng)用，基于AI與機(jī)器學(xué)習(xí)分析，個性化服務(wù)提供。應(yīng)用快速構(gòu)建，基于數(shù)據(jù)湖進(jìn)行細(xì)粒度的收集、探索和分析數(shù)據(jù)湖數(shù)據(jù)治理數(shù)據(jù)分析數(shù)據(jù)應(yīng)用數(shù)據(jù)服務(wù)數(shù)據(jù)驅(qū)動規(guī)范，入湖標(biāo)準(zhǔn)制定人工智能分析，直引湖中數(shù)據(jù)大數(shù)據(jù)發(fā)展趨勢分析應(yīng)用更加智能，構(gòu)建更加快速深度數(shù)據(jù)開放，針對方案制定數(shù)據(jù)湖產(chǎn)生背景及概念提出企業(yè)現(xiàn)在正處于大數(shù)據(jù)的“焦慮期”存儲成本問題：海量數(shù)據(jù)需要在多環(huán)境、多級下重復(fù)存儲，存儲開銷大數(shù)據(jù)形態(tài)問題：應(yīng)用大多聚焦在經(jīng)過加工后的再生數(shù)據(jù)，原始數(shù)據(jù)無法得到充分利用業(yè)務(wù)響應(yīng)問題：必須事先進(jìn)行充分規(guī)劃和較長周期加工，欠缺運(yùn)營所需的靈活性和時效性數(shù)據(jù)集市數(shù)據(jù)湖問題？挑戰(zhàn)？變革！數(shù)據(jù)湖一詞是2011年由Pentaho首席技術(shù)官詹姆斯

迪克森最初提出的，參照“數(shù)據(jù)集市”得來。較小的數(shù)據(jù)存儲庫如同瓶裝水，經(jīng)過過濾包裝結(jié)構(gòu)化后以供使用數(shù)據(jù)來源于不同地方如同湖泊，存儲更自然狀態(tài)下的大量的水預(yù)先設(shè)定問題使用方式單一集中存儲+無限能力用戶各取所需把不同結(jié)構(gòu)的數(shù)據(jù)統(tǒng)一存儲，使不同數(shù)據(jù)有一致的存儲方式，在使用時方便連接，真正解決數(shù)據(jù)集成問題。全部采集（CollectEverything）隨處研究（DiveInAnywhere）靈活訪問（FlexibleAccess）數(shù)據(jù)湖的定義與特性存儲一切，分析一切，創(chuàng)建所需數(shù)據(jù)湖（DataLake）核心思想

把你以前在磁帶上擁有的東西倒入到數(shù)據(jù)湖，然后開始探索該數(shù)據(jù)。重要的

只把需要的數(shù)據(jù)倒入到Hadoop；如果你想結(jié)合來自數(shù)據(jù)湖的信息和客戶關(guān)系

管理系統(tǒng)（CRM）里面的信息，我們就進(jìn)行連接，只有需要時才執(zhí)行這番數(shù)

據(jù)結(jié)合。整理制作郎豐利1519

數(shù)據(jù)湖是一種在系統(tǒng)或存儲庫中以自然格式存儲數(shù)據(jù)的方法，它有助于以各種

模式和結(jié)構(gòu)形式配置數(shù)據(jù)，通常是對象塊或文件。湖中的數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)

從關(guān)系數(shù)據(jù)庫（行和列），半結(jié)構(gòu)化數(shù)據(jù)（CSV、XML、JSON的日志），非

結(jié)構(gòu)化數(shù)據(jù)（電子郵件，文檔，PDF）和二進(jìn)制數(shù)據(jù)（圖像、音頻、視頻）從

而形成一個集中式數(shù)據(jù)存儲容納所有形式的數(shù)據(jù)。詹姆斯·迪克森維基百科從對比中理解數(shù)據(jù)湖概念—優(yōu)勢篇對比項數(shù)據(jù)倉庫數(shù)據(jù)湖支持?jǐn)?shù)據(jù)類型有限的數(shù)據(jù)類型支持，以結(jié)構(gòu)化為主支持結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)采集方式過程開始于業(yè)務(wù)流程識別，通常由數(shù)據(jù)管理者和業(yè)務(wù)負(fù)責(zé)人基于數(shù)據(jù)和業(yè)務(wù)的某種假設(shè)在數(shù)據(jù)湖世界里，沒有關(guān)于已經(jīng)取得的數(shù)據(jù)假設(shè)。一旦數(shù)據(jù)發(fā)生，即開始在細(xì)粒度級別收集數(shù)據(jù)。業(yè)務(wù)流程發(fā)現(xiàn)基于數(shù)據(jù)與輸入數(shù)據(jù)數(shù)據(jù)處理能力寫入模式，建立模型對數(shù)據(jù)進(jìn)行某類格式和結(jié)構(gòu)的處理，為了減少數(shù)據(jù)的復(fù)雜性，比較難于實現(xiàn)上卷（Rollup）和鉆?。―rilldown）分析，該設(shè)計可能需要妥協(xié)一定粒度的數(shù)據(jù)讀取模式，接受原始形式的數(shù)據(jù)，在數(shù)據(jù)細(xì)粒度級別收集、探索和分析非常簡單架構(gòu)重建能力數(shù)據(jù)庫架構(gòu)演變需要謹(jǐn)慎，過程耗時，成本較高，影響較大，需要對原有數(shù)據(jù)進(jìn)行重構(gòu)不存在結(jié)構(gòu)問題，支持復(fù)雜數(shù)據(jù)類型，便于重置數(shù)據(jù)模型、查詢和應(yīng)用，并具有簡單的重建關(guān)系的能力動態(tài)性敏捷性差，采用靜態(tài)固定配置，基于業(yè)務(wù)流程驅(qū)動而設(shè)計系統(tǒng)高度敏捷，動態(tài)靈活配置，基于數(shù)據(jù)的業(yè)務(wù)流程定義擴(kuò)展性提供預(yù)定義的業(yè)務(wù)需求點燃創(chuàng)新和新的商業(yè)機(jī)會從對比中理解數(shù)據(jù)湖概念—劣勢篇對比項數(shù)據(jù)倉庫數(shù)據(jù)湖數(shù)據(jù)規(guī)劃體系具有周密的數(shù)據(jù)發(fā)現(xiàn)、采集、探索和轉(zhuǎn)換的數(shù)據(jù)計劃，易于突顯數(shù)據(jù)價值不太重視事先的數(shù)據(jù)規(guī)劃，允許存儲任何數(shù)據(jù)，難以抓取數(shù)據(jù)價值數(shù)據(jù)利用效率數(shù)據(jù)利用率高，按數(shù)據(jù)優(yōu)先級和數(shù)據(jù)可用性的大小進(jìn)行組織，可以快速定位所需數(shù)據(jù)數(shù)據(jù)利用率低，缺少數(shù)據(jù)優(yōu)先級排序，需要花費(fèi)大量時間查找和分析前的準(zhǔn)備數(shù)據(jù)需求響應(yīng)能力具有較高的需求響應(yīng)能力，可以保證平穩(wěn)高效的數(shù)據(jù)訪問數(shù)據(jù)響應(yīng)延遲較高，整個分析過程容易中斷復(fù)雜性和難度較低，建設(shè)規(guī)模與成本可控很高，建設(shè)難度與規(guī)模呈線性增長趨勢，隱性成本較高邏輯可解釋性數(shù)據(jù)組織邏輯性強(qiáng)，數(shù)據(jù)關(guān)系可解釋性較高欠缺語義一致性和嚴(yán)格的元數(shù)據(jù)，數(shù)據(jù)關(guān)系較為松散，難以解釋安全性多年發(fā)展歷程，保護(hù)數(shù)據(jù)的能力比較成熟比較新的技術(shù)，需要持續(xù)完善適用對象企業(yè)的業(yè)務(wù)行家和專業(yè)人員，技術(shù)門檻低面向熟練用戶、科學(xué)領(lǐng)域的數(shù)據(jù)科學(xué)家，技術(shù)門檻高潛在風(fēng)險數(shù)據(jù)湖數(shù)據(jù)沼澤數(shù)據(jù)湖是大數(shù)據(jù)概念的延伸多樣化的數(shù)據(jù)存儲高效的數(shù)據(jù)處理存儲全部數(shù)據(jù)處理任何數(shù)據(jù)訪問任何數(shù)據(jù)數(shù)據(jù)能力要求支持所有用戶更容易適應(yīng)變化更快的洞悉能力IT能力要求數(shù)據(jù)湖的能力視圖數(shù)據(jù)湖并非是個全新概念“數(shù)據(jù)湖”是關(guān)于企業(yè)應(yīng)用大數(shù)據(jù)的概念，是面向企業(yè)的最佳的大數(shù)據(jù)的解決方案“數(shù)據(jù)湖”不僅是數(shù)據(jù)存儲和處理的單元，也是釋放數(shù)據(jù)價值的過程企業(yè)大數(shù)據(jù)應(yīng)用成功的關(guān)鍵并不是存儲所有的數(shù)據(jù)，而是要創(chuàng)建一個更有意義的“數(shù)據(jù)湖”，幫助企業(yè)加速提取高價值數(shù)據(jù)的速度數(shù)據(jù)湖是大數(shù)據(jù)發(fā)展方向上的高級階段，是一種建設(shè)理念，而不是一種特定的實施方法“數(shù)據(jù)湖”是個架構(gòu)概念，是數(shù)據(jù)倉庫的一種演進(jìn)，是一種大數(shù)據(jù)概念下的延伸數(shù)據(jù)湖概念上的甄別1、用于安置企業(yè)所有數(shù)據(jù)的一個數(shù)據(jù)倉庫或數(shù)據(jù)集市2、替代運(yùn)營數(shù)據(jù)存儲（ODS）3、高性能的生產(chǎn)環(huán)境4、生產(chǎn)型報表的應(yīng)用程序5、一個專門建立的系統(tǒng)來解決一個特定的問題（盡管專門建立的數(shù)據(jù)集市可以從數(shù)據(jù)湖中提供）1、用戶可以訪問大量原始數(shù)據(jù)的環(huán)境2、一個開發(fā)和驗證分析模型的環(huán)境，然后將其轉(zhuǎn)化為生產(chǎn)3、用于探索數(shù)據(jù)以獲得洞察力的分析沙箱4、企業(yè)級目錄，可幫助用戶查找數(shù)據(jù)并將業(yè)務(wù)術(shù)語與技術(shù)元數(shù)據(jù)鏈接起來5、一個支持重用數(shù)據(jù)轉(zhuǎn)換和查詢的環(huán)境數(shù)據(jù)湖是……數(shù)據(jù)湖不是……數(shù)據(jù)湖體系的架構(gòu)規(guī)劃Hadoop不一定是數(shù)據(jù)湖的組成部分，只是它是目前最理想的選擇！數(shù)據(jù)湖的邏輯架構(gòu)數(shù)據(jù)湖的數(shù)據(jù)架構(gòu)持久層（PersitentLayer）：存放所有從和外部獲取的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)分析沙箱（AnalyticsSandbox）：數(shù)據(jù)科學(xué)家和分析師被授予持久層的訪問權(quán)限并使用進(jìn)行數(shù)據(jù)研究和實驗探索數(shù)據(jù)源（Curated）：數(shù)據(jù)分析師會將有商業(yè)價值的數(shù)據(jù)進(jìn)行處理并創(chuàng)建新的數(shù)據(jù)源以提供給業(yè)務(wù)分析師可操作層（Operationallayer）：業(yè)務(wù)分析師繼續(xù)精煉已處理過的數(shù)據(jù)，和數(shù)據(jù)管理團(tuán)隊一起將這些數(shù)據(jù)轉(zhuǎn)換為更為容易操作和使用的數(shù)據(jù)，存放之以便得到更廣泛的使用數(shù)據(jù)湖建設(shè)的四個階段整合數(shù)據(jù)湖基礎(chǔ)設(shè)施可擴(kuò)展的數(shù)據(jù)處理和攝入數(shù)據(jù)目錄管理趨于完善EDW與DataLake協(xié)作對外生產(chǎn)價值輸送能力數(shù)據(jù)服務(wù)和運(yùn)營管理能力端到端的業(yè)務(wù)支撐能力穩(wěn)定的成熟度服務(wù)架構(gòu)靈活完善的企業(yè)運(yùn)營模式分析能力增強(qiáng)優(yōu)化探索環(huán)境豐富價值發(fā)現(xiàn)模型價值挖掘階段基礎(chǔ)架構(gòu)階段成熟運(yùn)營階段協(xié)作交互階段01020304大多數(shù)企業(yè)處于前三個階段的建設(shè)和完善過程中……建設(shè)難點與風(fēng)險數(shù)據(jù)湖關(guān)鍵點數(shù)據(jù)湖體系的建設(shè)要點與風(fēng)險分析靈活自動化的采集與存儲組織和編目數(shù)據(jù)管理統(tǒng)一的透明訪問方式數(shù)據(jù)質(zhì)量和可靠性無感知的分布式架構(gòu)（存儲、計算、網(wǎng)絡(luò)）企業(yè)全局?jǐn)?shù)據(jù)的掌握與預(yù)測統(tǒng)一元數(shù)據(jù)規(guī)范和管控能力業(yè)務(wù)關(guān)聯(lián)場景的數(shù)據(jù)理解系統(tǒng)化的質(zhì)量管控體系分布技術(shù)的規(guī)劃和擴(kuò)展能力參考：來自實踐中數(shù)據(jù)湖建設(shè)內(nèi)容目錄背景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念1生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式3共享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃4運(yùn)營：大數(shù)據(jù)湖一體化運(yùn)營管理建設(shè)5體系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路2生產(chǎn)型系統(tǒng)分析型系統(tǒng)數(shù)據(jù)接入數(shù)據(jù)存儲生產(chǎn)數(shù)據(jù)(1+N)操作/臨時存儲原生數(shù)據(jù)(1+N)就近/分域存儲應(yīng)用數(shù)據(jù)(N)分區(qū)建設(shè)應(yīng)用計算處理整合數(shù)據(jù)(1)全網(wǎng)/分層支撐協(xié)同計算引擎實時檢索和流處理引擎結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫/格式文件等）半結(jié)構(gòu)化數(shù)據(jù)（XML/TXT等）非結(jié)構(gòu)化數(shù)據(jù)（語音、視頻等）統(tǒng)一索引層計算側(cè)cache生產(chǎn)系統(tǒng)駐留統(tǒng)一接入配置生態(tài)圈系統(tǒng)PB級存儲OracleMySqlHDFSHbaseGreenplumTXTTB級計算訪問共享API數(shù)據(jù)沙箱訪問接口（JDBC、ODBC）同源異構(gòu)訪問挖掘工具交互分析OLAP應(yīng)用構(gòu)建工具生產(chǎn)直采前置采集存儲計算加速離線批處理引擎交互式查詢引擎計算資源調(diào)度IOT接入BSSOSSMSS網(wǎng)絡(luò)/平臺生態(tài)圈同步鏡像運(yùn)營管控采集接入規(guī)范源數(shù)據(jù)提供規(guī)范數(shù)據(jù)分類規(guī)范數(shù)據(jù)模型規(guī)范元字典規(guī)范資源申請規(guī)范計算調(diào)度規(guī)范訪問接入規(guī)范數(shù)據(jù)共享標(biāo)準(zhǔn)生產(chǎn)模型規(guī)范數(shù)據(jù)湖統(tǒng)一目錄<統(tǒng)一服務(wù)數(shù)據(jù)集>邏輯化視圖緩存加速統(tǒng)一數(shù)據(jù)服務(wù)代理（DataBroker）統(tǒng)一數(shù)據(jù)接入跨架構(gòu)數(shù)據(jù)聯(lián)邦存儲規(guī)范數(shù)據(jù)安全規(guī)范角色權(quán)限規(guī)范運(yùn)營管理規(guī)范資源池化

彈性伸縮自動調(diào)度

按需使用應(yīng)用專區(qū)省分專區(qū)生態(tài)圈專區(qū)…源端系統(tǒng)可視化定義

即配即用透明化部署

實時接入調(diào)度平臺工具外部系統(tǒng)互聯(lián)網(wǎng)合作伙伴大吞吐管道服務(wù)對象外部系統(tǒng)互聯(lián)網(wǎng)網(wǎng)絡(luò)爬蟲主數(shù)據(jù)(1)全網(wǎng)統(tǒng)一大數(shù)據(jù)湖體系規(guī)劃大數(shù)據(jù)湖存儲能力規(guī)劃——統(tǒng)一標(biāo)準(zhǔn)/分區(qū)存儲制定全集團(tuán)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，采取分域分類的數(shù)據(jù)入湖策略，構(gòu)建生產(chǎn)、原生、整合/應(yīng)用、專區(qū)等分區(qū)數(shù)據(jù)存儲及計算能力，實現(xiàn)數(shù)據(jù)原生入湖、按需使用的宗旨，為全國1+31省提供應(yīng)用數(shù)據(jù)服務(wù)能力，注智生產(chǎn)激發(fā)生產(chǎn)力。數(shù)據(jù)存儲數(shù)據(jù)接入數(shù)據(jù)訪問運(yùn)營管理數(shù)據(jù)計算計算資源管理資源池化，彈性技術(shù)自動調(diào)度，按需使用實時流式離線批量內(nèi)存計算及緩存機(jī)器學(xué)習(xí)交互式查詢協(xié)同計算非結(jié)構(gòu)化計算存儲資源管理結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)（日志/XML文件等）非結(jié)構(gòu)化數(shù)據(jù)（文件/圖片/音頻/視頻等）省份專區(qū)生態(tài)圈專區(qū)內(nèi)蒙生產(chǎn)數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)整合數(shù)據(jù)區(qū)實體關(guān)聯(lián)視圖主數(shù)據(jù)區(qū)省份B/O側(cè)生產(chǎn)系統(tǒng)集團(tuán)橫向系統(tǒng)生態(tài)圈生產(chǎn)系統(tǒng)網(wǎng)絡(luò)/平臺生產(chǎn)系統(tǒng)（前置預(yù)處理）編碼統(tǒng)一轉(zhuǎn)換實體對齊客戶產(chǎn)品渠道營銷資源服務(wù)自然人貴州河北遼寧寧夏…互聯(lián)網(wǎng)金融智能連接智慧家庭物聯(lián)網(wǎng)新興ICT人員組織資源產(chǎn)品客戶…BSS原生數(shù)據(jù)OSS原生數(shù)據(jù)MSS原生數(shù)據(jù)網(wǎng)絡(luò)/平臺數(shù)據(jù)集團(tuán)橫向數(shù)據(jù)生態(tài)圈-ICT生態(tài)圈-金融…存儲分區(qū)原則：生產(chǎn)數(shù)據(jù)區(qū)：遵循電信集團(tuán)數(shù)據(jù)建模標(biāo)準(zhǔn)及主數(shù)據(jù)規(guī)范要求；規(guī)范層面屬于大數(shù)據(jù)湖范疇，物理資源層面可采用湖資源也可自建；原生數(shù)據(jù)區(qū)：分域分類存儲生產(chǎn)數(shù)據(jù)；將非標(biāo)準(zhǔn)數(shù)據(jù)做標(biāo)準(zhǔn)化轉(zhuǎn)化；整合數(shù)據(jù)區(qū)：采用大數(shù)據(jù)挖掘等技術(shù)進(jìn)行實體歸集補(bǔ)全；構(gòu)建實體關(guān)聯(lián)視圖；主數(shù)據(jù)區(qū)：存儲企業(yè)級全網(wǎng)主數(shù)據(jù)，大數(shù)據(jù)主數(shù)據(jù)唯一提供者；應(yīng)用專區(qū)：本著數(shù)據(jù)不出湖，充分挖掘數(shù)據(jù)價值原則，為使用者提供基于自有、原生、整合數(shù)據(jù)的處理空間，面向應(yīng)用開展數(shù)據(jù)處理工作；郎豐利整理制作大數(shù)據(jù)湖原生數(shù)據(jù)區(qū)規(guī)劃——原生入湖/分類存儲/按需使用以原生入湖分類存儲按需使用為宗旨，分域分類存儲按周期存儲原生數(shù)據(jù)，為云公司、集團(tuán)ODS、省份大數(shù)據(jù)平臺提供原生數(shù)據(jù)共享服務(wù)，為湖內(nèi)整合數(shù)據(jù)區(qū)、應(yīng)用數(shù)據(jù)區(qū)提供原生數(shù)據(jù)服務(wù)。原生數(shù)據(jù)區(qū)生態(tài)圈數(shù)據(jù)網(wǎng)絡(luò)/平臺數(shù)據(jù)集團(tuán)橫向數(shù)據(jù)BSS數(shù)據(jù)OSS數(shù)據(jù)MSS數(shù)據(jù)EDA數(shù)據(jù)共享服務(wù)數(shù)據(jù)生產(chǎn)系統(tǒng)BSS系統(tǒng)OSS系統(tǒng)MSS系統(tǒng)EDA系統(tǒng)集團(tuán)橫向系統(tǒng)生態(tài)圈系統(tǒng)…網(wǎng)絡(luò)/平臺系統(tǒng)原生入湖預(yù)處理入湖數(shù)據(jù)共享原生數(shù)據(jù)專區(qū)共享原生數(shù)據(jù)整合共享數(shù)據(jù)整合區(qū)數(shù)據(jù)專區(qū)實體關(guān)聯(lián)視圖共享互聯(lián)網(wǎng)金融智能連接智慧家庭物聯(lián)網(wǎng)新興ICT應(yīng)用枝繁葉茂類翼支付甜橙欺詐盾IWIFI統(tǒng)一賬號NFC產(chǎn)品4G-QoS云堤流量控海洋衛(wèi)星寬帶天翼網(wǎng)關(guān)智能組網(wǎng)視頻通話聚精彩車管專家樂駕天翼云盤企業(yè)云189郵箱翼校通翼機(jī)通+天翼對講旺鋪助手外勤助手號簿助手手機(jī)看店愛音樂天翼視訊天翼閱讀愛游戲愛動漫天翼空間易信新視通4G家庭云安全辦公專屬云加密通道影像云21CN地產(chǎn)大數(shù)據(jù)語音云旅游大數(shù)據(jù)移動感知DPI4G分組域話單固網(wǎng)DPI日志留存DPIOIDDMR/CDRPM/CM智能網(wǎng)管電渠悅ME商機(jī)行業(yè)短信ODMS量化微信易信號百4G數(shù)據(jù)集約積分政企KPI渠道終端…CRM計費(fèi)客戶服務(wù)PPMVSOP…綜合資源采購輔助財務(wù)輔助工程輔助ERP人力久其裝維EDA直采省+集團(tuán)電渠服務(wù)量省份專區(qū)生態(tài)圈專區(qū)…實體關(guān)聯(lián)視圖編碼標(biāo)準(zhǔn)化實體對齊移動/固網(wǎng)DPIOIDDMR/CDRCM/CP計費(fèi)詳單HANA數(shù)據(jù)ODMS翼支付集約積分…主數(shù)據(jù)區(qū)大數(shù)據(jù)湖整合數(shù)據(jù)區(qū)規(guī)劃——構(gòu)建企業(yè)級核心實體關(guān)聯(lián)視圖保存原子性：整合數(shù)據(jù)區(qū)數(shù)據(jù)不做聚合操作，保持?jǐn)?shù)據(jù)原子性，不影響專區(qū)應(yīng)用指標(biāo)加工處理；實體補(bǔ)齊性：對核心實體根據(jù)不同原生數(shù)據(jù)進(jìn)行屬性補(bǔ)齊；實體關(guān)聯(lián)性：面向?qū)嶓w全業(yè)務(wù)流程數(shù)據(jù)，整合各域數(shù)據(jù)實現(xiàn)實體跨域關(guān)聯(lián)視圖；共享一致性：按照湖應(yīng)用的使用需求進(jìn)行共性提煉，實現(xiàn)統(tǒng)一的公共寬表建設(shè)；整合數(shù)據(jù)區(qū)完成數(shù)據(jù)清洗、編碼轉(zhuǎn)換、實體對齊及構(gòu)建企業(yè)級核心實體關(guān)聯(lián)視圖，為應(yīng)用專區(qū)提供整合數(shù)據(jù)服務(wù)。整合數(shù)據(jù)區(qū)保持?jǐn)?shù)據(jù)原子性粒度，不對數(shù)據(jù)做聚合處理，不影響業(yè)務(wù)專區(qū)業(yè)務(wù)指標(biāo)加工處理。實體對齊實體關(guān)聯(lián)視圖參與營銷活動產(chǎn)品訂購資源配給上門服務(wù)用戶投訴修障維護(hù)用戶使用存量經(jīng)營用戶出賬產(chǎn)品實體跨域關(guān)聯(lián)視圖構(gòu)建BSS數(shù)據(jù)客戶信息訂購信息OSS數(shù)據(jù)MSS數(shù)據(jù)網(wǎng)絡(luò)/平臺裝維信息開通信息傭金結(jié)算成本信息用戶投訴率行為數(shù)據(jù)質(zhì)量數(shù)據(jù)消費(fèi)信息服務(wù)信息資源數(shù)據(jù)報障數(shù)據(jù)財務(wù)收入補(bǔ)貼數(shù)據(jù)客戶產(chǎn)品渠道營銷資源服務(wù)合作伙伴核心實體自然人…CP/SP訂購位置信息自然人員工組織地域政企客戶合作伙伴數(shù)據(jù)清洗外部數(shù)據(jù)管理規(guī)則管理實體沉淀聚合管理沖突管理大數(shù)據(jù)湖應(yīng)用數(shù)據(jù)專區(qū)規(guī)劃——面向應(yīng)用的自建自維數(shù)據(jù)專區(qū)獨立性：保證資源獨立性、數(shù)據(jù)獨立性、應(yīng)用獨立性；可用性：保證存儲、計算、數(shù)據(jù)資源高可用性及穩(wěn)定性；確保專區(qū)資源可在線、平滑擴(kuò)展；易用性：提供豐富的可視化開發(fā)及專區(qū)運(yùn)營工具；可管理性：大數(shù)據(jù)湖對專區(qū)具備監(jiān)控、審計能力；數(shù)據(jù)服務(wù)性：專區(qū)數(shù)據(jù)可以數(shù)據(jù)形式服務(wù)，也可開發(fā)應(yīng)用直接鏈接調(diào)用；大數(shù)據(jù)湖為業(yè)務(wù)應(yīng)用場景提供具有數(shù)據(jù)存儲、數(shù)據(jù)計算、數(shù)據(jù)服務(wù)及數(shù)據(jù)應(yīng)用訪問能力的應(yīng)用專區(qū)，用戶可自行獲取數(shù)據(jù)，面向特定應(yīng)用場景完成數(shù)據(jù)加工處理；大數(shù)據(jù)湖提供專區(qū)申請及監(jiān)控管理，以保證專區(qū)健康、有價運(yùn)營。數(shù)據(jù)接入源端生產(chǎn)系統(tǒng)/數(shù)據(jù)倉庫省份專區(qū)應(yīng)用生態(tài)圈專區(qū)應(yīng)用其它專區(qū)應(yīng)用應(yīng)用數(shù)據(jù)專區(qū)專區(qū)管理整合數(shù)據(jù)區(qū)主數(shù)據(jù)區(qū)省份專區(qū)-內(nèi)蒙自有數(shù)據(jù)原生數(shù)據(jù)整合區(qū)數(shù)據(jù)應(yīng)用數(shù)據(jù)專區(qū)申請專區(qū)審批專區(qū)劃分專區(qū)變更專區(qū)回收運(yùn)營監(jiān)控資源利用率數(shù)據(jù)處理規(guī)范性使用頻度應(yīng)用成果評估安全性監(jiān)控省份專區(qū)-…生態(tài)圈專區(qū)-…原生數(shù)據(jù)區(qū)實時采集批量采集消息采集共享訪問大數(shù)據(jù)湖主數(shù)據(jù)區(qū)規(guī)劃——企業(yè)級核心/統(tǒng)一運(yùn)營保障主數(shù)據(jù)區(qū)負(fù)責(zé)存儲全域主數(shù)據(jù)，并確保與主數(shù)據(jù)生產(chǎn)者保持同步，為大數(shù)據(jù)湖各區(qū)提供唯一主數(shù)據(jù)源，以保證湖中企業(yè)級核心實體數(shù)據(jù)的一致性和完整性，提升大數(shù)據(jù)湖運(yùn)營效率及效果。統(tǒng)一主數(shù)據(jù)標(biāo)準(zhǔn)：面向全國各域各生產(chǎn)系統(tǒng)提供主數(shù)據(jù)標(biāo)準(zhǔn)；統(tǒng)一主數(shù)據(jù)存儲：面向大數(shù)據(jù)湖提供統(tǒng)一主數(shù)據(jù)存儲能力；統(tǒng)一主數(shù)據(jù)整合：清洗整合各域主數(shù)據(jù)，形成統(tǒng)一、標(biāo)準(zhǔn)、唯一主數(shù)據(jù)；統(tǒng)一主數(shù)據(jù)服務(wù)：為大數(shù)據(jù)湖中各區(qū)提供主數(shù)據(jù)服務(wù)；數(shù)據(jù)接入生產(chǎn)數(shù)據(jù)入湖主數(shù)據(jù)區(qū)主數(shù)據(jù)管理主數(shù)據(jù)整合主數(shù)據(jù)目錄主數(shù)據(jù)共享主數(shù)據(jù)評估客戶產(chǎn)品渠道訂單主數(shù)據(jù)組織…數(shù)據(jù)專區(qū)集團(tuán)橫向生產(chǎn)系統(tǒng)省份BMO生產(chǎn)系統(tǒng)網(wǎng)絡(luò)/平臺系統(tǒng)生態(tài)圈生產(chǎn)系統(tǒng)其他系統(tǒng)整合數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)原生數(shù)據(jù)服務(wù)專區(qū)主數(shù)據(jù)入湖主數(shù)據(jù)主數(shù)據(jù)整合數(shù)據(jù)原生數(shù)據(jù)省份專區(qū)生態(tài)圈專區(qū)內(nèi)蒙貴州河北遼寧寧夏…金融智能連接智慧家庭物聯(lián)網(wǎng)新興ICT目錄背景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念1生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式3共享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃4運(yùn)營：大數(shù)據(jù)湖一體化運(yùn)營管理建設(shè)5體系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路2已建新建生態(tài)圈系統(tǒng)大數(shù)據(jù)湖數(shù)據(jù)接入智能連接智慧家庭互聯(lián)網(wǎng)金融新興ICT物聯(lián)網(wǎng)生產(chǎn)系統(tǒng)駐留生產(chǎn)直采前置采集IOT接入同步鏡像iWIFI海洋寬帶天翼高清天翼網(wǎng)關(guān)智能組網(wǎng)翼支付甜橙欺詐盾天翼云盤189郵箱家庭云地產(chǎn)大數(shù)據(jù)物聯(lián)網(wǎng)卡車管專家數(shù)據(jù)湖采集一站式配置采集源連接/采集方式（FTP/API/流式/…）采集類型（全量/增量）/采集計劃/采集存儲數(shù)據(jù)存儲生產(chǎn)副本（已建）生產(chǎn)正本（新建）原生數(shù)據(jù)智能連接智慧家庭互聯(lián)網(wǎng)金融物聯(lián)網(wǎng)新興ICT整合數(shù)據(jù)統(tǒng)一賬號客戶特征行為軌跡應(yīng)用數(shù)據(jù)地產(chǎn)大數(shù)據(jù)專區(qū)車管專家營銷云盤客戶洞察金融欺詐分析專區(qū)家庭圈畫像計算處理實時流處理引擎StromSparkstreaming離線批處理引擎HiveMPP機(jī)器學(xué)習(xí)引擎R圖數(shù)據(jù)庫協(xié)同計算引擎DataBroker內(nèi)存計算引擎Redis計算資源按需動態(tài)調(diào)配計算需求分類/資源隊列管控/租戶任務(wù)管理

計算規(guī)模/優(yōu)先級別/時間窗規(guī)劃訪問共享智慧家庭新興ICT智能連接IPTV用戶流量軌跡客戶感知數(shù)據(jù)互聯(lián)網(wǎng)金融翼支付合作商戶客戶金融特征支付風(fēng)險識別物聯(lián)網(wǎng)終端設(shè)備列表客戶故障記錄生態(tài)圈統(tǒng)一共享目錄生態(tài)圈客戶數(shù)據(jù)/特征畫像數(shù)據(jù)/客戶感知數(shù)據(jù)/…

生態(tài)圈原生數(shù)據(jù)/主數(shù)據(jù)/整合數(shù)據(jù)/專區(qū)數(shù)據(jù)生態(tài)運(yùn)營協(xié)同生態(tài)資源互換生態(tài)精準(zhǔn)營銷生態(tài)創(chuàng)新發(fā)現(xiàn)生態(tài)圈應(yīng)用APIJDBCODBC沙箱共性基礎(chǔ)數(shù)據(jù)專業(yè)應(yīng)用數(shù)據(jù)基于大數(shù)據(jù)湖的生態(tài)圈建設(shè)模式生態(tài)圈入湖指導(dǎo)原則核心生態(tài)圈數(shù)據(jù)量龐大、繁雜，同時入庫對計算資源、并行處理能力、運(yùn)營效率提出了極大的要求，基于此，應(yīng)構(gòu)建科學(xué)、完整的入湖流程及標(biāo)準(zhǔn)，保證生態(tài)圈數(shù)據(jù)能夠順利、高效的入湖并發(fā)揮效果目標(biāo)驅(qū)動入湖原則貼近實際：充分融合業(yè)務(wù)需求，遵循業(yè)務(wù)優(yōu)先原則計算效率：充分保證數(shù)據(jù)質(zhì)量，讓計算效率顯著提升邊際效益：合理控制數(shù)據(jù)入湖速度、在成本控制的前提下，實現(xiàn)效益最大化生態(tài)創(chuàng)新：數(shù)據(jù)、業(yè)務(wù)、需求間的融會貫通，實現(xiàn)生態(tài)圈的關(guān)聯(lián)及衍生場景業(yè)務(wù)驅(qū)動數(shù)據(jù)分類了解生態(tài)業(yè)務(wù)關(guān)鍵概念生態(tài)核心資料1掌握生態(tài)整體經(jīng)營狀況生態(tài)經(jīng)營數(shù)據(jù)2開展生態(tài)業(yè)務(wù)數(shù)字化營銷生態(tài)營銷數(shù)據(jù)3實現(xiàn)生態(tài)管理運(yùn)營一體化生態(tài)管理數(shù)據(jù)4開拓生態(tài)業(yè)務(wù)智慧創(chuàng)新生態(tài)協(xié)同數(shù)據(jù)5價值驅(qū)動入湖邏輯維度說明權(quán)重系數(shù)優(yōu)先級準(zhǔn)確性數(shù)據(jù)準(zhǔn)確無誤0.282高完整性數(shù)據(jù)完整0.213中一致性數(shù)據(jù)記錄規(guī)范0.087低及時性數(shù)據(jù)獲取及時0.234中價值性數(shù)據(jù)價值0.235高復(fù)用性關(guān)聯(lián)性0.347高生態(tài)圈數(shù)據(jù)入湖原則優(yōu)先滿足日常運(yùn)營管理業(yè)務(wù)價值雙驅(qū)動同步先核心后邊際再全貌先難后易先生態(tài)高于業(yè)務(wù)次高于運(yùn)營管理主數(shù)據(jù)客戶數(shù)據(jù)產(chǎn)品數(shù)據(jù)賬戶數(shù)據(jù)….經(jīng)營數(shù)據(jù)收入數(shù)據(jù)發(fā)展數(shù)據(jù)繳費(fèi)數(shù)據(jù)…..營銷數(shù)據(jù)業(yè)務(wù)訂購數(shù)據(jù)紅包數(shù)據(jù)金融消費(fèi)數(shù)據(jù)…..管理數(shù)據(jù)財務(wù)數(shù)據(jù)成本/補(bǔ)貼數(shù)據(jù)資源/庫存數(shù)據(jù)……業(yè)態(tài)生產(chǎn)數(shù)據(jù)原始數(shù)據(jù)生態(tài)協(xié)同數(shù)據(jù)業(yè)務(wù)流程數(shù)據(jù)…..解決生產(chǎn)經(jīng)營看數(shù)：以生態(tài)圈應(yīng)用和價值提升需求為導(dǎo)向，優(yōu)先將客戶、經(jīng)營、營銷、管理、生產(chǎn)方面的核心主數(shù)據(jù)入湖，滿足當(dāng)前業(yè)務(wù)發(fā)展和管理需求階段一主數(shù)據(jù)渠道數(shù)據(jù)供應(yīng)商數(shù)據(jù)商客數(shù)據(jù)….經(jīng)營數(shù)據(jù)活動數(shù)據(jù)交易類數(shù)據(jù)….營銷數(shù)據(jù)業(yè)務(wù)感知數(shù)據(jù)卡券數(shù)據(jù)保險數(shù)據(jù)….管理數(shù)據(jù)人力資源數(shù)據(jù)運(yùn)維數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)….業(yè)態(tài)生產(chǎn)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)用戶行為數(shù)據(jù)活動數(shù)據(jù)….補(bǔ)充采集數(shù)據(jù)….….階段二開展大數(shù)據(jù)價值挖掘：將各模塊未導(dǎo)入的全量數(shù)據(jù)入湖，同時豐富生態(tài)邊際和互聯(lián)網(wǎng)數(shù)據(jù)，拓展應(yīng)用場景，實現(xiàn)大數(shù)據(jù)精準(zhǔn)營銷和管理數(shù)據(jù)深度拓展：不斷豐富和拓展數(shù)據(jù)湖的數(shù)據(jù)，包含數(shù)據(jù)的橫向范圍和縱向深度階段三缺失的原生態(tài)數(shù)據(jù)….….其他數(shù)據(jù)….….生態(tài)圈入湖建設(shè)思路與步驟生態(tài)圈入湖建設(shè)要求與規(guī)范生產(chǎn)源端規(guī)范入湖建設(shè)演進(jìn)生態(tài)圈入湖規(guī)范

價值

靈活生態(tài)數(shù)據(jù)運(yùn)營原生數(shù)據(jù)規(guī)范保障業(yè)務(wù)規(guī)范：業(yè)務(wù)指導(dǎo)、流程、制度等文檔主數(shù)據(jù)：范圍、內(nèi)容及管理規(guī)范數(shù)據(jù)字典：數(shù)據(jù)模型、編碼約束、元數(shù)據(jù)等數(shù)據(jù)流圖(DFD)：生產(chǎn)數(shù)據(jù)流、加工數(shù)據(jù)流等指標(biāo)口徑：術(shù)語定義、報表指標(biāo)說明等生態(tài)能力入湖規(guī)劃數(shù)據(jù)規(guī)模：生態(tài)全量、核心資料、經(jīng)營數(shù)據(jù)等大小更新頻率：交易頻率、業(yè)務(wù)變更頻率等存儲結(jié)構(gòu)：生產(chǎn)數(shù)據(jù)存儲模式、存儲周期、分層結(jié)構(gòu)等接入要求：I/O帶寬、接入約束、生產(chǎn)備份情況等生態(tài)入湖步驟依據(jù)數(shù)據(jù)價值推進(jìn)生態(tài)數(shù)據(jù)入湖生態(tài)圈需求驅(qū)動原生數(shù)據(jù)的入湖原生入湖演進(jìn)原則上遵循生態(tài)數(shù)據(jù)原生入湖當(dāng)原生入湖存在海量采集（性價比低），理解/支撐困難等

情況，允許按照如下原則進(jìn)行非原生數(shù)據(jù)入湖：核心和經(jīng)營入湖：非原生采集，匯入整合層營銷和運(yùn)營入湖：根據(jù)需要采集原生并逐步替換生態(tài)協(xié)同入湖：完全實現(xiàn)原生數(shù)據(jù)入湖生態(tài)業(yè)務(wù)變動大且原生結(jié)果滯后數(shù)據(jù)，允許前瞻性獲取生產(chǎn)變化過程表，避免數(shù)據(jù)模型的大幅調(diào)整原生數(shù)據(jù)入湖方案資料類：交易類：主數(shù)據(jù)/編碼類：實時全量同步運(yùn)營規(guī)范要求（聯(lián)動同步）業(yè)務(wù)調(diào)整通知：新業(yè)務(wù)定義，生產(chǎn)約束變更、業(yè)務(wù)流程變更等數(shù)據(jù)運(yùn)營同步：模型結(jié)構(gòu)變更、歷史數(shù)據(jù)調(diào)整、口徑新

增/調(diào)整等生產(chǎn)模型建設(shè)規(guī)范：新增/變更模型遵循大數(shù)據(jù)

湖整體規(guī)范要求初始化全量上傳后續(xù)變更采集全量合并整合歷史全量同步周期增量采集全量合并整合生態(tài)圈入湖要求立足中國電信企業(yè)級視角生產(chǎn)側(cè)與數(shù)據(jù)側(cè)建設(shè)協(xié)同生產(chǎn)：原生接入保障數(shù)據(jù)：共享服務(wù)保障運(yùn)營原則前瞻性全面性科學(xué)性合理性生態(tài)圈數(shù)據(jù)整合處理原則及關(guān)鍵點交費(fèi)助手用戶綁卡用戶代金券用戶甜橙白條用戶手機(jī)號碼統(tǒng)一客戶ID手機(jī)號碼交費(fèi)助手用戶ID綁卡用戶ID代金券用戶ID甜橙白條用戶ID與BSS一致……………定期保活期保添益寶基金產(chǎn)品申購表統(tǒng)一客戶ID理財類型理財產(chǎn)品支付類型理財金額與BSS一致…………動態(tài)屬性分離：采用實體屬性分解的模型設(shè)計方式，滿足業(yè)務(wù)多變的發(fā)展需求IDProductIDLoadDTSREC_SRC1PDT0012014.3.14理財2PDT0022014.3.15交費(fèi)助手IDCustomerIDProductIDChannelIDLoadDTSREC_SRC1ABC123456PDT001CNL0012014.3.14基金產(chǎn)品申購表2DFGSG768PDT002CNL0012014.3.15通訊繳費(fèi)3C00011PDT001CNL0022014.3.14添益寶4C12484PDT002CNL0022014.5.14生活繳費(fèi)IDCustomerIDLoadDTSREC_SRC1ABC1234562014.3.14理財2DFGSG7682014.3.15交費(fèi)助手客戶實體產(chǎn)品實體客戶產(chǎn)品訂購關(guān)系IDChannelIDLoadDTSREC_SRC1CNL0012014.3.14o2o商戶2CNL0022014.3.15網(wǎng)關(guān)商戶渠道實體IDProductID結(jié)算方式LoadDTSREC_SRC1PDT003全額2014.3.14代金券配置2PDT003差額2014.3.15代金券配置IDProductID生效方式LoadDTSREC_SRC1PDT003自動設(shè)置2014.3.14代金券配置2PDT003發(fā)放設(shè)置2014.3.15代金券配置產(chǎn)品屬性-生效方式產(chǎn)品屬性-結(jié)算方式生態(tài)業(yè)務(wù)聚合：聚焦各類業(yè)務(wù)應(yīng)用，規(guī)劃生態(tài)整合視圖核心實體對齊：跨業(yè)務(wù)的實體數(shù)據(jù)一致性關(guān)聯(lián)生態(tài)圈數(shù)據(jù)整合關(guān)鍵點支撐湖標(biāo)準(zhǔn)化的數(shù)據(jù)規(guī)范轉(zhuǎn)換；基于共性化數(shù)據(jù)處理，支撐廣泛、穩(wěn)定的共享應(yīng)用；大數(shù)據(jù)湖整合區(qū)建設(shè)原則跨域數(shù)據(jù)的關(guān)聯(lián)性和橫向?qū)R；統(tǒng)一ID生態(tài)圈自然人實體歸集與對齊客戶資料歸集應(yīng)具備基于資料信息的規(guī)則匹配識別和基于客戶海量的通信相關(guān)信息的挖掘識別方法：1）通過規(guī)則匹配識別技術(shù)，高效地完成準(zhǔn)確性較高的資料信息自然人識別；2）基于大數(shù)據(jù)技術(shù)構(gòu)建自然人識別模式，作為規(guī)則識別的有效補(bǔ)充，提高自然人識別成功率，減少人工核查確認(rèn)工作量。關(guān)鍵能力要求：規(guī)則識別和大數(shù)據(jù)技術(shù)識別配合完成資料聚合；深度應(yīng)用大數(shù)據(jù)識別技術(shù)，通過照片留存、交際圈、位置軌跡、虛擬身份等信息，識別出從資料層面不能反映出的同一自然人。大數(shù)據(jù)技術(shù)識別應(yīng)用到的技術(shù)：文本分詞、文本匹配、似度計算、多音字庫、象形字庫、網(wǎng)絡(luò)圖譜算法、指紋權(quán)重、關(guān)系傳遞等；聚合規(guī)則識別原生數(shù)據(jù)自然人沉淀物聯(lián)網(wǎng)互聯(lián)網(wǎng)金融智能連接智慧家庭自然人識別大數(shù)據(jù)識別照片留存交際圈位置軌跡虛擬身份繳費(fèi)信息終端信息客戶接觸…移動A套餐Iphone用戶客戶A1移動C套餐預(yù)付費(fèi)用戶客戶A1自然人:客戶A省分1省分2證件號碼姓名地址聯(lián)系人工作單位…規(guī)則庫綜合評價實體歸集過程原生數(shù)據(jù)基于實體完整性基于業(yè)務(wù)邏輯整合歸集自頂向下自底向上數(shù)據(jù)整合/加工規(guī)則用戶信息表用戶產(chǎn)品訂購客戶信息客戶實名認(rèn)證客戶聯(lián)系人信用度郵寄信息用戶積分編碼標(biāo)準(zhǔn)化模型轉(zhuǎn)化/編碼統(tǒng)一專區(qū)應(yīng)用保證上層覆蓋性自然人基本信息自然人有效移網(wǎng)戶數(shù)信息自然人黑名單信息自然人用戶360信息差異數(shù)據(jù)下發(fā)…自然人基本信息自然人擴(kuò)展信息自然人用戶信息自然人用戶擴(kuò)展屬性表自然人基本信息自然人擴(kuò)展信息自然人用戶信息自然人用戶擴(kuò)展信息差異數(shù)據(jù)實體歸集數(shù)據(jù)流程新興ICT生態(tài)圈數(shù)據(jù)接入與存儲通過對五大生態(tài)圈數(shù)據(jù)采集入湖，統(tǒng)一規(guī)范轉(zhuǎn)換后，為各類專區(qū)應(yīng)用提供數(shù)據(jù)支撐。生態(tài)圈入湖根據(jù)生態(tài)圈系統(tǒng)的建設(shè)情況，科學(xué)規(guī)劃多種采集方式入湖生態(tài)圈數(shù)據(jù)規(guī)范圍繞大數(shù)據(jù)湖功能分區(qū)，探索各類數(shù)據(jù)的存儲要求和能力建設(shè)生態(tài)應(yīng)用服務(wù)針對生態(tài)業(yè)務(wù)應(yīng)用需求，確定大數(shù)據(jù)湖的應(yīng)用支撐模式，構(gòu)建專區(qū)建設(shè)規(guī)范智能連接物聯(lián)網(wǎng)智慧家庭互聯(lián)網(wǎng)金融新興ICT原生數(shù)據(jù)區(qū)大數(shù)據(jù)湖五大生態(tài)圈數(shù)據(jù)批量采集實時采集準(zhǔn)實時采集整合數(shù)據(jù)區(qū)應(yīng)用數(shù)據(jù)區(qū)互聯(lián)網(wǎng)金融專區(qū)物聯(lián)網(wǎng)專區(qū)生態(tài)創(chuàng)新專區(qū)…互金業(yè)務(wù)訂購用戶行為軌跡…智能連接物聯(lián)網(wǎng)智慧家庭互聯(lián)網(wǎng)金融新興ICT…主數(shù)據(jù)區(qū)統(tǒng)一客戶信息生態(tài)業(yè)務(wù)產(chǎn)品統(tǒng)一帳戶信息標(biāo)準(zhǔn)編碼信息生態(tài)收入貢獻(xiàn)用戶關(guān)聯(lián)信息新業(yè)務(wù)采集入湖模式探索對接應(yīng)用需求專區(qū)規(guī)范制定數(shù)據(jù)分區(qū)規(guī)劃湖存儲功能定義生態(tài)采集支撐入湖采集能力驗證目錄背景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念1生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式3共享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃4運(yùn)營：大數(shù)據(jù)湖一體化運(yùn)營管理建設(shè)5體系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路2大數(shù)據(jù)場景下數(shù)據(jù)服務(wù)的能力建設(shè)要求大數(shù)據(jù)場景：混搭架構(gòu)平臺、多系統(tǒng)共存、不同數(shù)據(jù)體系、各種應(yīng)用場景需求統(tǒng)一標(biāo)準(zhǔn)化透明化安全高效

外部應(yīng)用的便捷接入

跨數(shù)據(jù)結(jié)構(gòu)的邏輯化訪問

靈活安全的權(quán)限管控機(jī)制統(tǒng)一標(biāo)準(zhǔn)化數(shù)據(jù)查詢跨底層數(shù)據(jù)存儲平臺混搭架構(gòu)平臺，如HDFS、MPP、SMP等多種數(shù)據(jù)存儲體系，如關(guān)系型DB、KV-DB、文件系統(tǒng)等通用的數(shù)據(jù)查詢語言，支持跨平臺訪問，如PL/SQL，HQL等多應(yīng)用系統(tǒng)的物理結(jié)構(gòu)透明化邏輯封裝，如OLTP、OLAP等多種數(shù)據(jù)服務(wù)場景的權(quán)限管控，如查詢、分析等多種應(yīng)用接入能力，如JDBC、Socket等大數(shù)據(jù)湖統(tǒng)一訪問共享建設(shè)規(guī)劃——統(tǒng)一目錄/透明訪問訪問共享數(shù)據(jù)服務(wù)中間件統(tǒng)一訪問共享：管、用、看管：基于湖中數(shù)據(jù)構(gòu)建統(tǒng)一數(shù)據(jù)目錄，屏蔽湖中數(shù)據(jù)物理存儲地址，提供實現(xiàn)湖中可共享數(shù)據(jù)的管理用：數(shù)據(jù)服務(wù)中間件為應(yīng)用提供多樣化數(shù)據(jù)接口訪問能力，如API、JDBC/ODBC、消息、訂閱等能力看：目錄視圖為開發(fā)者提供湖中可共享數(shù)據(jù)的統(tǒng)一目錄視圖，并管理湖中數(shù)據(jù)訪問授權(quán)數(shù)據(jù)計算與存儲資源計算引擎數(shù)據(jù)存儲文本數(shù)據(jù)ORACLEHIVEHBASE統(tǒng)一數(shù)據(jù)目錄數(shù)據(jù)讀取數(shù)據(jù)能力數(shù)據(jù)采集數(shù)據(jù)加工數(shù)據(jù)挖掘數(shù)據(jù)應(yīng)用數(shù)據(jù)可視化服務(wù)封裝數(shù)據(jù)訪問接口數(shù)據(jù)訪問接口API接口JDBC/ODBC消息數(shù)據(jù)緩存內(nèi)存計算數(shù)據(jù)訪問引擎函數(shù)計算統(tǒng)計分析規(guī)則配置接口鑒權(quán)數(shù)據(jù)授權(quán)…目錄管控數(shù)據(jù)開放權(quán)限申請授權(quán)審批訪問共享是湖中數(shù)據(jù)和應(yīng)用、能力之間的橋梁，任何功能/應(yīng)用模塊使用湖中數(shù)據(jù)時，不需要關(guān)心數(shù)據(jù)的存儲方式、存儲介質(zhì)、存儲位置等信息，只要和訪問共享連接既可以實現(xiàn)湖中數(shù)據(jù)的訪問統(tǒng)一訪問共享典型應(yīng)用場景數(shù)據(jù)挖掘共享數(shù)據(jù)訪問數(shù)據(jù)挖掘數(shù)據(jù)挖掘結(jié)果數(shù)據(jù)探索數(shù)據(jù)訪問生產(chǎn)系統(tǒng)自有數(shù)據(jù)接口遵循入湖規(guī)范訪問共享統(tǒng)一數(shù)據(jù)目錄專區(qū)應(yīng)用共享數(shù)據(jù)訪問專區(qū)數(shù)據(jù)訪問數(shù)據(jù)加工數(shù)據(jù)訪問數(shù)據(jù)計算與存儲資源原生數(shù)據(jù)整合數(shù)據(jù)專區(qū)數(shù)據(jù)生產(chǎn)數(shù)據(jù)能力開放（API）共享數(shù)據(jù)訪問服務(wù)封裝服務(wù)訂閱服務(wù)網(wǎng)關(guān)數(shù)據(jù)訪問數(shù)據(jù)可視化1234數(shù)據(jù)服務(wù)中間件目錄管控新建系統(tǒng)專區(qū)應(yīng)用開發(fā)者通過統(tǒng)一訪問引擎訪問湖中共享數(shù)據(jù)，專區(qū)應(yīng)用直接訪問自有專區(qū)數(shù)據(jù)，實現(xiàn)湖中數(shù)據(jù)統(tǒng)一共享管控和應(yīng)用訪問靈活訪問自有專區(qū)數(shù)據(jù)統(tǒng)一數(shù)據(jù)目錄——共享列表/質(zhì)量保障/安全可控訪問共享數(shù)據(jù)存儲元數(shù)據(jù)管理數(shù)據(jù)描述及統(tǒng)計信息數(shù)據(jù)稽核統(tǒng)一數(shù)據(jù)目錄人工審核數(shù)據(jù)質(zhì)量審核數(shù)據(jù)安全審核開放范圍審核開放流程定義運(yùn)營者審核通過表、視圖結(jié)合元數(shù)據(jù)及數(shù)據(jù)統(tǒng)計信息數(shù)據(jù)服務(wù)中間件目錄管控湖中數(shù)據(jù)只有經(jīng)過質(zhì)量和安全評估，符合應(yīng)用開發(fā)的條件后，在明確開放審批流程的前提下，進(jìn)入統(tǒng)一數(shù)據(jù)目錄對外共享基于湖中具備共享條件的數(shù)據(jù)構(gòu)建統(tǒng)一數(shù)據(jù)目錄，通過訪問引擎為應(yīng)用開發(fā)者、數(shù)據(jù)運(yùn)營者提供湖中數(shù)據(jù)訪問能力，是數(shù)據(jù)應(yīng)用、運(yùn)營和價值實現(xiàn)的基礎(chǔ)。大數(shù)據(jù)服務(wù)關(guān)鍵能力：統(tǒng)一數(shù)據(jù)接入/轉(zhuǎn)換/服務(wù)對接能力統(tǒng)一數(shù)據(jù)服務(wù)代理DataBroker大數(shù)據(jù)系統(tǒng)Hive、Hbase、Impala、…數(shù)據(jù)服務(wù)Query、API等能力開放工具查詢工具、挖掘工具、OLAP工具等數(shù)據(jù)應(yīng)用報表、應(yīng)用等SMP數(shù)據(jù)庫Oracle、Mysql、DB2、…解釋查詢統(tǒng)一對外接入（JDBC、Socket、Restful）統(tǒng)一數(shù)據(jù)連接（Agentconnector）OLAP引擎ApacheKylin、Cognos、…MPP數(shù)據(jù)庫GreenPlum、Vertica、…傳統(tǒng)文件系統(tǒng)Excel、XML、Json、…AQLPL/SQLHQL…數(shù)據(jù)聯(lián)邦PostgresSQL性能安全性能優(yōu)化數(shù)據(jù)安全緩存優(yōu)先內(nèi)存轉(zhuǎn)換訪問鑒權(quán)脫敏加密元數(shù)據(jù)數(shù)據(jù)集關(guān)聯(lián)統(tǒng)一維表數(shù)據(jù)預(yù)覽格式轉(zhuǎn)換源端連接統(tǒng)一數(shù)據(jù)服務(wù)中間件——跨域聯(lián)邦/標(biāo)準(zhǔn)查詢/統(tǒng)一訪問35跨底層數(shù)據(jù)存儲平臺多種數(shù)據(jù)存儲體系，如關(guān)系型DB、KV-DB、文件系統(tǒng)等統(tǒng)一標(biāo)準(zhǔn)化數(shù)據(jù)查詢通用的數(shù)據(jù)查詢語言，支持跨平臺訪問，如PL/SQL，HQL等靈活安全的權(quán)限管控機(jī)制多種數(shù)據(jù)服務(wù)場景的權(quán)限管控，如查詢、分析等跨數(shù)據(jù)結(jié)構(gòu)的邏輯化訪問多應(yīng)用系統(tǒng)的物理結(jié)構(gòu)透明化邏輯封裝，如OLTP、OLAP等外部應(yīng)用的便捷接入多種應(yīng)用接入能力，如JDBC、Socket等各類跨架構(gòu)數(shù)據(jù)源端連接與訪問36靈活自主的數(shù)據(jù)服務(wù)集定義37DataBroker查詢語法38常用函數(shù)：AQL語法（類SQL）：示例1：在用戶增長數(shù)據(jù)集中,查詢2018年10月比9月的入網(wǎng)用戶增長比例,按地區(qū)分組,按排序字段排序SELET

ROUND((month_ten-month_nine)/month_nine)as“增長比例”,user_areaas“地區(qū)”

FROM

user_in_month_detailGROUP

BYuser_areaORDER

BY

order_codeDataBroker查詢示例示例2：按照省份，將流量按照100M為步長分檔統(tǒng)計，并忽略小于10M的用戶數(shù)SELECT

area_no,segm_step(data_flow,100,10)as"流量分檔",count(user_id)as"用戶數(shù)"FROMuser_used_flowGROUP

BY

area_no,SEGM_STEP(data_flow,100,10)as"流量分檔”示例3：按照省，賬期，分組統(tǒng)計指標(biāo)1，指標(biāo)2值，同時統(tǒng)計行小計，行總計，列小計，列合計，并將省，賬期轉(zhuǎn)為交叉列，省份為河北與甘肅。SELECTgroup_typeAS"分組"FROMBIG_DATA_SETtACROSS(sum(指標(biāo)1)as“指標(biāo)1”,sum(指標(biāo)3)for(PROVINCE,ACCT_MONTH)WHEREt.PROVINCEin('河北','甘肅')ORDER

BY

group_typeASCROLLALL目錄背景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念1生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式3共享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃4運(yùn)營：大數(shù)據(jù)湖一體化運(yùn)營管理建設(shè)5體系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路2統(tǒng)一運(yùn)營管理全面性規(guī)范化可視化大數(shù)據(jù)湖運(yùn)營管理能夠為全網(wǎng)提供統(tǒng)一的運(yùn)營和協(xié)同管控，包括運(yùn)維支撐、運(yùn)營監(jiān)控和數(shù)據(jù)生態(tài)評估等多個方面，實現(xiàn)各類數(shù)據(jù)風(fēng)險和隱患的快速排查，提升運(yùn)營效率，為智慧化的運(yùn)營戰(zhàn)略奠定基礎(chǔ)。大數(shù)據(jù)湖運(yùn)營管理體系規(guī)劃已建設(shè)建設(shè)中未建設(shè)運(yùn)營監(jiān)控采集監(jiān)控數(shù)據(jù)分區(qū)監(jiān)控共享服務(wù)監(jiān)控接入用戶監(jiān)控任務(wù)狀態(tài)監(jiān)控外圍系統(tǒng)交互監(jiān)控運(yùn)維支撐應(yīng)用稽核問題跟蹤質(zhì)量探索工具問題派單通知管理日志管理數(shù)據(jù)生態(tài)評估數(shù)據(jù)分布價值評估安全評估數(shù)據(jù)熱點冗余評估質(zhì)量評估大數(shù)據(jù)湖統(tǒng)一運(yùn)營監(jiān)控——全生命周期監(jiān)控/運(yùn)營規(guī)范顯性化數(shù)據(jù)監(jiān)控視圖運(yùn)營監(jiān)控視圖任務(wù)狀態(tài)監(jiān)控：對大數(shù)據(jù)湖中各類任務(wù)運(yùn)行的異常狀態(tài)進(jìn)行實時的監(jiān)控外圍系統(tǒng)交互監(jiān)控：提供外圍應(yīng)用系統(tǒng)與大數(shù)據(jù)湖進(jìn)行各類交互操作的監(jiān)控接入用戶監(jiān)控：對已接入大數(shù)據(jù)湖的用戶類型、操作權(quán)限，并發(fā)用戶量等信息進(jìn)行監(jiān)控采集監(jiān)控：對從各類數(shù)據(jù)源采集入湖數(shù)據(jù)是否符合接入規(guī)范進(jìn)行監(jiān)控數(shù)據(jù)分區(qū)監(jiān)控：對大數(shù)據(jù)湖中的原生數(shù)據(jù)、整合數(shù)據(jù)等各類數(shù)據(jù)是否按分區(qū)規(guī)范存儲進(jìn)行監(jiān)控共享服務(wù)監(jiān)控：對湖中可共享的各類數(shù)據(jù)是否符合共享標(biāo)準(zhǔn)和規(guī)范進(jìn)行監(jiān)控運(yùn)營監(jiān)控主要為大數(shù)據(jù)湖提供數(shù)據(jù)生產(chǎn)監(jiān)控和數(shù)據(jù)運(yùn)營監(jiān)控兩方面的能力。其中數(shù)據(jù)生產(chǎn)監(jiān)控主要提供從數(shù)據(jù)采集、數(shù)據(jù)分區(qū)存儲到共享的監(jiān)控；數(shù)據(jù)運(yùn)營監(jiān)控實現(xiàn)對接入系統(tǒng)的用戶信息、任務(wù)執(zhí)行的狀態(tài)，以及與外圍應(yīng)用系統(tǒng)的交互操作進(jìn)行監(jiān)控，并進(jìn)行全景展示。數(shù)據(jù)生命周期程序任務(wù)存儲分區(qū)用戶操作通過構(gòu)建數(shù)據(jù)質(zhì)量管控系統(tǒng)，打通數(shù)據(jù)湖與數(shù)據(jù)源端的交互，建立起稽核問題任務(wù)派發(fā)、追蹤及結(jié)果反饋的保障機(jī)制，提升稽核效率，實現(xiàn)閉環(huán)的數(shù)據(jù)質(zhì)量管控體系。源端采集對賬嵌入稽核下游數(shù)據(jù)質(zhì)量管控系統(tǒng)2.1.問題派單共享1.1.異常1.2.異常3.處理反饋ITSM2.2.責(zé)任人通知4.重傳上傳源端問題派單工作重點：異常問題閉環(huán)跟蹤針對入湖數(shù)據(jù)開展對賬、嵌入稽核和數(shù)據(jù)稽核。對于源端系統(tǒng)的數(shù)據(jù)質(zhì)量問題，實現(xiàn)異常問題派單和處理跟蹤反饋。ITSM系統(tǒng)打通實現(xiàn)異常問題快速通知相關(guān)人員。數(shù)據(jù)稽核1.3.異常運(yùn)維支撐：打造閉環(huán)的數(shù)據(jù)質(zhì)量管控體系派單管理工單追蹤處理反饋運(yùn)營管理系統(tǒng)運(yùn)維支撐：增加數(shù)據(jù)質(zhì)量稽核能力數(shù)據(jù)采集分析探索方式分析探索內(nèi)容質(zhì)量探索成果交互式可視化的數(shù)據(jù)剖析基于SQL的數(shù)據(jù)剖析應(yīng)用指標(biāo)驗證數(shù)據(jù)基礎(chǔ)質(zhì)量驗證（空值統(tǒng)計、重復(fù)統(tǒng)計、主外鍵統(tǒng)計…）數(shù)據(jù)關(guān)聯(lián)驗證（跨域關(guān)聯(lián)、跨賬期關(guān)聯(lián)、跨省關(guān)聯(lián)…）核心業(yè)務(wù)指標(biāo)驗證（在網(wǎng)用戶數(shù)、出賬用戶數(shù)、傭金總額…）數(shù)據(jù)可用性驗證報告數(shù)據(jù)質(zhì)量探索報告質(zhì)量探索分析報表稽核規(guī)則固化建議…BSSMSSOSS網(wǎng)絡(luò)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)源整改數(shù)據(jù)可用性反饋評分驗證反饋稽核規(guī)則固化…橫向平臺提供自助化的數(shù)據(jù)分析和質(zhì)量探索服務(wù)，基于分布式計算能力，通過探索分析工具和SQL調(diào)試器進(jìn)行數(shù)據(jù)質(zhì)量自助探索，增加對業(yè)務(wù)、關(guān)聯(lián)稽核的手段，并生成質(zhì)量報告和統(tǒng)計報表。應(yīng)用指標(biāo)驗證由數(shù)據(jù)應(yīng)用方根據(jù)應(yīng)用需要和口徑進(jìn)行自主分析探索，探索結(jié)果可固化為專項稽核。運(yùn)維支撐：自助化數(shù)據(jù)質(zhì)量分析工具展示利用自助化數(shù)據(jù)質(zhì)量分析工具，應(yīng)用人員可對湖中數(shù)據(jù)質(zhì)量進(jìn)行自行分析和探索，而不必依賴專業(yè)技術(shù)人員，提前了解湖中數(shù)據(jù)特征。提供EXCEL方式的海量數(shù)據(jù)庫操作提供數(shù)據(jù)深度統(tǒng)計和分析方法決策樹頻數(shù)分布交叉表數(shù)據(jù)生態(tài)評估：大數(shù)據(jù)湖生態(tài)健康評估與優(yōu)化數(shù)據(jù)分布數(shù)據(jù)熱點價值評估冗余評估安全評估質(zhì)量評估制定安全評估策略數(shù)據(jù)分級安全評估訪問操作安全評估

……生產(chǎn)區(qū)：操作存儲/臨時數(shù)據(jù)原生區(qū)：就近存儲/分域數(shù)據(jù)整合區(qū)：存儲統(tǒng)一規(guī)范后數(shù)據(jù)

……從應(yīng)用的角度評估從唯一性角度評估從數(shù)據(jù)類型角度評估從數(shù)據(jù)結(jié)構(gòu)角度評估前置稽核嵌入稽核專項稽核應(yīng)用稽核跨域共性存儲系統(tǒng)口徑交叉與包容性檢查檢查數(shù)據(jù)相似度

……發(fā)現(xiàn)：數(shù)據(jù)訪問頻率優(yōu)化：優(yōu)化熱點配置提升：支撐效率提升

……大數(shù)據(jù)湖數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)體系業(yè)務(wù)需求數(shù)據(jù)湖要求標(biāo)準(zhǔn)規(guī)范可以信賴的數(shù)據(jù)統(tǒng)一、標(biāo)準(zhǔn)的業(yè)務(wù)口徑能夠快速查詢的能力標(biāo)準(zhǔn)化的數(shù)據(jù)治理數(shù)據(jù)間可以方便跨域融合數(shù)據(jù)安全且使用無風(fēng)險數(shù)據(jù)需求的快速響應(yīng)數(shù)據(jù)方便查找、定位數(shù)據(jù)生成穩(wěn)定并持續(xù)更新穩(wěn)定、可擴(kuò)展的數(shù)據(jù)架構(gòu)標(biāo)準(zhǔn)的建模原則，保準(zhǔn)的命名規(guī)范，全面的數(shù)據(jù)項屬性融合數(shù)據(jù)的計算口徑、統(tǒng)一標(biāo)準(zhǔn)、可擴(kuò)展融合模型數(shù)據(jù)需求開發(fā)的標(biāo)準(zhǔn)，命名規(guī)范、重要參數(shù)、標(biāo)準(zhǔn)字段名稱、數(shù)據(jù)類型、長度、枚舉值，統(tǒng)一的技術(shù)選型數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)管理、流程、考核、通報數(shù)據(jù)基礎(chǔ)及關(guān)聯(lián)信息的標(biāo)準(zhǔn)統(tǒng)一管理數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一查看，訪問多種的數(shù)據(jù)提取方式，數(shù)據(jù)訪問方式不同價值/分類數(shù)據(jù)的存儲形式/存儲介質(zhì)/存儲周期規(guī)范數(shù)據(jù)使用的租戶流程，資源要求數(shù)據(jù)安全的基本屬性，分級，分類數(shù)據(jù)使用的監(jiān)控、評估，問題的管理流程、制度生產(chǎn)數(shù)據(jù)的標(biāo)準(zhǔn)業(yè)務(wù)口徑訪問接入規(guī)范數(shù)據(jù)共享標(biāo)準(zhǔn)數(shù)據(jù)計算調(diào)度規(guī)范資源申請規(guī)范數(shù)據(jù)分類規(guī)范數(shù)據(jù)模型規(guī)范角色權(quán)限規(guī)范元數(shù)據(jù)規(guī)范存儲規(guī)范采集接入規(guī)范源數(shù)據(jù)提供規(guī)范生產(chǎn)模型規(guī)范運(yùn)營管理規(guī)范主數(shù)據(jù)規(guī)范安全規(guī)范數(shù)據(jù)湖的規(guī)范標(biāo)準(zhǔn)不是一個個獨立的規(guī)范或標(biāo)準(zhǔn)，是有相互關(guān)系，互相作用的規(guī)范化、標(biāo)準(zhǔn)化體系。以滿足業(yè)務(wù)需求為基礎(chǔ)，全面覆蓋數(shù)據(jù)在湖內(nèi)從生產(chǎn)、存儲、計算、應(yīng)用的生命周期，保障數(shù)據(jù)湖中數(shù)據(jù)的穩(wěn)定、安全、開放。IT保障需求管理主數(shù)據(jù)管理元數(shù)據(jù)管理模型規(guī)范檢查采集管控數(shù)據(jù)質(zhì)量保障運(yùn)營管理安全保障資源申請共享訪問服務(wù)數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)貫穿數(shù)據(jù)的整個生命周期，從生產(chǎn)到應(yīng)用的全流程，實現(xiàn)有規(guī)可依，有法可循。數(shù)據(jù)生產(chǎn)原生存儲開放應(yīng)用數(shù)據(jù)入湖數(shù)據(jù)整合運(yùn)營監(jiān)控數(shù)據(jù)業(yè)務(wù)標(biāo)準(zhǔn)生產(chǎn)模型標(biāo)準(zhǔn)……元數(shù)據(jù)規(guī)范數(shù)據(jù)模型標(biāo)準(zhǔn)數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)數(shù)據(jù)模型規(guī)范數(shù)據(jù)開發(fā)規(guī)范元數(shù)據(jù)標(biāo)準(zhǔn)整合質(zhì)量標(biāo)準(zhǔn)……數(shù)據(jù)開放標(biāo)準(zhǔn)數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)數(shù)據(jù)安全標(biāo)準(zhǔn)……數(shù)據(jù)運(yùn)營標(biāo)準(zhǔn)數(shù)據(jù)目錄標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)標(biāo)準(zhǔn)……主數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)存儲標(biāo)準(zhǔn)原生質(zhì)量標(biāo)準(zhǔn)……數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)貫穿落地謝謝聆聽企業(yè)數(shù)字化轉(zhuǎn)型的總體思路、本質(zhì)、目的意義、工具及具體案例分析整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行2023年目錄1、數(shù)字化轉(zhuǎn)型的本質(zhì)2、數(shù)字化轉(zhuǎn)型的目的和意義3、數(shù)字化轉(zhuǎn)型的總體思路4、數(shù)字化轉(zhuǎn)型常用的工具及方法建議5、案例1：勞斯萊斯數(shù)字化轉(zhuǎn)型案例分析6、案例2：5G在生產(chǎn)制造中的應(yīng)用整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行數(shù)字化轉(zhuǎn)型的本質(zhì)01COPYRIGHT?向永清1、數(shù)字化時代已悄然來臨2010年以來電子郵件（1987：越過長城，走向世界）瀏覽器（Netscape、IE）搜索引擎（Google、Baidu）云計算（阿里云、Azure）人工智能（AlphaGo、商湯）區(qū)塊鏈（比特幣，DECP）社交網(wǎng)絡(luò)（Facebook、QQ）電子商務(wù)（亞馬遜、淘寶）視頻網(wǎng)站（YouTube、Youku）PC時代互聯(lián)網(wǎng)時代數(shù)字化時代1990-20002000-2010信息科技發(fā)展的三個階段2、數(shù)字化轉(zhuǎn)型的定義數(shù)字化轉(zhuǎn)型是指：利用人工智能、大數(shù)據(jù)、云計算、區(qū)塊鏈、5G等新技術(shù)，目的是要建立一種全新的、以數(shù)字技術(shù)為核心的、富有活力和創(chuàng)新性的新商業(yè)模式，幫助客戶達(dá)到開源節(jié)流、降本增效、控制風(fēng)險、提升口碑、走向國際化的效果，從而根本上提升企業(yè)的競爭力。要特別強(qiáng)調(diào)的是，數(shù)字化轉(zhuǎn)型不僅僅是IT變革，而是組織、業(yè)務(wù)、市場、營銷、人力資源、產(chǎn)品研發(fā)、供應(yīng)鏈、制造、財務(wù)等企業(yè)要素的一次全方位變革。轉(zhuǎn)型的根本目的在于提升企業(yè)競爭力。數(shù)字化轉(zhuǎn)型過程中，新技術(shù)的應(yīng)用并不是目的，轉(zhuǎn)型的根本目的是提升產(chǎn)品和服務(wù)的競爭力，讓企業(yè)獲得更大的競爭優(yōu)勢。數(shù)字化轉(zhuǎn)型本質(zhì)上是業(yè)務(wù)轉(zhuǎn)型。數(shù)字化轉(zhuǎn)型本質(zhì)上是新一代信息技術(shù)驅(qū)動下的一場業(yè)務(wù)、管理和商業(yè)模式的深度變革重構(gòu)，技術(shù)是支點，業(yè)務(wù)是內(nèi)核。數(shù)字化轉(zhuǎn)型是一個長期系統(tǒng)工程。對于大多數(shù)企業(yè)而言，數(shù)字化轉(zhuǎn)型面臨的挑戰(zhàn)來自方方面面：從技術(shù)駕馭到業(yè)務(wù)創(chuàng)新，從組織變革到文化重塑，從數(shù)字化能力建設(shè)到人才培養(yǎng)，因此數(shù)字化轉(zhuǎn)型的成功不可能一蹴而就。數(shù)字化轉(zhuǎn)型是一項長期艱巨的任務(wù)，多數(shù)企業(yè)需要3-5年甚至更長時間才能取得顯著成果。3、數(shù)字化轉(zhuǎn)型的本質(zhì)新一代ICT技術(shù)成為新的生產(chǎn)要素。數(shù)字化轉(zhuǎn)型就是將新一代ICT技術(shù)作為新的生產(chǎn)要素，疊加到企業(yè)原有的生產(chǎn)要素中，從而引起企業(yè)業(yè)務(wù)的創(chuàng)新、重構(gòu)。因此，新一代ICT技術(shù)能否得到有效運(yùn)用，并為企業(yè)產(chǎn)生顯著的業(yè)務(wù)價值是轉(zhuǎn)型的關(guān)鍵特征。數(shù)字資產(chǎn)成為創(chuàng)造價值的新源泉。數(shù)字化轉(zhuǎn)型不僅僅是將新技術(shù)簡單運(yùn)用到生產(chǎn)過程中，更應(yīng)該在轉(zhuǎn)型過程中不斷積累并形成數(shù)字資產(chǎn)，圍繞數(shù)字資產(chǎn)構(gòu)建數(shù)字世界的競爭力，為企業(yè)不斷創(chuàng)造價值。融合共享成為數(shù)字轉(zhuǎn)型的核心理念。數(shù)字化轉(zhuǎn)型首先是數(shù)據(jù)的融合共享，然后推動業(yè)務(wù)的融合共享，從而實現(xiàn)企業(yè)資源，外部資源的高效整合，提升企業(yè)運(yùn)營效率和服務(wù)客戶的能力，為企業(yè)發(fā)展賦能。4、數(shù)字化轉(zhuǎn)型的核心特點文化觀念的沖突。未來的數(shù)字化企業(yè)將以完全不同的形態(tài)和方式運(yùn)行。數(shù)字化轉(zhuǎn)型過程將極大地突破傳統(tǒng)企業(yè)的“舒適區(qū)”，在缺乏經(jīng)驗的未知領(lǐng)域探索，新舊兩種文化觀念將存在長期的沖突。新技術(shù)的駕馭和整合。數(shù)字化轉(zhuǎn)型不僅要求企業(yè)能夠迅速學(xué)習(xí)和掌握新技術(shù)，還需要將新技術(shù)融會貫通形成組合優(yōu)勢，并且在業(yè)務(wù)變革上找準(zhǔn)結(jié)合點，使之運(yùn)用和改變現(xiàn)有業(yè)務(wù)。數(shù)字化轉(zhuǎn)型對企業(yè)駕馭新技術(shù)提出了極大挑戰(zhàn)。組織和人才。為了有效推進(jìn)數(shù)字化轉(zhuǎn)型，必須同時進(jìn)行組織的變革，轉(zhuǎn)型本身是動態(tài)的，在轉(zhuǎn)型過程中如何建立并調(diào)整與轉(zhuǎn)型匹配的組織機(jī)構(gòu)是轉(zhuǎn)型綜合挑戰(zhàn)的一個重要方面。轉(zhuǎn)型人才也是行業(yè)轉(zhuǎn)型中面臨的一大挑戰(zhàn)，數(shù)字化轉(zhuǎn)型不僅需要新技術(shù)人才，業(yè)務(wù)創(chuàng)新人才，更需要能夠?qū)⑿录夹g(shù)與業(yè)務(wù)結(jié)合起來的跨領(lǐng)域人才，培養(yǎng)高水平的轉(zhuǎn)型人才隊伍是數(shù)字化轉(zhuǎn)型不可避免的一個問題。安全以及數(shù)據(jù)隱私問題。數(shù)據(jù)泄露、惡意軟件和漏洞數(shù)量的急劇增長導(dǎo)致一些人認(rèn)為，缺乏安全的數(shù)字化轉(zhuǎn)型將致使企業(yè)面臨更大的安全風(fēng)險。根據(jù)Gartner最新發(fā)布的預(yù)測結(jié)果稱，由于安全團(tuán)隊無法管理數(shù)字風(fēng)險，到2020年，60％的數(shù)字業(yè)務(wù)將遭受重大服務(wù)故障。5、數(shù)字化轉(zhuǎn)型面臨的挑戰(zhàn)6、美國政府?dāng)?shù)字化轉(zhuǎn)型的四個原則2017年5月2日，特朗普簽署一項行政命令，成立了美國科技委員會（AmericanTechnologyCouncil），它的目標(biāo)是讓政府?dāng)?shù)字化服務(wù)順利過渡，變得更加現(xiàn)代化。以信息為中心原則，改變傳統(tǒng)管理文件形式，轉(zhuǎn)為管理在線業(yè)務(wù)數(shù)據(jù)；共享平臺原則，政府各部門以及部門之間的雇員一起工作，以降低成本，精簡部門，并且以統(tǒng)一標(biāo)準(zhǔn)的方式創(chuàng)建和分發(fā)信息；以用戶為中心原則，圍繞客戶需求，創(chuàng)建、管理數(shù)據(jù)，允許客戶在任何時候以任何他們希望的方式構(gòu)建、分享和消費(fèi)信息；安全和隱私原則，確保安全地分發(fā)和使用服務(wù)，保護(hù)信息和隱私。第一是要注重服務(wù)，建設(shè)服務(wù)型政府，滿足企業(yè)和公民不斷增長的公共需求；第二是要以評促建提高數(shù)字政府質(zhì)量，美國政府為此專門成立了“數(shù)字政府研究中心”；第三是要完善機(jī)構(gòu)法規(guī)，實現(xiàn)標(biāo)準(zhǔn)化數(shù)字政府，進(jìn)一步保障數(shù)字政府高效、標(biāo)準(zhǔn)化運(yùn)作；第四是要加強(qiáng)培訓(xùn)和宣傳，提升政府人員數(shù)字化素養(yǎng)；第五是要加強(qiáng)政府信息安全和隱私保護(hù)，做好移動互聯(lián)網(wǎng)的信息安全保障工作。7、美國政府?dāng)?shù)字化轉(zhuǎn)型的五點啟示數(shù)字化轉(zhuǎn)型的目的和意義02COPYRIGHT?向永清數(shù)字化轉(zhuǎn)型對中國企業(yè)而言，不僅是一道戰(zhàn)略選擇題，更是一道生存題—馬云提升企業(yè)在數(shù)字化時代的競爭力1、數(shù)字化轉(zhuǎn)型的目的2、數(shù)字化轉(zhuǎn)型的意義3、企業(yè)數(shù)字化轉(zhuǎn)型勢在必行數(shù)字化企業(yè)是以客戶為中心、通過數(shù)字化技術(shù)推動自身業(yè)務(wù)重塑和轉(zhuǎn)型的企業(yè)。IDG對IT和企業(yè)決策者的調(diào)查結(jié)果顯示，企業(yè)的數(shù)字化轉(zhuǎn)型將為企業(yè)帶來員工生產(chǎn)力提升、數(shù)據(jù)驅(qū)動業(yè)務(wù)價值提升、客戶體驗提升等8個方面的價值。數(shù)字化轉(zhuǎn)型員工生產(chǎn)力數(shù)據(jù)驅(qū)動業(yè)務(wù)客戶體驗移動業(yè)務(wù)流程自動化收入來源產(chǎn)品創(chuàng)新供應(yīng)鏈優(yōu)化通過移動、數(shù)據(jù)訪問和輔助流程等工具來提高員工的生產(chǎn)率通過數(shù)據(jù)可用性和可見性更好地管理業(yè)務(wù)表現(xiàn)的能力通過數(shù)據(jù)收集和分析來理解客戶需求，滿足客戶的體驗提供安全、優(yōu)化的隨時隨地可以獲得的移動應(yīng)用對業(yè)務(wù)和/或流程進(jìn)行數(shù)字化優(yōu)化，提高流程自動化程度開發(fā)新的數(shù)字業(yè)務(wù)/收入流通過數(shù)字化產(chǎn)品升級，或開發(fā)新的產(chǎn)品/服務(wù)實現(xiàn)營收增長全球數(shù)據(jù)和信息的流動，使商品、服務(wù)、金融和人員的流動成為可能4、數(shù)字化轉(zhuǎn)型是企業(yè)順應(yīng)時代的必然要求2017年，“數(shù)字經(jīng)濟(jì)”正式被寫入黨的十九大報告。2016年中國數(shù)字經(jīng)濟(jì)總量達(dá)到22.6萬億元人民幣，占GDP的比重為30.3%。畢馬威預(yù)測，到2030年時，這一比例將會達(dá)到77%，超過153萬億人民幣的GDP貢獻(xiàn)將來自于數(shù)字經(jīng)濟(jì)。2018年3月，政府工作報告提出“發(fā)展壯大新動能”，“為數(shù)字中國建設(shè)加油助力”。國家對于數(shù)字經(jīng)濟(jì)的定位不只局限于新興產(chǎn)業(yè)層面，而是將之提升為驅(qū)動傳統(tǒng)產(chǎn)業(yè)升級的國家戰(zhàn)略。在被譽(yù)為二十世紀(jì)信息技術(shù)及理念發(fā)展圣經(jīng)的《數(shù)字化生存》中預(yù)言到了今天的數(shù)字化時代：數(shù)字化生存是現(xiàn)代社會中以信息技術(shù)為基礎(chǔ)的新的生存方式。5、數(shù)字化企業(yè)是企業(yè)信息化發(fā)展的必然階段第一階段：業(yè)務(wù)操作電子化。電子化是指將企業(yè)日常手工事務(wù)性繁重的工作轉(zhuǎn)變?yōu)闄C(jī)器的工作以提高個體工作效率的過程。第二階段：業(yè)務(wù)流程信息化。信息化即通過企業(yè)的管理重組和管理創(chuàng)新，結(jié)合IT優(yōu)勢將業(yè)務(wù)流程固化。該階段是企業(yè)信息化、尤其是網(wǎng)絡(luò)化建設(shè)與應(yīng)用的導(dǎo)入階段。第三階段：業(yè)務(wù)和管理的數(shù)字化。應(yīng)用數(shù)字技術(shù)，整合企業(yè)的采購、生產(chǎn)、營銷、財務(wù)與人力資源等信息，做好計劃、協(xié)調(diào)、監(jiān)督和控制等各個環(huán)節(jié)的工作，打破“信息孤島”現(xiàn)象，系統(tǒng)形成價值鏈。第四階段：業(yè)務(wù)決策智慧化。智慧化是指在企業(yè)的已有知識的基礎(chǔ)之上，能夠智能創(chuàng)造、挖掘新知識，用于企業(yè)業(yè)務(wù)決策、企業(yè)日常管理等，形成自組織、自學(xué)習(xí)、自進(jìn)化的企業(yè)管理體制。應(yīng)用數(shù)字技術(shù)可以降低企業(yè)的成本。去年國際供應(yīng)鏈大會上世界經(jīng)濟(jì)論壇發(fā)布的《第四次工業(yè)革命對供應(yīng)鏈的影響》白皮書指出，79.9%的制造業(yè)企業(yè)和85.5%的物流企業(yè)認(rèn)為，在不考慮金融影響的前提下，數(shù)字化轉(zhuǎn)型將產(chǎn)生積極影響，數(shù)字化變革將使制造業(yè)企業(yè)成本降低17.6%、營收增加22.6%，使物流服務(wù)業(yè)成本降低34.2%、營收增加33.6%，使零售業(yè)成本降低7.8%、營收增加33.3%。應(yīng)用數(shù)字技術(shù)可以提升企業(yè)的效率。互聯(lián)網(wǎng)集中了大量數(shù)字技術(shù)資源和服務(wù)，通過大幅提高應(yīng)用效率而產(chǎn)生經(jīng)濟(jì)價值。根據(jù)研究顯示，以“數(shù)據(jù)驅(qū)動型決策”模式運(yùn)營的企業(yè)，通過形成自動化數(shù)據(jù)鏈，推動生產(chǎn)制造各環(huán)節(jié)高效協(xié)同，大大降低了智能制造系統(tǒng)的復(fù)雜性和不確定性，其生產(chǎn)力普遍可以提高5%—10%。6、數(shù)字化轉(zhuǎn)型是企業(yè)降本增效的內(nèi)在需求7、數(shù)字化轉(zhuǎn)型是企業(yè)流程再造的必由之路“縱向壓縮，橫向集成”的流程優(yōu)化思想可以使企業(yè)成為面向客戶、流程導(dǎo)向的靈活組織，減少流程環(huán)節(jié)中不創(chuàng)造價值的活動，同時消除跨部門間的協(xié)作溝通障礙，從整體流程全局最優(yōu)（而不是局部最優(yōu)）的目標(biāo)，設(shè)計和優(yōu)化流程中的各項活動，實現(xiàn)集約化經(jīng)營。各項經(jīng)濟(jì)社會活動與數(shù)據(jù)的產(chǎn)生、傳輸和使用密不可分，數(shù)據(jù)作為獨立的生產(chǎn)要素在價值創(chuàng)造過程中加速流動，數(shù)據(jù)流動強(qiáng)調(diào)信息系統(tǒng)的互聯(lián)互通和綜合集成，挖掘了智慧組織、管理與服務(wù)的新價值。數(shù)字化轉(zhuǎn)型的總體思路03COPYRIGHT?向永清堅持1個企業(yè)級轉(zhuǎn)型戰(zhàn)略。把數(shù)字化轉(zhuǎn)型定位為企業(yè)級戰(zhàn)略，全局謀劃。創(chuàng)造2個保障條件。通過組織轉(zhuǎn)型激發(fā)組織活力，通過文化轉(zhuǎn)型創(chuàng)造轉(zhuǎn)型氛圍。貫徹3個核心原則。將核心原則貫穿轉(zhuǎn)型全過程，保證轉(zhuǎn)型始終在正確的軌道上。推進(jìn)4個關(guān)鍵行動。通過4個關(guān)鍵行動控制轉(zhuǎn)型關(guān)鍵過程。1、數(shù)字化轉(zhuǎn)型總體架構(gòu)2、堅持一個企業(yè)級轉(zhuǎn)型戰(zhàn)略數(shù)字化戰(zhàn)略是指籌劃和指導(dǎo)數(shù)字化轉(zhuǎn)型的方略，在高層次上面向未來，在方向性全局性的重大決策問題上選擇做什么，不做什么，數(shù)字化轉(zhuǎn)型是企業(yè)長期的戰(zhàn)略，是企業(yè)總體戰(zhàn)略的重要組成部分，以戰(zhàn)略為指引開展數(shù)字化轉(zhuǎn)型，將大大提高轉(zhuǎn)型成功的概率。數(shù)字化轉(zhuǎn)型戰(zhàn)略主要包括：數(shù)字化轉(zhuǎn)型愿景和使命。數(shù)字化轉(zhuǎn)型定位目標(biāo)。新商業(yè)模式，新業(yè)務(wù)模式，新管理模式。數(shù)字化轉(zhuǎn)型戰(zhàn)略舉措。數(shù)字化轉(zhuǎn)型需要強(qiáng)有力的組織來支撐，需要明確轉(zhuǎn)型的責(zé)任主體，制定合理的組織業(yè)務(wù)目標(biāo)，配套考核和激勵機(jī)制，優(yōu)化組織間協(xié)作流程。在適合的條件下，還應(yīng)成立專門的數(shù)字化轉(zhuǎn)型組織，協(xié)調(diào)業(yè)務(wù)和技術(shù)部門，建立數(shù)字世界和物理世界間的協(xié)同運(yùn)作機(jī)制，統(tǒng)籌推進(jìn)數(shù)字化轉(zhuǎn)型落地。組織機(jī)制保障創(chuàng)造文化氛圍企業(yè)文化是數(shù)字化轉(zhuǎn)型成功與否的關(guān)鍵要素，要不斷培養(yǎng)轉(zhuǎn)型文化理念，激發(fā)個體活力，為員工營造好的轉(zhuǎn)型環(huán)境，形成數(shù)字化轉(zhuǎn)型的動力源泉。數(shù)字文化。積極擁抱數(shù)字化，通過數(shù)據(jù)來改變傳統(tǒng)的管理思路和模式，習(xí)慣用數(shù)據(jù)說話，用數(shù)據(jù)決策，用數(shù)據(jù)管理，用數(shù)據(jù)創(chuàng)新。變革文化。勇于探索，擁抱變化，自我顛覆，持續(xù)變革創(chuàng)新文化，崇尚創(chuàng)新，寬容失敗，支持冒險，在數(shù)字化轉(zhuǎn)型過程中更加積極和主動。3、創(chuàng)造2個保障條件，組織機(jī)制和文化氛圍4、貫徹三個核心原則數(shù)字化轉(zhuǎn)型應(yīng)遵循以下三個核心原則，并將貫穿到轉(zhuǎn)型全過程，保證轉(zhuǎn)型始終在正確軌道上：原則一，戰(zhàn)略與執(zhí)行統(tǒng)籌。原則二，業(yè)務(wù)與技術(shù)雙輪驅(qū)動。原則三，自主與合作并重。5、推進(jìn)4個關(guān)鍵行動頂層設(shè)計平臺賦能生態(tài)落地持續(xù)迭代頂層設(shè)計：制定轉(zhuǎn)型的總體框架與發(fā)展路標(biāo)，是全局有效協(xié)同的必要基礎(chǔ)。頂層設(shè)計可以明確長期目標(biāo)實現(xiàn)戰(zhàn)略解碼，在組織內(nèi)統(tǒng)一思想，統(tǒng)一目標(biāo)，統(tǒng)一語言，統(tǒng)一行動，解決數(shù)字化轉(zhuǎn)型的整體性、協(xié)作性、可持續(xù)性問題。平臺賦能：在平臺化的數(shù)字化系統(tǒng)上，業(yè)務(wù)經(jīng)驗有效沉淀，數(shù)據(jù)資產(chǎn)逐步積累，技術(shù)架構(gòu)平滑演進(jìn)，企業(yè)數(shù)字化能力迅速得到提升。生態(tài)落地：數(shù)字化系統(tǒng)建設(shè)所需的生態(tài)合作資源，通常包括咨詢設(shè)計服務(wù)，應(yīng)用服務(wù)，技術(shù)平臺服務(wù)，系統(tǒng)集成服務(wù)，運(yùn)營安全服務(wù)和投融資服務(wù)等。持續(xù)迭代：數(shù)字時代下，業(yè)務(wù)變化快，技術(shù)更新快，需要敏捷迭代。迭代不代表全盤的顛覆，數(shù)字化轉(zhuǎn)型的能力需要不斷積累和傳承，信息化建設(shè)要支撐物理世界業(yè)務(wù)的可持續(xù)發(fā)展。6、數(shù)字化轉(zhuǎn)型的商業(yè)架構(gòu)數(shù)字化商業(yè)技術(shù)平臺組件合作伙伴員工物件物聯(lián)網(wǎng)平臺生態(tài)系統(tǒng)平臺客戶體驗客戶信息系統(tǒng)平臺客戶體驗平臺數(shù)據(jù)和分析平臺相當(dāng)于數(shù)據(jù)中臺Gartner的數(shù)字化商業(yè)模型包括5個重點領(lǐng)域：IT系統(tǒng)、客戶、生態(tài)、物聯(lián)和智能。業(yè)務(wù)在線化：只有把業(yè)務(wù)在線，變成數(shù)據(jù)，才有未來，大家都知道BAT系互聯(lián)網(wǎng)企業(yè)，不是在做交易，是在做數(shù)據(jù)，在做金融，在做物流，在做互聯(lián)網(wǎng)底層設(shè)施；業(yè)務(wù)數(shù)據(jù)化：而我們干的事情就是幫助實體實現(xiàn)業(yè)務(wù)數(shù)據(jù)化。數(shù)據(jù)業(yè)務(wù)化：有了數(shù)據(jù)，可以對用戶進(jìn)行畫像，對產(chǎn)品動銷，產(chǎn)品的研發(fā)，營銷精準(zhǔn)落地，最后實現(xiàn)業(yè)務(wù)場景化，指導(dǎo)我們的經(jīng)營策略，這個時候就實現(xiàn)了數(shù)據(jù)業(yè)務(wù)化。7、數(shù)字化轉(zhuǎn)型三部曲數(shù)字化轉(zhuǎn)型常用工具及方法04COPYRIGHT?向永清1、建立適合企業(yè)數(shù)字化轉(zhuǎn)型戰(zhàn)略的IT架構(gòu)業(yè)務(wù)領(lǐng)域電商丨生產(chǎn)制造丨供應(yīng)鏈丨營銷丨…數(shù)據(jù)領(lǐng)域標(biāo)簽丨數(shù)倉丨算法丨…能力開放平臺資源OpenAPIs丨業(yè)務(wù)應(yīng)用管理業(yè)務(wù)能力交易丨支付丨項目管理丨…數(shù)據(jù)能力數(shù)據(jù)采集丨ETL服務(wù)丨…租戶應(yīng)用門戶（Tenant

Application

Portal）業(yè)務(wù)應(yīng)用ERP丨CRM丨MES丨SRM丨TMS丨…數(shù)據(jù)應(yīng)用BI丨CDP丨…開發(fā)者中心訂制開發(fā)丨第三方服務(wù)接入租戶實例生產(chǎn)系統(tǒng)流程編排引擎丨策略引擎丨…微服務(wù)治理中心SpringCloud腳手架丨Eruka丨…云計算服務(wù)中心容器丨PaaS中間件中臺前臺?（后臺）是可靠（Reliable）IT，強(qiáng)調(diào)安全性和經(jīng)濟(jì)性，持續(xù)穩(wěn)定現(xiàn)有業(yè)務(wù)的發(fā)展?（前臺）是敏捷（Agile）IT，強(qiáng)調(diào)速度和靈活性，推陳出新，布局新產(chǎn)品和模式?（中臺）相當(dāng)于后臺可靠IT和前臺敏捷IT之間的“變速齒輪”2、評估和改進(jìn)企業(yè)數(shù)據(jù)和分析能力成熟度Basic基礎(chǔ)級12345Systematic系統(tǒng)級Differentiating區(qū)分級Transformational變革級Opportunistic機(jī)會級⑤④③②①數(shù)據(jù)僅被使用，未被開發(fā)數(shù)據(jù)和分析分散管理數(shù)據(jù)不唯一、不一致IT嘗試規(guī)范化數(shù)據(jù)可用性需求流程不暢，目標(biāo)不一致不同的數(shù)據(jù)內(nèi)容被分別處理戰(zhàn)略和愿景初步形成管理層溝通篩選最佳決策數(shù)據(jù)和分析成為商業(yè)決策的核心數(shù)據(jù)價值影響投入戰(zhàn)略落地執(zhí)行一致且持續(xù)提升透明化管理首席數(shù)據(jù)官成為董事會成員臨時進(jìn)行分析電子表格和救火式信息處理事務(wù)處理存在組織壁壘，缺少統(tǒng)一領(lǐng)導(dǎo)戰(zhàn)略與實際業(yè)務(wù)脫節(jié)數(shù)據(jù)質(zhì)量和數(shù)據(jù)洞察分散管理出現(xiàn)敏捷分析外部數(shù)據(jù)源可整合業(yè)務(wù)管理人員成為數(shù)據(jù)分析專家管理層驅(qū)動，出現(xiàn)CDO（首席數(shù)據(jù)官）跨領(lǐng)域數(shù)據(jù)分析成為優(yōu)化創(chuàng)新不可或缺的要素協(xié)同項目管理方法與結(jié)果掛鉤，數(shù)據(jù)產(chǎn)生投資回報數(shù)據(jù)分析Gartner的企業(yè)數(shù)據(jù)和分析能力成熟度模型分為5級：基礎(chǔ)級、機(jī)會級、系統(tǒng)級、區(qū)分級和變革級。3、關(guān)注企業(yè)數(shù)字化轉(zhuǎn)型容易忽視的關(guān)鍵問題Gartner研究了企業(yè)數(shù)字化轉(zhuǎn)型中的關(guān)鍵問題后發(fā)現(xiàn)：大部分管理者關(guān)注的技術(shù)問題相當(dāng)于水面上的冰山少部分管理者關(guān)注的企業(yè)轉(zhuǎn)型問題深埋在水面之下水面之下的冰山對企業(yè)數(shù)字化轉(zhuǎn)型的價值影響15倍于水面之上的冰山智能感知終端云大數(shù)據(jù)分析全渠道體驗業(yè)務(wù)技巧、能力、思維激勵、資金和運(yùn)營模式協(xié)作時效合規(guī)和風(fēng)險管理企業(yè)級數(shù)據(jù)戰(zhàn)略4、充分應(yīng)用新技術(shù)來支撐數(shù)字化轉(zhuǎn)型++邊緣智能PANWAN802.11af/ahLTE-M豐富的網(wǎng)絡(luò)連接能力廣泛的設(shè)備接入能力感知邊緣計算新型邊緣存儲與管理技術(shù)邊緣計算引擎與邊緣計算框架適合邊緣場景的輕量級智能算法庫核心邊緣計算硬件神經(jīng)物聯(lián)網(wǎng)HistoryTime-seriesRelationalLogDBObjectDB新型時序數(shù)據(jù)庫數(shù)字孿生智能增強(qiáng)的工業(yè)機(jī)理血液大數(shù)據(jù)數(shù)據(jù)湖數(shù)據(jù)建模高級數(shù)據(jù)分析ITDataOTDataSocialData描述分析診斷分析預(yù)測分析規(guī)范分析后驗洞察預(yù)見智慧大腦AI智能感知AR/VRComputerVisionNLPFusionSensing智能規(guī)劃與智能決策智能規(guī)劃智能決策智能優(yōu)化5、借助外部力量：數(shù)字化咨詢服務(wù)數(shù)字化平臺咨詢數(shù)字化戰(zhàn)略咨詢數(shù)字化業(yè)務(wù)咨詢智能制造咨詢智能制造規(guī)劃數(shù)字化改造與選型生產(chǎn)過程改進(jìn)工藝過程優(yōu)化供應(yīng)商管理采購與物資智能排產(chǎn)庫存與交付客戶識別與洞察客戶體驗與發(fā)展客戶價值