大數(shù)據(jù)平臺的核心挑戰(zhàn)及架構思考數(shù)據(jù)是企業(yè)的戰(zhàn)略資產(chǎn)，企業(yè)信息系統(tǒng)架構的發(fā)展重點從業(yè)務應用為核心轉變?yōu)闃I(yè)務數(shù)據(jù)為主線?；谠朴嬎愕男乱淮髽I(yè)信息系統(tǒng)在技術上具有一定的漸進性，但是在架構的思考和設計上則具有很大的變革性。企業(yè)信息系統(tǒng)正在迅速演進為大規(guī)模復雜系統(tǒng)，用系統(tǒng)工程的思路和方法論去解決其面臨的挑戰(zhàn)。企業(yè)IT架構的發(fā)展趨勢基于云計算技術的新型企業(yè)IT架構應用1應用2應用N文件存儲數(shù)據(jù)庫WebServicecontainerWebServer傳統(tǒng)豎井式架構問題1、以業(yè)務為核心，數(shù)據(jù)彼此隔離2、業(yè)務系統(tǒng)獨享軟硬件資源，不能復用3、規(guī)?；到y(tǒng)的維護面臨極大挑戰(zhàn)4、無法快速調(diào)整，滿足業(yè)務和市場變化的需求統(tǒng)一數(shù)據(jù)支撐平臺弱關系型結構化和半結構化數(shù)據(jù)關系型結構化數(shù)據(jù)非結構化數(shù)據(jù)統(tǒng)一運行支撐平臺物理機環(huán)境虛擬機環(huán)境沙箱環(huán)境統(tǒng)一運行支撐平臺－企業(yè)業(yè)務應用類型及特性資源消耗A.物理機部署獨占物理節(jié)點，適用于CPU、內(nèi)存、帶寬、磁盤IO等資源占用率高，或者安全級別高的應用，如視頻轉碼，財務系統(tǒng)，核心代碼倉庫。低高高C.沙箱部署運行環(huán)境單一，部署簡單，運行周期短，資源消耗輕，無需訪問本地資源的應用，如項目管理，通知發(fā)布，WebEmail。B.虛擬機部署業(yè)務環(huán)境較為復雜，需要大量定制化配置的業(yè)務應用，如數(shù)據(jù)挖掘，訪問控制，安全審計。運行環(huán)境復雜程度物理機環(huán)境虛擬機環(huán)境沙箱環(huán)境統(tǒng)一數(shù)據(jù)支撐平臺統(tǒng)一運行支撐平臺的核心挑戰(zhàn)－系統(tǒng)虛擬化／調(diào)度自動化存儲服務器WebContainer應用服務器存儲服務器WebContainer應用服務器存儲服務器WebContainer應用服務器存儲服務器WebContainer應用服務器存儲服務器WebContainer應用服務器存儲服務器WebContainer應用服務器①系統(tǒng)虛擬化②調(diào)度自動化應用1應用2應用3應用4應用5應用6統(tǒng)一運行支撐平臺－網(wǎng)絡虛擬機統(tǒng)一數(shù)據(jù)支撐平臺－企業(yè)數(shù)據(jù)類型及特性數(shù)據(jù)鮮活性：毫秒》秒－分鐘》小時－天訪問吞吐量：幾萬IOPS》幾百萬IOPS》幾百IOPS存儲總容量：GB－TB》TB－PB》PB-EB關系型結構化數(shù)據(jù)弱關系型結構化和半結構化數(shù)據(jù)非結構化數(shù)據(jù)指數(shù)級變化統(tǒng)一數(shù)據(jù)支撐平臺的核心挑戰(zhàn)－數(shù)據(jù)庫云化關系型結構化數(shù)據(jù)非結構化數(shù)據(jù)弱關系型結構化和半結構化數(shù)據(jù)大數(shù)據(jù)壓力下的關系型數(shù)據(jù)庫：性能瓶頸延展難度大訪問模型單一單點失效全集中架構關系型數(shù)據(jù)庫集群分布式文件／對象存儲分布式數(shù)據(jù)庫統(tǒng)一數(shù)據(jù)支撐平臺的核心挑戰(zhàn)－數(shù)據(jù)庫云化弱關系型結構化和半結構化數(shù)據(jù)關系型結構化數(shù)據(jù)非結構化數(shù)據(jù)核心關系型數(shù)據(jù)庫統(tǒng)一數(shù)據(jù)支撐平臺－云數(shù)據(jù)庫分布式數(shù)據(jù)總線統(tǒng)一數(shù)據(jù)訪問服務分布式數(shù)據(jù)集群連接池管理分布式數(shù)據(jù)集群訪問路由管理連接池連接池連接池動態(tài)路由表健康過濾負載過濾業(yè)務應用業(yè)務應用業(yè)務應用業(yè)務應用分布式文件／對象分布式數(shù)據(jù)庫核心數(shù)據(jù)庫及關系型數(shù)據(jù)庫集群大數(shù)據(jù)平臺架構－系統(tǒng)視角統(tǒng)一數(shù)據(jù)支撐平臺分布式數(shù)據(jù)總線數(shù)據(jù)采集交換配置管理數(shù)據(jù)導入/導出數(shù)據(jù)過濾/校驗數(shù)據(jù)解析數(shù)據(jù)轉換數(shù)據(jù)加載ETL狀態(tài)/異常管理數(shù)據(jù)計算分析分布式計算框架任務調(diào)度統(tǒng)計分析文本分析數(shù)據(jù)挖掘優(yōu)先級隊列資源調(diào)度任務執(zhí)行工作流執(zhí)行引擎算法庫數(shù)據(jù)存儲管理關系型數(shù)據(jù)庫集群分布式數(shù)據(jù)庫分布式文件系統(tǒng)數(shù)據(jù)視圖管理數(shù)據(jù)同步復制核心庫只讀庫常規(guī)庫數(shù)據(jù)庫管理內(nèi)存數(shù)據(jù)庫磁盤數(shù)據(jù)庫元數(shù)據(jù)管理訪問控制冗余策略KVKVKVFSFSFS統(tǒng)一數(shù)據(jù)訪問鏈接管理健康/負載過濾協(xié)議適配動態(tài)路由API大數(shù)據(jù)平臺架構－功能視角采集存儲分析展現(xiàn)跨域、異構、可信、獨立的數(shù)據(jù)采集高性能、高可靠、多模式、海量彈性的數(shù)據(jù)存儲從局部到全景、從建模計算到?jīng)Q策支撐的層級化數(shù)據(jù)分析多維度、立體、動態(tài)的結果展現(xiàn)支持數(shù)據(jù)采集點的地理分布和網(wǎng)絡跨域；支持不同業(yè)務系統(tǒng)不同數(shù)據(jù)類型的采集；近實時的數(shù)據(jù)抓?。荒軌驒z測到數(shù)據(jù)的前后狀態(tài)變化；無需對原業(yè)務系統(tǒng)進行更改；不影響業(yè)務系統(tǒng)的正常運行。RawDataIndex&ParameterDecision-Making大數(shù)據(jù)平臺架構－技術視角大數(shù)據(jù)平臺架構－數(shù)據(jù)視角業(yè)務數(shù)據(jù)大數(shù)據(jù)部署架構－大型國際數(shù)據(jù)服務商某中央部委全國業(yè)務信息統(tǒng)一數(shù)據(jù)管理及訪問系統(tǒng)－跨域異構海量關系型數(shù)據(jù)的融合及訪問某重要的政府管理部門計劃構建一個綜合性的全國信息管理系統(tǒng)，以記錄，融合及管理全國范圍內(nèi)的所有業(yè)務信息。該系統(tǒng)的核心數(shù)據(jù)平臺必須滿足：在不修改或影響原有業(yè)務系統(tǒng)運行的條件下，統(tǒng)一采集，存儲并管理分布在全國幾百的地市內(nèi)的異構業(yè)務系統(tǒng)中生成的業(yè)務數(shù)據(jù)。初期匯聚的關系型結構化業(yè)務數(shù)據(jù)總量超過3PB，系統(tǒng)架構實現(xiàn)彈性動態(tài)擴展，支持未來數(shù)據(jù)容量的不斷增長。在保證數(shù)據(jù)可靠性的前提下，同時支持數(shù)據(jù)的鮮活性和主權管理，明確劃分數(shù)據(jù)擁有者和數(shù)據(jù)使用者的權限。支持高效的數(shù)據(jù)共享查詢訪問及大規(guī)模數(shù)據(jù)分析能力，為部委及國家層面政策制定提供有力數(shù)據(jù)支撐。采用多活體數(shù)據(jù)中心架構，支持跨域的多個數(shù)據(jù)中心協(xié)同工作，保證數(shù)據(jù)在各個數(shù)據(jù)中心的一致性，合理分布和相互災備，支持全國的業(yè)務系統(tǒng)并發(fā)訪問。實踐:統(tǒng)一數(shù)據(jù)支撐平臺–電子政務面對泛互聯(lián)網(wǎng)化對各個行業(yè)的沖擊，尤其是對傳統(tǒng)運營商業(yè)務的挑戰(zhàn)，該某著名企業(yè)運營商希望利用自身特有的豐富數(shù)據(jù)資源以及外部由某著名企業(yè)互聯(lián)網(wǎng)和社交網(wǎng)絡產(chǎn)生的龐大的多維多源數(shù)據(jù)，建立一體化大數(shù)據(jù)存儲及分析平臺，并在此平臺上結合關聯(lián)關系處理及統(tǒng)計分析算法，不僅為各部門，也為其他行業(yè)用戶提供市場營銷，趨勢預測等服務。充分考慮數(shù)據(jù)的多元化和多樣性，結合各類分布式數(shù)據(jù)庫及圖數(shù)據(jù)庫，提供統(tǒng)一結構化和半結構化大數(shù)據(jù)存儲及查詢平臺，支撐海量數(shù)據(jù)的高速寫入和類SQL查詢。在統(tǒng)一數(shù)據(jù)平臺基礎上建立分布式計算框架，用以同時支撐實時流式分析和批處理分析的計算任務。實現(xiàn)常見關聯(lián)分析模塊，包括但不限于群體行為分析，輿情分析，用戶畫像，話題聚類，情緒分析等，并提供實時和延時的統(tǒng)計報表。在有限的計算資源基礎上設計并實現(xiàn)高效數(shù)據(jù)采集及預處理系統(tǒng)。系統(tǒng)設計能力支持千億級別內(nèi)容對象，過億用戶數(shù)，外加百倍以上的關聯(lián)關系。某大型某著名企業(yè)運營商新媒體大數(shù)據(jù)分析及服務平臺－海量結構化及半結構化數(shù)據(jù)統(tǒng)一存儲訪問及關聯(lián)語義分析實踐:統(tǒng)一數(shù)據(jù)支撐平臺–某著名企業(yè)運營商道路交通的智能化是提高道路和車輛使用效率，使用安全性的重要發(fā)展方向。隨著新一代監(jiān)控，稽查以及相關的識別技術在交通領域的廣泛應用，如何對分布在各個交通路口的大量圖像采集設備產(chǎn)生的稽查監(jiān)控數(shù)據(jù)進行高效的采集，存儲并提供近實時的處理，分析和查詢能力是實現(xiàn)智能交通的關鍵技術挑戰(zhàn)。某省在建設全省智能交通管控系統(tǒng)的過程中，對后臺海量數(shù)據(jù)存儲系統(tǒng)提出以下需求：在保證數(shù)據(jù)高可靠的前提下，提供可延展的文本信息及相關圖片及音視頻數(shù)據(jù)的彈性存儲能力，同時支持生產(chǎn)數(shù)據(jù)及長效歷史數(shù)據(jù)的統(tǒng)一存儲和統(tǒng)一查詢。支持包括省，市及區(qū)域的多級部署，保證數(shù)據(jù)在不同層級間的一致性和流動性。設計能力支持Multi-PB級存儲容量，超過千億條圖片和相應紀錄。提供不低于10Gbps的原始采集數(shù)據(jù)的寫入能力。支撐百億條紀錄的秒級響應的數(shù)據(jù)查詢能力。提供套牌車識別，區(qū)間測速等實時數(shù)據(jù)分析支持及短期交通趨勢等實時預測能力。某省智能公安交通管控系統(tǒng)－流式多類型數(shù)據(jù)統(tǒng)一存儲查詢及實時建模分析實踐:統(tǒng)一數(shù)據(jù)支撐平臺–公安交通作為中國市場上發(fā)展最快的網(wǎng)頁游戲開發(fā)運營公司之一，其主打游戲上線僅6個月，就擁有超過1億的注冊用戶和超過1千萬的日活躍用戶。其后臺核心數(shù)據(jù)平臺必須滿足：支持每秒超過一百萬次的數(shù)據(jù)訪問（IOPS）。支持對億級用戶數(shù)據(jù)的毫秒級的數(shù)據(jù)訪問時延。支持億級注冊用戶，千萬級日活躍用戶及百萬級的并發(fā)在線用戶。在保證上線系統(tǒng)正常運行的前提下，支持系統(tǒng)規(guī)模隨用戶規(guī)模的動態(tài)擴展。在系統(tǒng)運行不停服務的情況下，實現(xiàn)各類應用模塊在幾百臺服務器上在線安裝，部署，配置和升級。提供24x7系統(tǒng)運行可靠性和用戶數(shù)據(jù)安全隔離保證。在保證系統(tǒng)可靠運行的前提下，支持實時的海量用戶數(shù)據(jù)采集，分析和反饋，提高用戶價值成本。某網(wǎng)游公司大型數(shù)據(jù)支撐平臺及運維系統(tǒng)－高并發(fā)低時延海量數(shù)據(jù)交互訪問及運營分析實踐:統(tǒng)一數(shù)據(jù)支撐平臺–互聯(lián)網(wǎng)服務作為一個傳統(tǒng)企業(yè)，某大型服裝零售商計劃改善自己的供應鏈管理，開發(fā)多渠道銷售模型，并建立一套電子商務系統(tǒng)。現(xiàn)有的IT體系由一個個應用系統(tǒng)相對獨立的豎井式構造組成，對大量所需流動數(shù)據(jù)的整合造成了阻礙，也無法為實施生產(chǎn)、銷售和物流操作提供實時支持。為滿足海量數(shù)據(jù)增長和地理位置擴展的需要，其IT系統(tǒng)需要構建一個統(tǒng)一的庫存及供應鏈管理平臺，來提供可擴展的、靈活的和實時的數(shù)據(jù)和應用服務支撐。統(tǒng)一數(shù)據(jù)平臺打通各個業(yè)務系統(tǒng)的數(shù)據(jù)流，同時對線上、線下業(yè)務進行支持。針對現(xiàn)有ERP系統(tǒng)的遷移改造，實現(xiàn)整個系統(tǒng)海量經(jīng)營管理數(shù)據(jù)（如統(tǒng)一配貨數(shù)據(jù)等）實時無誤差的計算，并滿足實時精準的用戶驅(qū)動商業(yè)數(shù)據(jù)分析和決策。采用多數(shù)據(jù)中心跨域多活體的系統(tǒng)架構，同時支持全國范圍內(nèi)幾千家門店、各種線上渠道（如淘寶）以及上千家供應商對庫存的實時并發(fā)訪問。基于高效自動化大規(guī)模系統(tǒng)運維產(chǎn)品，在降低運維成本同時，實現(xiàn)IT系統(tǒng)與電子商務服務24x7的高可用性。實踐:統(tǒng)一數(shù)據(jù)支撐平臺–傳統(tǒng)生產(chǎn)制造商某大型服裝生產(chǎn)零售商高效供應鏈管理平臺－傳統(tǒng)業(yè)務系統(tǒng)及電商系統(tǒng)數(shù)據(jù)互通融合及決策分析支撐實踐:統(tǒng)一數(shù)據(jù)支撐平臺–軍工行業(yè)未來戰(zhàn)爭是“信息戰(zhàn)爭”，衛(wèi)星越來越成為整個武器系統(tǒng)的信息核心與制高點，發(fā)揮不可替代的軍事力量倍增作用。某大型軍工企業(yè)衛(wèi)星數(shù)據(jù)在近年來的應用不斷深化發(fā)展過程中，數(shù)據(jù)量越來越龐大，對數(shù)據(jù)多元性、以及海量數(shù)據(jù)的分布調(diào)度、計算框架、智能運維等提出了更高的要求。要求充分考慮數(shù)據(jù)的多元化和多樣性，結合各類分布式數(shù)據(jù)庫，提供統(tǒng)一結構化和半結構化數(shù)據(jù)存儲及查詢平臺，要求支撐海量數(shù)據(jù)的高速寫入和類SQL查詢。提供分布式調(diào)度子系統(tǒng)，保證業(yè)務高可靠、數(shù)據(jù)處理無丟失。在保證可靠性的前提下，同時支持數(shù)據(jù)的鮮活性和主權管理，對數(shù)據(jù)擁有者和數(shù)據(jù)使用者的權限進行明確劃分。要求建立分布式計算框架，同時支撐實時流式分析和批處理分析的計算任務。通過可靠讀寫與檢索，對歷史數(shù)據(jù)的挖掘分析提供有力的數(shù)據(jù)支撐。要求具有智能運維能力：實現(xiàn)數(shù)據(jù)資源統(tǒng)一運維，對各業(yè)務進行全生命周期管理。在保證系統(tǒng)正常運行的前提下，同時支持系統(tǒng)規(guī)模隨用戶規(guī)模進行動態(tài)擴展。某大型軍工企業(yè)衛(wèi)星數(shù)據(jù)綜合處理系統(tǒng)－流式海量數(shù)據(jù)統(tǒng)一存儲訪問及實時分析支撐實踐:統(tǒng)一數(shù)據(jù)支撐平臺–電力能源集團企業(yè)目前，能源行業(yè)的數(shù)據(jù)正面臨數(shù)據(jù)量大、數(shù)據(jù)分散、缺乏有效的分析方法、數(shù)據(jù)格式眾多、數(shù)據(jù)傳輸效率慢、數(shù)據(jù)重復等重重困境。對于該能源集團而言，建立大數(shù)據(jù)平臺，通過采集、分析、處理和預警體系，及時準確地掌握企業(yè)的生產(chǎn)運營現(xiàn)狀，更好地規(guī)劃能源生產(chǎn)與資源分配，更清楚地了解市場運行動態(tài)，從而進一步推進能源企業(yè)科學化、智能化運營管理及能源行業(yè)市場化的發(fā)展。通過集成ERP、人力資源等各業(yè)務系統(tǒng)數(shù)據(jù)，為企業(yè)提供綜合數(shù)據(jù)服務。為其他應用系統(tǒng)提供統(tǒng)一的數(shù)據(jù)視圖和統(tǒng)一訪問入口，實現(xiàn)信息共享，打通同下級單位核心應用數(shù)據(jù)通道，避免“信息孤島”。實現(xiàn)對現(xiàn)有業(yè)務數(shù)據(jù)的整合集成和有效利用，分專業(yè)建立集團主要決策分析指標及相應分析主題，滿足企業(yè)戰(zhàn)略管理、績效考核和經(jīng)營分析的需要。構建基于大數(shù)據(jù)平臺架構的高可用性和可擴展性的數(shù)據(jù)分析決策支撐系統(tǒng)，能夠采集處理第三方外部數(shù)據(jù)源業(yè)務數(shù)據(jù)，形成基于一個數(shù)據(jù)處理中心的多源業(yè)務分析處理平臺。某大型能源集團大數(shù)據(jù)統(tǒng)一分析應用平臺－跨域跨源異構多類型數(shù)據(jù)統(tǒng)一存儲訪問及綜合分析實踐:統(tǒng)一數(shù)據(jù)支撐平臺–金融行業(yè)目前，隨著銀行業(yè)務的不斷發(fā)展，銀行業(yè)務部門對數(shù)據(jù)分析的需求更加多樣、對于數(shù)據(jù)分析的時效性、數(shù)據(jù)分析范圍都有了更高的要求，依托現(xiàn)有技術平臺難以支持，需要引入大數(shù)據(jù)技術。作為國有大型銀行，提高數(shù)據(jù)作為銀行業(yè)戰(zhàn)略資產(chǎn)重要性認識，建立數(shù)據(jù)應用標準化建設，不斷推動信息數(shù)據(jù)的邏輯整合。同時，將大數(shù)據(jù)作改革創(chuàng)新和業(yè)務發(fā)展的重要引擎，建立加強大數(shù)據(jù)管理和公共分析應用能力，推動銀行更好地解讀所擁有的數(shù)據(jù)，將數(shù)據(jù)轉變成業(yè)務決策和管理風險更有效的支撐。平臺作為PAAS平臺，將大數(shù)據(jù)技術相關的軟硬件資源進行整合，統(tǒng)一對外提供標準化的存儲、計算、分析、訪問等服務能力，屏蔽的技術細節(jié)。重點包括海量數(shù)據(jù)（結構化、半結構化及非結構化）存儲能力，數(shù)據(jù)密集型的并行計算能力，提供事務處理機制，提供數(shù)據(jù)展現(xiàn)能力。平臺通過對技術能力的封裝、適配，實現(xiàn)應用隔離，其將開放接口與技術組件解耦，便于在平臺層面統(tǒng)一應對技術變更的影響；某大型國有銀行大數(shù)據(jù)應用開發(fā)平臺－跨源異構數(shù)據(jù)統(tǒng)一存儲訪問、多系統(tǒng)數(shù)據(jù)交換及應用開發(fā)支撐實踐:統(tǒng)一數(shù)據(jù)支撐平臺–互聯(lián)網(wǎng)全球服務體系某大型國際互聯(lián)