曙光XData大數(shù)據(jù)產品介紹解決方案中心技術路線選擇大象擴展性好成本低單機性能差關系型數(shù)據(jù)庫支持差鐵人一體化設備擴展性差價格昂貴

曙光自主代碼

開源實現(xiàn)

在開源基礎上改進

商業(yè)產品XData大數(shù)據(jù)一體機XData-Hadoop管理組件分布式存儲系統(tǒng)(HDFS-2.0/P200)非結構化數(shù)據(jù)庫(Hbase-0.94)數(shù)據(jù)倉庫(Hive-0.10)數(shù)據(jù)挖掘工具(Mahout-0.7)數(shù)據(jù)傳導器(Sqoop-1.4)海量日志收集器(Flume-1.3)協(xié)同工作服務(Zookeeper-3.4)類SQL編譯器(Pig-0.10)任務調度器(Mesos-0.13)開源關系數(shù)據(jù)庫(PostgreSQL-0.92)商業(yè)關系數(shù)據(jù)庫(Oracle-8i/9i/10g/11g)統(tǒng)一編程接口(XJDBC/JDBC/ODBC)類SQL編譯器(SQL++)圖形化任務流(UDF-1.0/Oozie-3.3)全文檢索器(Katta/Lucene)并行處理框架(Map/Reduce)并行執(zhí)行引擎

XData大數(shù)據(jù)處理基礎平臺-v1.0多數(shù)據(jù)轉換器(SETL)大數(shù)據(jù)專用數(shù)據(jù)服務器XData-Hadoop大數(shù)據(jù)軟件高密度云存儲節(jié)點(5U80盤)大數(shù)據(jù)專用數(shù)據(jù)服務器1.基于XEON處理器的存儲服務器產品；2.機箱采用上開蓋，豎插硬盤方式；3.整機深度800mm，可用于普通機柜；4.每U15塊3.5”硬盤，業(yè)內密度最高的可熱插拔服務器存儲XData大數(shù)據(jù)處理基礎平臺應用程序XDataAPI接口（XJDBC）連接管理數(shù)據(jù)驅動日志模塊預處理加載計數(shù)器連接池管理加載服務連接管理數(shù)據(jù)驅動日志模塊類SQL分析分發(fā)執(zhí)行連接池管理查詢服務結果匯總連接管理數(shù)據(jù)驅動日志模塊事務緩存管理連接池管理配置服務事務執(zhí)行數(shù)據(jù)同步負載均衡服務管理日志管理認證管理系統(tǒng)監(jiān)控安裝部署系統(tǒng)管理HDFS數(shù)據(jù)節(jié)點/數(shù)據(jù)庫節(jié)點HDFS數(shù)據(jù)節(jié)點/數(shù)據(jù)庫節(jié)點HDFS數(shù)據(jù)節(jié)點/數(shù)據(jù)庫節(jié)點HDFS數(shù)據(jù)節(jié)點/數(shù)據(jù)庫節(jié)點元數(shù)據(jù)庫存儲劃分參數(shù)設置索引管理模式定義分區(qū)管理對象管理元數(shù)據(jù)管理DIM管理工具

管理API元數(shù)據(jù)庫SQL++工具自定義請求核心技術并行任務流執(zhí)行控制計算定義和請求描述數(shù)據(jù)轉換和遷移數(shù)據(jù)關聯(lián)加載技術數(shù)據(jù)劃分和存儲組織

任務流執(zhí)行同步控制技術

任務間數(shù)據(jù)劃分和傳輸控制

大表關聯(lián)和嵌套查詢數(shù)據(jù)劃分到文件的映射

數(shù)據(jù)模式定義和解釋計算語義的預定義技術

SQL/MR作業(yè)的級聯(lián)和關聯(lián)

混合任務流描述和解析結構化/非結構化數(shù)據(jù)轉換技術

并行處理內部隱式數(shù)據(jù)轉換

據(jù)導入導出和數(shù)據(jù)遷移技術

DB/Hadoop數(shù)據(jù)模式映射

多源關聯(lián)數(shù)據(jù)導入HDFS*132451.統(tǒng)一編程接口ETLSQL++2.SQLonHadoop3.數(shù)據(jù)倉庫功能增強元數(shù)據(jù)統(tǒng)一管理并行執(zhí)行控制4.分布式存儲系統(tǒng)5.任務流控制圖形化任務流6.Hadoop圖形管理系統(tǒng)曙光Xdata-hadoopHDFS/HBase/Hive增強Hive增強替代HDFS替代Oozie替代AmbariHive/Pig增強直接面向用戶，讓用戶方便地使用XData，提供標準接口，保持用戶原有習慣1.統(tǒng)一對外編程接口Oracle/PGHDFSHBaseHive數(shù)據(jù)定義服務加載服務查詢服務ICE中間件數(shù)據(jù)定義專用接口加載專用接口查詢專用接口統(tǒng)一對外編程接口SQL++其他支撐工具XData的命令行工具，XData平臺的入口之一，類似于oracle的sqlplus為用戶提供快捷方便的使用途徑，不需要寫代碼，直接輸入sql語句就可以執(zhí)行方便地定制顯示格式批量執(zhí)行腳本中的命令結果可保存到本地文件支撐工具-SQL++支撐工具-ETLOracle/PGHDFSHBaseHive抽取轉換工具加載服務加載工具本地文件數(shù)據(jù)庫、HDFS、Hbase、Hive的相互轉換本地文件的快速加載2.SQLonhadoop關鍵功能：預定義和自定義FUNCTION分區(qū)條件過濾限制數(shù)據(jù)量結構化與非結構化關聯(lián)多任務級聯(lián)并行執(zhí)行控制3.數(shù)據(jù)倉庫功能增強元數(shù)據(jù)模塊Xdata項目中的元數(shù)據(jù)服務并行查詢執(zhí)行框架加載服務元數(shù)據(jù)查詢服務控制配置服務數(shù)據(jù)定義服務統(tǒng)一的客戶端訪問接口（類JDBC接口）統(tǒng)一的數(shù)據(jù)訪問驅動數(shù)據(jù)庫Hadoop其他類型數(shù)據(jù)服務管理負載均衡備份恢復容錯管理系統(tǒng)圖形化管理工具日志管理SQL*結果創(chuàng)建對象記錄數(shù)據(jù)HIVE體系結構中的元數(shù)據(jù)庫元數(shù)據(jù)庫:存儲數(shù)據(jù)倉庫里所有的各種表與分區(qū)的結構化信息通常存儲在關系數(shù)據(jù)庫(MySQL,Derby).HDFS體系結構中的元數(shù)據(jù)庫元數(shù)據(jù):維護HDFS文件系統(tǒng)中文件和目錄的信息。

存儲在文件系統(tǒng)中，由NameNode來維護。

4.分布式存儲系統(tǒng)圖形化任務流處理技術（在研）5.任務流控制6.XData-Hadoop管理組件PAAS平臺一體化集成平臺統(tǒng)一調度平臺應用開發(fā)平臺運維設備監(jiān)控服務監(jiān)控運行監(jiān)控統(tǒng)計報表告警管理調優(yōu)診斷自維護軟件部署服務管理配置管理節(jié)點管理運行數(shù)據(jù)查詢數(shù)據(jù)轉換任務流作業(yè)編寫作業(yè)提交作業(yè)調度數(shù)據(jù)導入作業(yè)監(jiān)控文件瀏覽文件上傳文件下載文件編輯運用移動終端Portal數(shù)據(jù)可視化數(shù)據(jù)分析

一鍵式快速安裝多維度系統(tǒng)監(jiān)控全方位故障診斷集中式便捷管理XDataaBSM產品套裝為我們帶來了什么？XData運維功能特色XData運維功能覆蓋軟件部署服務管理節(jié)點管理

向導式安裝一鍵式安裝一鍵式卸載服務啟停高可用管理角色配置節(jié)點擴容刪除節(jié)點節(jié)點服務監(jiān)控節(jié)點設備監(jiān)控服務運行監(jiān)控第三方監(jiān)控集成告警報表配置管理狀態(tài)告警閾值告警郵件告警統(tǒng)計報表趨勢報表對比報表參數(shù)配置配置同步配置備份調優(yōu)診斷日志分析審計日志推薦參數(shù)XData:便捷的部署提供一鍵安裝和向導安裝兩種方式，助您輕松完成復雜的安裝過程：向導式安裝：根據(jù)向導按步驟的定義相關配置，即可完成復雜系統(tǒng)的安裝過程。一鍵式安裝：只需上傳xls文件，即可一鍵完成安裝，讓您的安裝過程輕松自如XData:完善的管理提供完善的管理功能，可以為大數(shù)據(jù)軟件的各種組件提供圖形化的：服務啟停角色配置增刪節(jié)點高可用設置復雜的操作、復雜的集群，通過輕點鼠標，即可快速完成XData:全面的監(jiān)控XData提供全面的監(jiān)控功能，支持各個層次軟硬件的監(jiān)控：設備監(jiān)控：提供各物理節(jié)點的狀態(tài)、部件的基本信息監(jiān)控。組件監(jiān)控：提供大數(shù)據(jù)各組件HDFS、MapReduce、HBase、Hive等服務的監(jiān)控集群監(jiān)控：提供集群整體性能、狀態(tài)監(jiān)控監(jiān)控全方位、多層次，讓你對系統(tǒng)的運行一覽無余。多種告警方式告警引擎統(tǒng)一告警平臺XData:健全的告警發(fā)送策略定義告警關聯(lián)管理業(yè)務人員管理消息模板管理聲光顯示條件郵件短信控制可用性反應系統(tǒng)各層級設備、應用、軟件的當前可用性、歷史可用性、資源使用情況等評估預測單指標歷史趨勢和多指標融合對比，反應系統(tǒng)各個層面狀態(tài)，預測系統(tǒng)問題挖掘基于應用特性分析，優(yōu)化配置應用和資源XData:多樣的報表XData:易用的調參為用戶提供易用的調參工具，針對不同的應用快速調整參數(shù)，以使得系統(tǒng)處于最佳運行狀態(tài)。XData:快速的診斷為用戶提供快速的日志定位查詢功能，幫助用戶準確定位故障的來源，迅速排除各組件的故障。HDFS文件瀏覽、上傳、下載、在線編輯Mapreduce作業(yè)/任務編寫、提交、調度、監(jiān)控Hbase/Hive表的增刪管理、數(shù)據(jù)查詢圖形化任務流工具數(shù)據(jù)導入、數(shù)據(jù)導出等批量圖形化工具數(shù)據(jù)抽取轉換等ETL工具XData運行功能XData:文件管理利器XData提供全面的基于WEB的文件管理功能，可以輕松實現(xiàn)基于WEB對文件進行上傳、下載、瀏覽、查詢、編輯等功能。XData:作業(yè)管理助手XData提供基于WEB的MapReduce作業(yè)提交、調度、作業(yè)級任務級監(jiān)控功能。祝您輕松完成Hadoop作業(yè)管理。XData:數(shù)據(jù)操作幫手XData提供基于WEB的Hbase/Hive表、數(shù)據(jù)的創(chuàng)建、刪除、修改，查詢功能，所有操作借助圖形界面輕松完成。XData:圖形化，讓您生活更輕松XData提供了Hadoop各組件的設計、瀏覽、管理、監(jiān)控等WEB圖形化工具，讓開發(fā)人員使用運行Hadoop輕松愜意。XData:PAAS平臺功能

一體化的運維、運行、運用功能插件式的一體化軟件集成平臺應用開發(fā)平臺統(tǒng)一調度平臺一體化集成平臺應用模板應用PortalIDE插件MPI和Hadoop統(tǒng)一調度Xdata-Hadoop大數(shù)據(jù)軟件RoadmapQ3’13Q4’13Q1’14Q2’14Q3’14Q4’14789101112123456789101112Hdfs-2.0.01.自動分級存儲2.元數(shù)據(jù)集群（節(jié)點數(shù)可達128臺，可存儲400億以上文件）3.元數(shù)據(jù)HA（兩兩互備，30秒內可完成切換，業(yè)務不中斷）4.N+M數(shù)據(jù)布局（利用率可達80%-94%）5.存儲瀏覽功能Hbase-0.94.21.支持對處理結構化數(shù)據(jù)2.UDF引擎支持結構化數(shù)據(jù)處理3.SQL92大部分支持1

Co-processor改進，提高數(shù)據(jù)持續(xù)寫入性能2多線程flush優(yōu)化，異步flush優(yōu)化，3應用級分區(qū)+regionserver預分配策略1.支持數(shù)據(jù)表跨數(shù)據(jù)中心2.表內容直接瀏覽功能Hive-0.10.01.自定義業(yè)務流提交和執(zhí)行2.多組件聯(lián)合的數(shù)據(jù)處理綜合業(yè)務流3.表內容直接瀏覽功能Flume-1.3.0Mahout-0.7Sqoop-1.4.2Zookeeper-3.4.5Pig-0.10.0定期與社區(qū)保持同步Hadoop管理系統(tǒng)-1.0MapReduce1.JobtrackerHA實現(xiàn)1.數(shù)據(jù)傳輸和遷移功能增強2.模式轉換功能1.基于WEB界面的上傳下載功能2.MR作業(yè)提交、任務監(jiān)控3.Hbase/Hive表瀏覽及查詢、增刪4.應用portalHadoop管理系統(tǒng)-2.01.圖形化任務流2.數(shù)據(jù)訪問監(jiān)控3.數(shù)據(jù)訪問工具集4.數(shù)據(jù)可視化XData一體機RoadMap2013Q42014Q12014Q22014Q32014Q42015Q12015

Q2101112123456789101112123456V4.2:通用結構化/非結構化數(shù)據(jù)存儲和處理中間件ZHX應用定制，形成專門日志分析應用版：研發(fā)日志抓取、格式化、加載、統(tǒng)計、展示、用戶行為分析等工具。面向日志分析和用戶行為分析類應用XHS項目定制，形成新媒體行業(yè)專用版：關鍵詞、標簽、分類聚類等新聞話題內容處理工具集，面向內容檢索和輿情分析類應用GJY廣電項目定制，形成廣電行業(yè)專用版：含用戶日志和行為分析，圖像特征化提取工具，圖像和視頻存儲和檢索工具包，面向廣電行業(yè)多種應用類型