實(shí)時(shí)大數(shù)據(jù)分析及可視化展示平臺(tái)技術(shù)創(chuàng)新，變革未來目錄公司介紹產(chǎn)品介紹案例分享DreamBigData Solution（XX大數(shù)據(jù)解決方案）DreamMM元數(shù)據(jù)管理DreamPortal 智能門戶：電腦端 移勱端（蘋果、安卐）數(shù)據(jù)生產(chǎn)提供系統(tǒng)系統(tǒng)：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù) 外部數(shù)據(jù)：結(jié)構(gòu)化數(shù)據(jù)、非機(jī)構(gòu)化數(shù)據(jù)DreamEx數(shù)據(jù)交換引擎DreamSpider網(wǎng)絡(luò)爬蟲DreamETL數(shù)據(jù)清洗加載DreamForm問卷調(diào)查DreamSearch智能檢索DreamBI智能分析DreamCE復(fù)雜處理引擎DreamDP數(shù)據(jù)處理DreamDM分析挖掘HadoopMySql關(guān)系型數(shù)據(jù)庫1-1000億條記錄1000億條記錄以上1億條記錄以下DreamSM主題集市HBase Hive Spark pigDsCE

Jdbc/odbc R/scala/pythonDreamBase基于內(nèi)存分布式OLAP數(shù)據(jù)庫黨政信息化第一品牌Dreambase-產(chǎn)品特性支持MPP，自勱線性勱態(tài)擴(kuò)展至數(shù)百臺(tái)集群；提供全面的SQL支持，幵提供多平臺(tái)的SQL驅(qū)勱；在大數(shù)據(jù)情況下，對(duì)數(shù)據(jù)進(jìn)行秒級(jí)的實(shí)時(shí)分析，包括復(fù)雜查詢，以及多個(gè)大表之間的Join；數(shù)據(jù)保存在HDFS上面，保證數(shù)據(jù)可靠性；采用通用的x86硬件，成本低；黨政信息化第一品牌Dreambase-核心技術(shù)列存2.0勱態(tài)數(shù)據(jù)分發(fā)In-Memory

ComputingMPP數(shù)據(jù)源C1C2C3C4C1‘壓縮C2‘壓縮C3‘壓縮C4‘壓縮C1‘復(fù)制C2‘復(fù)制C3‘復(fù)制C4‘復(fù)制節(jié)點(diǎn)1 節(jié)點(diǎn)2 節(jié)點(diǎn)3并行：數(shù)據(jù)復(fù)制分布存儲(chǔ)在不同的節(jié)點(diǎn)上并行處理高可用性：任何節(jié)點(diǎn)宕機(jī)將不影響數(shù)據(jù)完整和業(yè)務(wù)連續(xù)性黨政信息化第一品牌Dreambase-核心技術(shù)列存勱態(tài)數(shù)據(jù)分發(fā)In-Memory

ComputingMPP基本功能減少I/O高效的數(shù)據(jù)壓縮高級(jí)功能快速數(shù)據(jù)過濾字典Encoding數(shù)據(jù)自動(dòng)排序?存儲(chǔ)地址行式的數(shù)據(jù)組織列式的數(shù)據(jù)組織趙錢孫李周2525243031男男男男女趙25男錢25男孫24男李30男周31女映射到存儲(chǔ)趙25男錢25男孫24男李30男周31女黨政信息化第一品牌Dreambase-核心技術(shù)列存2.0勱態(tài)數(shù)據(jù)分發(fā)In-Memory

ComputingMPP1. BROADCAST：讓較小的表能夠完整地分發(fā)到每個(gè)DataNode上，這樣能快速地完成兩表之間的Join，幵丏盡可能地降低網(wǎng)絡(luò)I/O；2. REHASH：讓兩個(gè)大表能夠一起勱態(tài)再分配（Hash機(jī)制），使的每個(gè)DataNode能獲取到其所需兩的部分?jǐn)?shù)據(jù)，從而完成Join；3. LOCALIZE：在導(dǎo)入數(shù)據(jù)的時(shí)候，預(yù)先完成Broadcast呾Hash來進(jìn)一步提升性能；4. PIPLINE：只要收到Join數(shù)據(jù)的一部分，就開始執(zhí)行Join，而丌是等待所有數(shù)據(jù)；黨政信息化第一品牌Dreambase-核心技術(shù)列存2.0勱態(tài)數(shù)據(jù)分發(fā)In-Memory

ComputingMPP1. Vector

Processing：在執(zhí)行SQL指令的時(shí)候，使用最新的INTEL

SSE4.1

呾

SSE4.2

指令集來加快指令執(zhí)行；2. Runtime

Code

Generation：能在執(zhí)行查詢前，勱態(tài)編譯查詢指令，從而避免傳統(tǒng)非常耗時(shí)的Switch-Case，幵丏提高Cache命中率；3.

SSD/DiskSupport：數(shù)據(jù)丌一定需要限定在內(nèi)存中，數(shù)據(jù)在SSD呾硬盤中依舊可以享受內(nèi)存計(jì)算的好處；黨政信息化第一品牌Dreambase-查詢示例1：TPC-H

Q3在16臺(tái)低配服務(wù)器上面，做了2（分別6億，1.5億）和1（1.5千萬）的三表Join，查詢耗時(shí)僅為4.2秒?。。。。。?！黨政信息化第一品牌Dreambase-查詢示例2：TPC-H

Q4在同樣16臺(tái)低配服務(wù)器上面，做了2（分別6億，1.5億）的where

exist

join，查詢耗時(shí)僅為5.3

秒！?。↑h政信息化第一品牌DreamMM-元數(shù)據(jù)管理為各類業(yè)務(wù)數(shù)據(jù)提供統(tǒng)一的管理與描述，功能包括：指標(biāo)元數(shù)據(jù)管理代碼元數(shù)據(jù)管理存儲(chǔ)模型管理審核關(guān)系管理版本管理血緣追溯黨政信息化第一品牌政務(wù)外網(wǎng)統(tǒng)計(jì)專網(wǎng)交換前置機(jī)交換前置機(jī)縣級(jí)交換節(jié)點(diǎn)縣級(jí)交換節(jié)點(diǎn)

地市交換節(jié)點(diǎn)縣級(jí)交換節(jié)點(diǎn)縣級(jí)交換節(jié)點(diǎn)縣級(jí)交換節(jié)點(diǎn)

地市交換節(jié)點(diǎn)地市交換節(jié)點(diǎn)

統(tǒng)計(jì)專網(wǎng)數(shù)據(jù)交

換交換應(yīng)用服務(wù)配置數(shù)據(jù)庫交換門戶交換管理應(yīng)用系統(tǒng)海量存儲(chǔ)數(shù)據(jù)庫系統(tǒng)辦公系統(tǒng)現(xiàn)有數(shù)據(jù)庫現(xiàn)有應(yīng)用群各專業(yè)因特網(wǎng)數(shù)據(jù)探針網(wǎng)頁社交Web服務(wù)交換前置機(jī)數(shù)據(jù)中心黨政信息化第一品牌DreamETL-數(shù)據(jù)清洗加載實(shí)現(xiàn)各級(jí)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取和加載，主要功能包括：數(shù)據(jù)源管理數(shù)據(jù)關(guān)系匹配與轉(zhuǎn)換規(guī)則審核規(guī)則設(shè)置數(shù)據(jù)交換流程管理數(shù)據(jù)交換引擎任務(wù)異常監(jiān)控系型數(shù)據(jù)庫：MS-SQLServer、MYSQL、Oracle、DB2等；件格式：DBF、Excel、Txt、Cvs等；據(jù)接口：API，WebService，RestFul等；斷點(diǎn)續(xù)傳及異常數(shù)據(jù)審核、回滾等交換機(jī)制。靈活的可編程性、模塊化的設(shè)計(jì)能力，數(shù)據(jù)處理流程，客戶自數(shù)等具備可重用性；增量抽取的處理方式，增量加載的處理方式；元數(shù)據(jù)的管理，能提供動(dòng)態(tài)的影響分析，能與前端報(bào)表系統(tǒng)結(jié)技術(shù)參數(shù)要求包括：? 支持多種數(shù)據(jù)格式的數(shù)據(jù)交換，包括：

關(guān)

文

數(shù)? 支持? 具有 定義腳本和函? 支持? 支持 合，分析報(bào)表到業(yè)務(wù)系統(tǒng)的血緣分析關(guān)系；支持?jǐn)?shù)據(jù)交換任務(wù)的發(fā)布與執(zhí)行監(jiān)控，如任務(wù)的執(zhí)行計(jì)劃制定、定期執(zhí)行、人工執(zhí)行、結(jié)果反饋、異常監(jiān)控。黨政信息化第一品牌即席查詢功能提供一個(gè)靈活的查詢工具，用戶可以根據(jù)自己的需要，靈活的設(shè)置查詢項(xiàng)及查詢條件，同時(shí)支持查詢條件的任意組合及與或關(guān)系。功能點(diǎn)包括：

自由的選擇查詢項(xiàng)，支持TOPN查詢；

查詢條件的自由設(shè)置與任意組合，同時(shí)支持介于、屬于列表等條件設(shè)置；

查詢結(jié)果的排序項(xiàng)可設(shè)置多個(gè)，并支持單獨(dú)設(shè)置升降序；

查詢方式可保存成查詢模板，發(fā)布給其他人使用；

查詢結(jié)果支持各種類型發(fā)布，包括生成EXCEL、HTML等功能。黨政信息化第一品牌DreamBI-多維在線分析為用戶提供可視化、簡(jiǎn)單多維在線分析（OLAP）工具，通過鼠標(biāo)拖拽的方式，實(shí)現(xiàn)復(fù)雜多變的報(bào)表分析與展示。具體功能包括：維度、指標(biāo)可以任意組合,實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)以及分類匯總；通過查詢模版設(shè)置與統(tǒng)計(jì)報(bào)表設(shè)置的結(jié)合，實(shí)現(xiàn)條件查詢、模糊查詢、組合查詢、關(guān)鍵字搜索，支持切片過濾;支持Excel，Html格式的報(bào)表導(dǎo)出導(dǎo)出;支持行列互換以及數(shù)據(jù)的上鉆、下鉆操作；支持派生指標(biāo)；支持交互式的圖表展現(xiàn),圖表導(dǎo)出PNG、JEPG、PDF、SVG等格式。黨政信息化第一品牌，；智能圖表會(huì)提供圖表制定工具，用戶可以自行設(shè)置圖表展現(xiàn)形式，圖表間聯(lián)動(dòng)交互邏輯等，包括：1、可視化的、拖拽式的、所見即所得圖表設(shè)置工具；2、支持圖表觸發(fā)事件的邏輯設(shè)置支持圖表交互；4、支持儀表盤、駕駛艙等展現(xiàn)模式；5、支持某著名企業(yè)端的數(shù)據(jù)及圖表展示6、支持與GIS系統(tǒng)結(jié)合。黨政信息化第一品牌DreamDM

–智能挖掘集成開源的統(tǒng)計(jì)分析語言（R語言），并支持SAS、SPSS等常用挖掘分析工具用戶可以自己編寫數(shù)據(jù)挖掘算法；支持：在線編譯可視化分析數(shù)據(jù)和圖表互動(dòng)算法模型管理黨政信息化第一品牌DreamForm-數(shù)據(jù)報(bào)送全流程的任務(wù)管控傻瓜式的問卷設(shè)計(jì)靈活的樣本抽取多樣的調(diào)查手段豐富的調(diào)查渠道精確的質(zhì)量控制方便快捷的數(shù)據(jù)處理與分析黨政信息化第一品牌DreamForm-數(shù)據(jù)報(bào)送定，同時(shí)支持從調(diào)查制可視化的問卷設(shè)置工具，用戶可以通過拖拽的方式完成問卷的指度導(dǎo)入指標(biāo)自動(dòng)生成某著名企業(yè)端問卷。豐富的問卷題型包括:

單選題

多選題

填空題

打分題

排序題

多項(xiàng)填空題

矩陣題

音像問答題

圖片問答題同時(shí)，支持：模板常用題目邏輯跳轉(zhuǎn)黨政信息化第一品牌獲取本期數(shù)據(jù)DreamDP提供可視化的數(shù)據(jù)管理、加載、審核、查詢、匯總、計(jì)算、組合、報(bào)表制作、 產(chǎn)值表與單位 腳本錄表關(guān)聯(lián)查詢圖表制作等基礎(chǔ)處理功能，同時(shí)，用戶可以根 制據(jù)業(yè)務(wù)的實(shí)際需要，制作自己的批處理腳本。 匯總到行業(yè)中類利用自動(dòng)腳本技術(shù)，將用戶的每一步操作 計(jì)算 關(guān)聯(lián)行業(yè)價(jià)格錄制成一個(gè)批量操作腳本，并保存成一個(gè)腳本 工 指數(shù)表模版，這樣，用戶在完成相同操作的時(shí)候，就 業(yè) 計(jì)算行業(yè)可比 工業(yè)增加值增 價(jià)可以調(diào)用腳本，一鍵執(zhí)行。方便快捷且不會(huì)出 處理腳本加 計(jì)算增加值現(xiàn)誤操作。 值。。。。一鍵執(zhí)生成統(tǒng)計(jì)報(bào)表行歸檔目錄公司介紹產(chǎn)品介紹案例分享黨政信息化第一品牌國家發(fā)改委-企業(yè)信用信息可視化分析系統(tǒng)黨政信息化第一品牌國家發(fā)改委-政務(wù)大廳統(tǒng)計(jì)分析平臺(tái)黨政信息化第一品牌工信部-大數(shù)據(jù)決策支撐平臺(tái)黨政信息化第一品牌工信部-信息產(chǎn)業(yè)運(yùn)行監(jiān)測(cè)平臺(tái)黨政信息化第一品牌農(nóng)業(yè)部-農(nóng)業(yè)專題數(shù)據(jù)分分析系統(tǒng)黨政信息化第一品牌珠海智慧城市-云計(jì)算大數(shù)據(jù)分析服務(wù)平臺(tái)-政策分析珠海智慧城市-云計(jì)算大數(shù)據(jù)分析服務(wù)平臺(tái)-經(jīng)濟(jì)分析黨政信息化第一品牌上海證券交-金融大數(shù)據(jù)信息服務(wù)平臺(tái)、利用分布式內(nèi)存數(shù)據(jù)庫Dreambase，加載進(jìn)20年800億條歷叱交據(jù)，實(shí)現(xiàn)仸意股票仸意時(shí)間段的交回放，同時(shí)為監(jiān)察系統(tǒng)、實(shí)時(shí)計(jì)算海量數(shù)據(jù)倉庫等提供高可用、低延遲、快速分布式計(jì)算的數(shù)據(jù)服務(wù)，實(shí)現(xiàn)秒級(jí)組合查詢及匯總。黨政信息化第一品牌教育大數(shù)據(jù)決策分析平臺(tái)黨政信息化第一品牌教育大數(shù)據(jù)決策分析平臺(tái)策分析平臺(tái)教育大數(shù)據(jù)決策分析平臺(tái)黨政信息化第一品牌統(tǒng)計(jì)行業(yè)數(shù)據(jù)資源管理服務(wù)平臺(tái)IaasDaasPaasSaas建設(shè)內(nèi)容可概括為“146+N”工程，即：1：建設(shè)1個(gè)統(tǒng)一規(guī)范的統(tǒng)計(jì)數(shù)據(jù)資源中心；4：面向統(tǒng)計(jì)業(yè)務(wù)人員、部門用戶、企業(yè)、社會(huì)公眾這4類用戶；6：構(gòu)建元數(shù)據(jù)管理、業(yè)務(wù)支撐與協(xié)同、數(shù)據(jù)共享交換，數(shù)據(jù)資源整合、數(shù)據(jù)資源管理、統(tǒng)計(jì)分析等6大基礎(chǔ)支撐平臺(tái)；N：基于支撐平臺(tái)，并結(jié)合不斷變化的業(yè)務(wù)需要，實(shí)現(xiàn)綜合查詢、綜合分析、景氣預(yù)警、一、決策支持、數(shù)據(jù)云服務(wù)、監(jiān)測(cè)評(píng)價(jià)、智能門戶、某著名企業(yè)應(yīng)用等應(yīng)用系統(tǒng)。數(shù)據(jù)中心全局視圖系統(tǒng) 智能門戶系統(tǒng) 某著名企業(yè)應(yīng)用服務(wù)系統(tǒng)景氣預(yù)警信號(hào)燈系統(tǒng) 經(jīng)濟(jì)發(fā)展一統(tǒng) 數(shù)據(jù)決策支持信息系統(tǒng) 數(shù)據(jù)云服務(wù)系統(tǒng)監(jiān)測(cè)評(píng)價(jià)系統(tǒng) 綜合分析系統(tǒng) 綜合查詢系統(tǒng) 經(jīng)濟(jì)預(yù)測(cè)系統(tǒng) 應(yīng)用服務(wù)系統(tǒng)數(shù)據(jù)資源整合 數(shù)據(jù)資源管理平臺(tái) 統(tǒng)計(jì)分析平臺(tái)元數(shù)據(jù)管理平臺(tái) 業(yè)務(wù)支撐與協(xié)同平臺(tái) 數(shù)據(jù)共享交換平臺(tái)元數(shù)據(jù)庫企業(yè)名錄庫原始數(shù)據(jù)庫基礎(chǔ)數(shù)據(jù)庫主題數(shù)據(jù)庫共享與發(fā)布數(shù)據(jù)庫操作系統(tǒng)應(yīng)用服務(wù)器虛擬化管理軟件數(shù)據(jù)庫服務(wù)器數(shù)