大數(shù)據(jù)概論大數(shù)據(jù)技術(shù)簡(jiǎn)介1大數(shù)據(jù)的采集和預(yù)處理2大數(shù)據(jù)分析概論3大數(shù)據(jù)可視化簡(jiǎn)介4大數(shù)據(jù)概論

云計(jì)算與大數(shù)據(jù)51大數(shù)據(jù)技術(shù)簡(jiǎn)介

半個(gè)世紀(jì)以來(lái)，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長(zhǎng)速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今，這個(gè)概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。1.1大數(shù)據(jù)的時(shí)代背景20世紀(jì)90年代，數(shù)據(jù)倉(cāng)庫(kù)之父的BillInmon就經(jīng)常提及BigData。1.1大數(shù)據(jù)的時(shí)代背景互聯(lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。2011年5月，在“云計(jì)算相遇大數(shù)據(jù)”為主題的EMCWorld2011會(huì)議中，EMC拋出了BigData概念。1.1大數(shù)據(jù)的時(shí)代背景數(shù)據(jù)的本質(zhì)是生產(chǎn)資料和資產(chǎn)數(shù)據(jù)爆炸式增長(zhǎng)--每分鐘大數(shù)據(jù)定義數(shù)據(jù)量增加TBPBZBEB根據(jù)IDC監(jiān)測(cè)，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長(zhǎng)，大約每?jī)赡攴环?，這個(gè)速度在2020年之前會(huì)繼續(xù)保持下去。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。數(shù)據(jù)結(jié)構(gòu)日趨復(fù)雜大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長(zhǎng)這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇大數(shù)據(jù)時(shí)代正在來(lái)臨…企業(yè)內(nèi)部數(shù)據(jù)的采集是對(duì)企業(yè)內(nèi)部各種文檔、視頻、音頻、郵件、圖片等數(shù)據(jù)格式之間互不兼容的數(shù)據(jù)采集。Map：把統(tǒng)計(jì)?數(shù)目的任務(wù)分配給每個(gè)牌友分別計(jì)數(shù)。（4）背景數(shù)據(jù)的可視化知識(shí)計(jì)算是從大數(shù)據(jù)中首先獲得有價(jià)值的知識(shí)，并對(duì)其進(jìn)行進(jìn)一步深入的計(jì)算和分析的過(guò)程。1大數(shù)據(jù)可視化簡(jiǎn)介互聯(lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、這個(gè)例子告訴我們，MapReduce的兩個(gè)主要功能是Map和Reduce。以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。Tableau是一款功能非常強(qiáng)大的可視化數(shù)據(jù)分析軟件，其定位在數(shù)據(jù)可視化的商務(wù)智能展現(xiàn)工具。數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約。中國(guó)移動(dòng)通過(guò)大數(shù)據(jù)分析，對(duì)企業(yè)運(yùn)營(yíng)的全業(yè)務(wù)進(jìn)行針對(duì)性的監(jiān)控、預(yù)警、跟蹤。1大數(shù)據(jù)可視化簡(jiǎn)介4．ApacheDrill線的顏色分別代表：黃色為群主；云計(jì)算基礎(chǔ)架構(gòu)廣泛采用包括計(jì)算虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化等虛擬化技術(shù)。利用大數(shù)據(jù)，以往需要數(shù)周的分析工作，現(xiàn)在僅需要不足1小時(shí)便可完成。2．對(duì)非結(jié)構(gòu)化數(shù)據(jù)的采集大數(shù)據(jù)加上云計(jì)算被認(rèn)為是繼信息化和互聯(lián)網(wǎng)后整個(gè)信息產(chǎn)業(yè)的第三次革命。你把所有牌友的?數(shù)目加起來(lái)，得到最后的結(jié)論：一共13張?。大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），又稱巨量數(shù)據(jù)集合，是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。對(duì)于“大數(shù)據(jù)”研究機(jī)構(gòu)Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)加上云計(jì)算被認(rèn)為是繼信息化和互聯(lián)網(wǎng)后整個(gè)信息產(chǎn)業(yè)的第三次革命。大數(shù)據(jù)的4V特征1.Volume2.Variety3.value4.Velocity結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻，多類型的數(shù)據(jù)對(duì)數(shù)據(jù)處理能力提出了更高的要求沙里淘金，價(jià)值密度低以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題實(shí)時(shí)獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時(shí)代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命數(shù)據(jù)量巨大全球在2010年正式進(jìn)入ZB時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量大數(shù)據(jù)的4V特征大數(shù)據(jù)的4V特征大數(shù)據(jù)的4V特征大數(shù)據(jù)的4V特征大數(shù)據(jù)的4V特征體量Volume多樣性Variety價(jià)值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)占總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無(wú)模式或者模式不明顯不連貫的語(yǔ)法或句義大量的不相關(guān)信息對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等）實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說(shuō)，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過(guò)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行管理和訪問(wèn)的靜態(tài)、歷史數(shù)據(jù)。通過(guò)這些數(shù)據(jù)，我們能了解過(guò)去發(fā)生了什么。海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來(lái)源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過(guò)管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等。可以告訴我們未來(lái)會(huì)發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運(yùn)行的ApacheHadoop。大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)的數(shù)據(jù)格式結(jié)構(gòu)化信息：這種信息可以在關(guān)系數(shù)據(jù)庫(kù)中找到，多年來(lái)一直主導(dǎo)著IT應(yīng)用，是關(guān)鍵任務(wù)OLTP(聯(lián)機(jī)事務(wù)處理)系統(tǒng)業(yè)務(wù)所依賴的信息。另外，這種信息還可對(duì)結(jié)構(gòu)數(shù)據(jù)庫(kù)信息進(jìn)行排序和查詢。例如VF中的表。半結(jié)構(gòu)化信息：包括電子郵件、文字處理文件及大量保存和發(fā)布在網(wǎng)絡(luò)上的信息。非結(jié)構(gòu)化信息：該信息在本質(zhì)形式上可認(rèn)為主要是位映射數(shù)據(jù)。大數(shù)據(jù)應(yīng)用案例之：零售業(yè)1大數(shù)據(jù)可視化簡(jiǎn)介深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等）XO

Communications通過(guò)使用IBM

SPSS預(yù)測(cè)分析軟件，減少了將近一半的客戶流失率。它們將這些數(shù)據(jù)與交易記錄相結(jié)合來(lái)展開分析，從而在銷售哪些商品、如何擺放貨品以及何時(shí)調(diào)整售價(jià)上給出意見，此類方法已經(jīng)幫助某領(lǐng)先零售企業(yè)減少了17%的存貨，同時(shí)在保持市場(chǎng)份額的前提下，增加了高利潤(rùn)率自有品牌商品的比例。（TagCloud）如今，這個(gè)概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。全球在2010年正式進(jìn)入ZB時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量XO現(xiàn)在可以預(yù)測(cè)客戶的行為，發(fā)現(xiàn)行為趨勢(shì)，并找出存在缺陷的環(huán)節(jié)，從而幫助公司及時(shí)采取措施，保留客戶。1．大數(shù)據(jù)引發(fā)個(gè)人隱私、企業(yè)和國(guó)家安全問(wèn)題Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。其他系統(tǒng)比喻成其他星系。常用的數(shù)據(jù)挖掘方法有：分類、預(yù)測(cè)、關(guān)聯(lián)規(guī)則、聚類、決策樹、描述和可視化、復(fù)雜數(shù)據(jù)類型挖掘（Text、Web、圖形圖像、視頻、音頻）等。設(shè)計(jì)師馬特·羅賓森和湯姆·維格勒沃斯用不同的圓珠筆和字體寫“Sample”這個(gè)單詞。修飾是為了讓可視化的細(xì)節(jié)更為精準(zhǔn)、甚至優(yōu)美，比較典型的工作包括設(shè)置標(biāo)題，表明數(shù)據(jù)來(lái)源，對(duì)過(guò)長(zhǎng)的柱子進(jìn)行縮略處理，進(jìn)行表格線的顏色設(shè)置，各種字體、圖素粗細(xì)、顏色設(shè)置等。1．云服務(wù)模式應(yīng)用案例Facebook的Scribe3大數(shù)據(jù)分析的應(yīng)用希望通過(guò)接受免費(fèi)化妝服務(wù)，讓用戶進(jìn)行口碑宣傳，這是交易數(shù)據(jù)與交互數(shù)據(jù)的完美結(jié)合，為業(yè)務(wù)挑戰(zhàn)提供了解決方案。2大數(shù)據(jù)分析的主要技術(shù)云計(jì)算是一種用于對(duì)可配置共享資源池（網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)），通過(guò)網(wǎng)絡(luò)方便的、按需獲取的模型，它以最少的管理代價(jià)或以最少的服務(wù)商參與，快速地部署與發(fā)布。大數(shù)據(jù)需要解決的問(wèn)題Volume海量的數(shù)據(jù)規(guī)模Variety多樣的數(shù)據(jù)類型ValueVelocity快速的數(shù)據(jù)流轉(zhuǎn)發(fā)現(xiàn)數(shù)據(jù)價(jià)值大數(shù)據(jù)的處理流程大數(shù)據(jù)的技術(shù)架構(gòu)大數(shù)據(jù)的四層堆棧式技術(shù)架構(gòu)大數(shù)據(jù)的整體技術(shù)一般包括：數(shù)據(jù)采集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、模型預(yù)測(cè)和結(jié)果呈現(xiàn)等。大數(shù)據(jù)的相關(guān)技術(shù)ETL數(shù)據(jù)眾包（CrowdSouring）結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)分布式文件系統(tǒng)關(guān)系數(shù)據(jù)庫(kù)非關(guān)系數(shù)據(jù)庫(kù)（NoSQL）數(shù)據(jù)倉(cāng)庫(kù)云計(jì)算和云存儲(chǔ)實(shí)時(shí)流處理A/BTesting關(guān)聯(lián)規(guī)則分析分類聚類遺傳算法神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型模式識(shí)別時(shí)間序列分析回歸分析系統(tǒng)仿真機(jī)器學(xué)習(xí)優(yōu)化空間分析社會(huì)網(wǎng)絡(luò)分析自然語(yǔ)言分析MapReduceR語(yǔ)言標(biāo)簽云（TagCloud）聚類圖（Clustergram）空間信息流（Spatialinformationflow）熱圖（Heatmap）數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)與管理數(shù)據(jù)分析與挖掘計(jì)算結(jié)果展示大數(shù)據(jù)的相關(guān)技術(shù)大數(shù)據(jù)分析的四種典型工具簡(jiǎn)介1．HadoopHadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái)。2．SparkSpark是一個(gè)基于內(nèi)存計(jì)算的開源集群計(jì)算系統(tǒng)，目的是更快速的進(jìn)行數(shù)據(jù)分析。大數(shù)據(jù)分析的四種典型工具簡(jiǎn)介3．StormStorm是一種開源軟件，一個(gè)分布式、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。4．ApacheDrill為了幫助企業(yè)用戶尋找更為有效、加快Hadoop數(shù)據(jù)查詢的方法，Apache軟件基金會(huì)發(fā)起了一項(xiàng)名為Drill的開源項(xiàng)目。ApacheDrill實(shí)現(xiàn)了Google’sDremel。大數(shù)據(jù)的相關(guān)技術(shù)

Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop是以分布式文件系統(tǒng)（HadoopDistributedFileSystem，簡(jiǎn)稱HDFS）和MapReduce等模塊為核心，為用戶提供細(xì)節(jié)透明的系統(tǒng)底層分布式基礎(chǔ)架構(gòu)。大數(shù)據(jù)的相關(guān)技術(shù)

MapReduce是面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)。

MapReduce由Map和Reduce兩部分用戶程序組成，利用框架在計(jì)算機(jī)集群上根據(jù)需求運(yùn)行多個(gè)程序?qū)嵗齺?lái)處理各個(gè)子任務(wù)，然后再對(duì)結(jié)果進(jìn)行歸并輸出。大數(shù)據(jù)的相關(guān)技術(shù)MapReduce舉例：“統(tǒng)計(jì)54張撲克牌中有多少?gòu)?？”最直觀的做法：你自己從54張撲克牌中一張一張地檢查并數(shù)出13張?。而MapReduce的做法及步驟如下：1.給在座的所有牌友（比如4個(gè)人）盡可能的平均分配這54張牌；2.讓每個(gè)牌友數(shù)自己手中的牌有幾張是?，比如老張是3張，老李是5張，老王是1張，老蔣是4張，然后每個(gè)牌友把?的數(shù)目分別匯報(bào)給你；3.你把所有牌友的?數(shù)目加起來(lái)，得到最后的結(jié)論：一共13張?。這個(gè)例子告訴我們，MapReduce的兩個(gè)主要功能是Map和Reduce。Map：把統(tǒng)計(jì)?數(shù)目的任務(wù)分配給每個(gè)牌友分別計(jì)數(shù)。

Reduce：每個(gè)牌友不需要把?牌遞給你，而是讓他們把各自的?數(shù)目告訴你。數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約。利用層次化的架構(gòu)學(xué)習(xí)出對(duì)象在不同層次上的表達(dá)，這種層次化的表達(dá)可以幫助解決更加復(fù)雜抽象的問(wèn)題。讓每個(gè)牌友數(shù)自己手中的牌有幾張是?，比如老張是3張，老李是5張，老王是1張，老蔣是4張，然后每個(gè)牌友把?的數(shù)目分別匯報(bào)給你；金融（銀行、股市、保險(xiǎn)）、半結(jié)構(gòu)化信息：包括電子郵件、文字處理文件及大量保存和發(fā)布在網(wǎng)絡(luò)上的信息。Facebook的Scribe大數(shù)據(jù)可視化的過(guò)程主要有以下9個(gè)方面：讓每個(gè)牌友數(shù)自己手中的牌有幾張是?，比如老張是3張，老李是5張，老王是1張，老蔣是4張，然后每個(gè)牌友把?的數(shù)目分別匯報(bào)給你；【例5-2】接入網(wǎng)易云信：網(wǎng)易云信是一項(xiàng)基于PaaS的即時(shí)通訊（InstantMessaging，簡(jiǎn)稱IM）云服務(wù)，開發(fā)者通過(guò)調(diào)用云信軟件開發(fā)工具包（SoftwareDevelopmentKit，簡(jiǎn)稱SDK）和云端API的方法可以快速接入IM即時(shí)通訊功能。是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。ApacheDrill實(shí)現(xiàn)了Google’sDremel。Map：把統(tǒng)計(jì)?數(shù)目的任務(wù)分配給每個(gè)牌友分別計(jì)數(shù)。源于Facebook、Twitter、LinkedIn及其他來(lái)源的社交媒體數(shù)據(jù)構(gòu)成。如今，這個(gè)概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。云計(jì)算基礎(chǔ)架構(gòu)廣泛采用包括計(jì)算虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化等虛擬化技術(shù)。設(shè)計(jì)師馬特·羅賓森和湯姆·維格勒沃斯用不同的圓珠筆和字體寫“Sample”這個(gè)單詞。大數(shù)據(jù)時(shí)代將引發(fā)個(gè)人隱私安全問(wèn)題?！纠?-2】接入網(wǎng)易云信：網(wǎng)易云信是一項(xiàng)基于PaaS的即時(shí)通訊（InstantMessaging，簡(jiǎn)稱IM）云服務(wù)，開發(fā)者通過(guò)調(diào)用云信軟件開發(fā)工具包（SoftwareDevelopmentKit，簡(jiǎn)稱SDK）和云端API的方法可以快速接入IM即時(shí)通訊功能。通過(guò)這些數(shù)據(jù)分析，醫(yī)院能夠提前知道哪些早產(chǎn)兒出現(xiàn)問(wèn)題并且有針對(duì)性地采取措施，避免早產(chǎn)嬰兒夭折。大數(shù)據(jù)（bigdata），又稱巨量數(shù)據(jù)集合，是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。1.9大數(shù)據(jù)帶來(lái)的變革大數(shù)據(jù)帶來(lái)全新變革

購(gòu)物、旅行、信息、社交生活方式商業(yè)模式教育變革哲學(xué)變革總體思維、容錯(cuò)思維、相關(guān)思維、智能思維思維方式以數(shù)據(jù)/數(shù)據(jù)產(chǎn)品為輸入，數(shù)據(jù)/數(shù)據(jù)產(chǎn)品為輸出的新商業(yè)模式大數(shù)據(jù)讓教育真正面對(duì)每一個(gè)獨(dú)立的個(gè)體管理模式利用數(shù)據(jù)進(jìn)行決策數(shù)據(jù)挖掘與認(rèn)識(shí)論挑戰(zhàn)數(shù)據(jù)資源與價(jià)值觀轉(zhuǎn)變數(shù)據(jù)足跡與倫理觀危機(jī)大數(shù)據(jù)帶來(lái)的思維變革大數(shù)據(jù)時(shí)代的思維方式大數(shù)據(jù)時(shí)代，人們對(duì)待數(shù)據(jù)的思維方式變化：從樣本思維轉(zhuǎn)向總體思維：帶來(lái)更全面的認(rèn)識(shí)，可以更清楚地發(fā)現(xiàn)樣本無(wú)法揭示的細(xì)節(jié)信息；從精確思維轉(zhuǎn)向容錯(cuò)思維：當(dāng)擁有海量即時(shí)數(shù)據(jù)時(shí)，絕對(duì)的精準(zhǔn)不再是追求的主要目標(biāo)，適當(dāng)忽略微觀層面上的精確度，容許一定程度的錯(cuò)誤與混雜，反而可以在宏觀層面擁有更好的知識(shí)和洞察力；從因果思維轉(zhuǎn)向相關(guān)思維：努力顛覆千百年來(lái)人類形成的傳統(tǒng)思維模式和固有偏見，才能更好地分享大數(shù)據(jù)帶來(lái)的深刻洞見。從自然思維轉(zhuǎn)向智能思維，不斷提升機(jī)器或系統(tǒng)的社會(huì)計(jì)算能力和智能化水平，從而獲得具有洞察力和新價(jià)值的東西，甚至類似于人類的“智慧”。大數(shù)據(jù)的應(yīng)用領(lǐng)域RFID傳感器軍事偵察社會(huì)網(wǎng)絡(luò)、數(shù)據(jù)天文學(xué)攝影檔案館視頻檔案醫(yī)療記錄互聯(lián)網(wǎng)搜索索引網(wǎng)絡(luò)日志生物、基因組學(xué)大規(guī)模的電子商務(wù)大數(shù)據(jù)應(yīng)用案例之：醫(yī)療行業(yè)IBM最新沃森醫(yī)療保健內(nèi)容分析預(yù)測(cè)技術(shù)，該技術(shù)允許企業(yè)找到大量病人相關(guān)的臨床醫(yī)療信息，通過(guò)大數(shù)據(jù)處理，更好地分析病人的信息。在加拿大多倫多的一家醫(yī)院，針對(duì)早產(chǎn)嬰兒，每秒鐘有超過(guò)3000次的數(shù)據(jù)讀取。通過(guò)這些數(shù)據(jù)分析，醫(yī)院能夠提前知道哪些早產(chǎn)兒出現(xiàn)問(wèn)題并且有針對(duì)性地采取措施，避免早產(chǎn)嬰兒夭折。為了讓更多的創(chuàng)業(yè)者更方便地開發(fā)產(chǎn)品，比如可以通過(guò)社交網(wǎng)絡(luò)來(lái)收集數(shù)據(jù)的健康類App。也許未來(lái)數(shù)年后，這些搜集的數(shù)據(jù)能讓醫(yī)生給你的診斷變得更為精確，比方說(shuō)不是通用的成人每日三次一次一片，而是檢測(cè)到你的血液中藥劑已經(jīng)代謝完成會(huì)自動(dòng)提醒你再次服藥。大數(shù)據(jù)的應(yīng)用案例大數(shù)據(jù)應(yīng)用案例之：能源行業(yè)智能電網(wǎng)現(xiàn)在歐洲已經(jīng)做到了終端，也就是所謂的智能電表。在德國(guó)，為了鼓勵(lì)利用太陽(yáng)能，會(huì)在家庭安裝太陽(yáng)能，除了賣電給你，當(dāng)你的太陽(yáng)能有多余電的時(shí)候還可以買回來(lái)。通過(guò)電網(wǎng)收集每隔五分鐘或十分鐘收集一次數(shù)據(jù)，收集來(lái)的這些數(shù)據(jù)可以用來(lái)預(yù)測(cè)客戶的用電習(xí)慣等，從而推斷出在未來(lái)2~3個(gè)月時(shí)間里，整個(gè)電網(wǎng)大概需要多少電。有了這個(gè)預(yù)測(cè)后，就可以向發(fā)電或者供電企業(yè)購(gòu)買一定數(shù)量的電。因?yàn)殡娪悬c(diǎn)像期貨一樣，如果提前買就會(huì)比較便宜，買現(xiàn)貨就比較貴。通過(guò)這個(gè)預(yù)測(cè)后，可以降低采購(gòu)成本。維斯塔斯風(fēng)力系統(tǒng)，依靠的是BigInsights軟件和IBM超級(jí)計(jì)算機(jī)，對(duì)氣象數(shù)據(jù)進(jìn)行分析，找出安裝風(fēng)力渦輪機(jī)和整個(gè)風(fēng)電場(chǎng)最佳的地點(diǎn)。利用大數(shù)據(jù)，以往需要數(shù)周的分析工作，現(xiàn)在僅需要不足1小時(shí)便可完成。大數(shù)據(jù)的應(yīng)用案例大數(shù)據(jù)應(yīng)用案例之：通信行業(yè)XO

Communications通過(guò)使用IBM

SPSS預(yù)測(cè)分析軟件，減少了將近一半的客戶流失率。XO現(xiàn)在可以預(yù)測(cè)客戶的行為，發(fā)現(xiàn)行為趨勢(shì)，并找出存在缺陷的環(huán)節(jié)，從而幫助公司及時(shí)采取措施，保留客戶。此外，IBM新的Netezza網(wǎng)絡(luò)分析加速器，將通過(guò)提供單個(gè)端到端網(wǎng)絡(luò)、服務(wù)、客戶分析視圖的可擴(kuò)展平臺(tái)，幫助通信企業(yè)制定更科學(xué)、合理決策。電信業(yè)者透過(guò)數(shù)以千萬(wàn)計(jì)的客戶資料，能分析出多種使用者行為和趨勢(shì)，賣給需要的企業(yè)，這是全新的資料經(jīng)濟(jì)。中國(guó)移動(dòng)通過(guò)大數(shù)據(jù)分析，對(duì)企業(yè)運(yùn)營(yíng)的全業(yè)務(wù)進(jìn)行針對(duì)性的監(jiān)控、預(yù)警、跟蹤。系統(tǒng)在第一時(shí)間自動(dòng)捕捉市場(chǎng)變化，再以最快捷的方式推送給指定負(fù)責(zé)人，使他在最短時(shí)間內(nèi)獲知市場(chǎng)行情。大數(shù)據(jù)的應(yīng)用案例大數(shù)據(jù)應(yīng)用案例之：零售業(yè)時(shí)裝零售商希望向客戶提供差異化服務(wù)，定位公司的差異化，Informatica的技術(shù)通過(guò)從

Twitter

和

Facebook

上收集社交信息，更深入的理解化妝品的營(yíng)銷模式，他們認(rèn)識(shí)到必須保留兩類有價(jià)值的客戶：高消費(fèi)者和高影響者。希望通過(guò)接受免費(fèi)化妝服務(wù)，讓用戶進(jìn)行口碑宣傳，這是交易數(shù)據(jù)與交互數(shù)據(jù)的完美結(jié)合，為業(yè)務(wù)挑戰(zhàn)提供了解決方案。零售企業(yè)也監(jiān)控客戶的店內(nèi)走動(dòng)情況以及與商品的互動(dòng)。它們將這些數(shù)據(jù)與交易記錄相結(jié)合來(lái)展開分析，從而在銷售哪些商品、如何擺放貨品以及何時(shí)調(diào)整售價(jià)上給出意見，此類方法已經(jīng)幫助某領(lǐng)先零售企業(yè)減少了17%的存貨，同時(shí)在保持市場(chǎng)份額的前提下，增加了高利潤(rùn)率自有品牌商品的比例。大數(shù)據(jù)的應(yīng)用案例商業(yè)價(jià)值在大數(shù)據(jù)推動(dòng)的商業(yè)革命暗涌中，要么學(xué)會(huì)使用大數(shù)據(jù)的杠桿創(chuàng)造商業(yè)價(jià)值，要么被大數(shù)據(jù)驅(qū)動(dòng)的新生代商業(yè)格局淘汰。大數(shù)據(jù)的應(yīng)用價(jià)值對(duì)顧客群體細(xì)分模擬實(shí)境提高投入回報(bào)率數(shù)據(jù)存儲(chǔ)空間出租管理客戶關(guān)系個(gè)性化精準(zhǔn)推薦數(shù)據(jù)搜索大數(shù)據(jù)的商業(yè)價(jià)值-個(gè)性化營(yíng)銷大數(shù)據(jù)的商業(yè)價(jià)值-互聯(lián)網(wǎng)金融的核心是大數(shù)據(jù)商業(yè)價(jià)值-淘寶大數(shù)據(jù)的商業(yè)價(jià)值它們將這些數(shù)據(jù)與交易記錄相結(jié)合來(lái)展開分析，從而在銷售哪些商品、如何擺放貨品以及何時(shí)調(diào)整售價(jià)上給出意見，此類方法已經(jīng)幫助某領(lǐng)先零售企業(yè)減少了17%的存貨，同時(shí)在保持市場(chǎng)份額的前提下，增加了高利潤(rùn)率自有品牌商品的比例。這個(gè)例子告訴我們，MapReduce的兩個(gè)主要功能是Map和Reduce。非結(jié)構(gòu)化數(shù)據(jù)的采集就是針對(duì)所有非結(jié)構(gòu)化的數(shù)據(jù)的采集，包括企業(yè)內(nèi)部數(shù)據(jù)的采集和網(wǎng)絡(luò)數(shù)據(jù)采集等。因?yàn)椴煌煮w使用墨水量不同，所以每支筆所剩的墨水也不同。電信業(yè)者透過(guò)數(shù)以千萬(wàn)計(jì)的客戶資料，能分析出多種使用者行為和趨勢(shì)，賣給需要的企業(yè)，這是全新的資料經(jīng)濟(jì)。結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)20世紀(jì)90年代，數(shù)據(jù)倉(cāng)庫(kù)之父的BillInmon就經(jīng)常提及BigData。1大數(shù)據(jù)可視化簡(jiǎn)介能夠直觀的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被用戶所接受。1大數(shù)據(jù)可視化簡(jiǎn)介舉例：“統(tǒng)計(jì)54張撲克牌中有多少?gòu)?？”通過(guò)這些數(shù)據(jù)分析，醫(yī)院能夠提前知道哪些早產(chǎn)兒出現(xiàn)問(wèn)題并且有針對(duì)性地采取措施，避免早產(chǎn)嬰兒夭折。1大數(shù)據(jù)可視化簡(jiǎn)介常用的數(shù)據(jù)挖掘方法有：分類、預(yù)測(cè)、關(guān)聯(lián)規(guī)則、聚類、決策樹、描述和可視化、復(fù)雜數(shù)據(jù)類型挖掘（Text、Web、圖形圖像、視頻、音頻）等。（7）集中或者匯總展示按照數(shù)據(jù)來(lái)源劃分，大數(shù)據(jù)的三大主要來(lái)源為：商業(yè)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)與物聯(lián)網(wǎng)數(shù)據(jù)。企業(yè)內(nèi)部數(shù)據(jù)的采集是對(duì)企業(yè)內(nèi)部各種文檔、視頻、音頻、郵件、圖片等數(shù)據(jù)格式之間互不兼容的數(shù)據(jù)采集。以數(shù)據(jù)/數(shù)據(jù)產(chǎn)品為輸入，數(shù)據(jù)/數(shù)據(jù)產(chǎn)品為輸出的新商業(yè)模式云計(jì)算是一種用于對(duì)可配置共享資源池（網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)），通過(guò)網(wǎng)絡(luò)方便的、按需獲取的模型，它以最少的管理代價(jià)或以最少的服務(wù)商參與，快速地部署與發(fā)布。讓每個(gè)牌友數(shù)自己手中的牌有幾張是?，比如老張是3張，老李是5張，老王是1張，老蔣是4張，然后每個(gè)牌友把?的數(shù)目分別匯報(bào)給你；大數(shù)據(jù)的應(yīng)用價(jià)值大數(shù)據(jù)已上升為國(guó)家戰(zhàn)略大數(shù)據(jù)有助于破解中國(guó)社會(huì)轉(zhuǎn)型中的難題。大數(shù)據(jù)可以提高宏觀經(jīng)濟(jì)預(yù)測(cè)的準(zhǔn)確性。大數(shù)據(jù)催生新產(chǎn)業(yè)，帶來(lái)經(jīng)濟(jì)增長(zhǎng)新空間。大數(shù)據(jù)是一個(gè)事關(guān)國(guó)家社會(huì)發(fā)展全局的產(chǎn)業(yè)。大數(shù)據(jù)能有效減少社會(huì)運(yùn)行成本，提高經(jīng)濟(jì)與社會(huì)運(yùn)行效率。大數(shù)據(jù)帶來(lái)精準(zhǔn)營(yíng)銷，改變傳統(tǒng)商業(yè)模式。大數(shù)據(jù)推動(dòng)政府開放，提高公共決策的預(yù)見性和響應(yīng)性。大數(shù)據(jù)的應(yīng)用價(jià)值大數(shù)據(jù)改變生活大數(shù)據(jù)隱私和安全問(wèn)題1．大數(shù)據(jù)引發(fā)個(gè)人隱私、企業(yè)和國(guó)家安全問(wèn)題大數(shù)據(jù)時(shí)代將引發(fā)個(gè)人隱私安全問(wèn)題。大數(shù)據(jù)時(shí)代，企業(yè)將面臨信息安全的挑戰(zhàn)。大數(shù)據(jù)時(shí)代，大數(shù)據(jù)安全應(yīng)該上升為國(guó)家安全。2．正確合理利用大數(shù)據(jù)，促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)的健康發(fā)展大數(shù)據(jù)時(shí)代，必須對(duì)數(shù)據(jù)安全和隱私進(jìn)行有效的保護(hù)2大數(shù)據(jù)的采集和預(yù)處理數(shù)據(jù)采集簡(jiǎn)介2.1.1數(shù)據(jù)采集

大數(shù)據(jù)的數(shù)據(jù)采集是在確定用戶目標(biāo)的基礎(chǔ)上，針對(duì)該范圍內(nèi)所有結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)的采集。數(shù)據(jù)采集簡(jiǎn)介2.1.2數(shù)據(jù)采集的數(shù)據(jù)來(lái)源按照數(shù)據(jù)來(lái)源劃分，大數(shù)據(jù)的三大主要來(lái)源為：商業(yè)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)與物聯(lián)網(wǎng)數(shù)據(jù)。數(shù)據(jù)采集簡(jiǎn)介2.1.3數(shù)據(jù)采集的技術(shù)方法1．系統(tǒng)日志采集方法很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集，如：Hadoop的ChukwaCloudera的FlumeFacebook的Scribe數(shù)據(jù)采集簡(jiǎn)介2．對(duì)非結(jié)構(gòu)化數(shù)據(jù)的采集非結(jié)構(gòu)化數(shù)據(jù)的采集就是針對(duì)所有非結(jié)構(gòu)化的數(shù)據(jù)的采集，包括企業(yè)內(nèi)部數(shù)據(jù)的采集和網(wǎng)絡(luò)數(shù)據(jù)采集等。企業(yè)內(nèi)部數(shù)據(jù)的采集是對(duì)企業(yè)內(nèi)部各種文檔、視頻、音頻、郵件、圖片等數(shù)據(jù)格式之間互不兼容的數(shù)據(jù)采集。網(wǎng)絡(luò)數(shù)據(jù)采集是指通過(guò)網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取互聯(lián)網(wǎng)中相關(guān)網(wǎng)頁(yè)內(nèi)容的過(guò)程，并從中抽取出用戶所需要的屬性內(nèi)容。網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。數(shù)據(jù)采集簡(jiǎn)介3．其他數(shù)據(jù)采集方法對(duì)于企業(yè)生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過(guò)與企業(yè)或研究機(jī)構(gòu)合作，使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)。大數(shù)據(jù)的預(yù)處理大數(shù)據(jù)預(yù)處理的方法主要包括：數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約。大數(shù)據(jù)處理流程3大數(shù)據(jù)分析概論

3.1.1大數(shù)據(jù)分析

大數(shù)據(jù)分析是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析。通過(guò)多個(gè)學(xué)科技術(shù)的融合，實(shí)現(xiàn)數(shù)據(jù)的采集、管理和分析，從而發(fā)現(xiàn)新的知識(shí)和規(guī)律。提出問(wèn)題數(shù)據(jù)采集數(shù)據(jù)分析可視化效果評(píng)估大數(shù)據(jù)分析流程大數(shù)據(jù)分析簡(jiǎn)介

大數(shù)據(jù)分析簡(jiǎn)介數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理3.1.2大數(shù)據(jù)分析的基本方法預(yù)測(cè)性分析

可視化分析

大數(shù)據(jù)挖掘算法語(yǔ)義引擎從大數(shù)據(jù)中挖掘出有價(jià)值的知識(shí)和規(guī)則，通過(guò)科學(xué)建模的手段呈現(xiàn)出結(jié)果，然后可以將新的數(shù)據(jù)帶入模型，從而預(yù)測(cè)未來(lái)的情況。常用的數(shù)據(jù)挖掘方法有：分類、預(yù)測(cè)、關(guān)聯(lián)規(guī)則、聚類、決策樹、描述和可視化、復(fù)雜數(shù)據(jù)類型挖掘（Text、Web、圖形圖像、視頻、音頻）等。能夠直觀的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被用戶所接受。語(yǔ)義引擎通過(guò)對(duì)網(wǎng)絡(luò)中的資源對(duì)象進(jìn)行語(yǔ)義上的標(biāo)注，以及對(duì)用戶的查詢表達(dá)進(jìn)行語(yǔ)義處理，使得自然語(yǔ)言具備語(yǔ)義上的邏輯關(guān)系，能夠在網(wǎng)絡(luò)環(huán)境下進(jìn)行廣泛有效的語(yǔ)義推理，從而更加準(zhǔn)確、全面的實(shí)現(xiàn)用戶的檢索。為了滿足信息利用的需要，對(duì)信息系統(tǒng)的各個(gè)信息采集點(diǎn)進(jìn)行規(guī)范，包括建立模式化的操作規(guī)程、原始信息的校驗(yàn)、錯(cuò)誤信息的反饋、矯正等一系列的過(guò)程。

大數(shù)據(jù)分析簡(jiǎn)介分析結(jié)果的解析

數(shù)據(jù)數(shù)據(jù)分析數(shù)據(jù)預(yù)處理數(shù)據(jù)采集數(shù)據(jù)理解提出問(wèn)題3.1.3大數(shù)據(jù)處理流程

3.2大數(shù)據(jù)分析的主要技術(shù)3.2.1深度學(xué)習(xí)

深度學(xué)習(xí)是一種能夠模擬出人腦的神經(jīng)結(jié)構(gòu)的機(jī)器學(xué)習(xí)方式，從而能夠讓計(jì)算機(jī)具有人一樣的智慧。

利用層次化的架構(gòu)學(xué)習(xí)出對(duì)象在不同層次上的表達(dá)，這種層次化的表達(dá)可以幫助解決更加復(fù)雜抽象的問(wèn)題。梵高的星夜風(fēng)格的小鎮(zhèn)德國(guó)小鎮(zhèn)一瞥

3.2大數(shù)據(jù)分析的主要技術(shù)3.2.2知識(shí)計(jì)算

知識(shí)計(jì)算是從大數(shù)據(jù)中首先獲得有價(jià)值的知識(shí)，并對(duì)其進(jìn)行進(jìn)一步深入的計(jì)算和分析的過(guò)程。

也就是要對(duì)數(shù)據(jù)進(jìn)行高端的分析，需要從大數(shù)據(jù)中先抽取出有價(jià)值的知識(shí)，并把它構(gòu)建成可支持查詢、分析與計(jì)算的知識(shí)庫(kù)。心房顫動(dòng)知識(shí)圖譜心肌炎知識(shí)圖譜3.3大數(shù)據(jù)分析的應(yīng)用互聯(lián)網(wǎng)領(lǐng)域用戶行為數(shù)據(jù)分析用戶消費(fèi)數(shù)據(jù)分析用戶地理位置數(shù)據(jù)分析互聯(lián)網(wǎng)金融數(shù)據(jù)分析用戶社交等數(shù)據(jù)分析3.3大數(shù)據(jù)分析的應(yīng)用醫(yī)療領(lǐng)域公共衛(wèi)生循證醫(yī)學(xué)基因組分析設(shè)備遠(yuǎn)程監(jiān)控病人資料分析疾病預(yù)測(cè)臨床操作4大數(shù)據(jù)可視化簡(jiǎn)介4.1大數(shù)據(jù)可視化簡(jiǎn)介1.大數(shù)據(jù)可視化與數(shù)據(jù)可視化大數(shù)據(jù)可視化與數(shù)據(jù)可視化的比較：中國(guó)電信區(qū)域人群檢測(cè)系統(tǒng)，其中利用柱狀圖顯示年齡的分布情況，利用餅圖顯示性別的分布情況。在加拿大多倫多的一家醫(yī)院，針對(duì)早產(chǎn)嬰兒，每秒鐘有超過(guò)3000次的數(shù)據(jù)讀取。2大數(shù)據(jù)分析的主要技術(shù)大數(shù)據(jù)分析是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析。是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。3大數(shù)據(jù)分析的應(yīng)用為了讓更多的創(chuàng)業(yè)者更方便地開發(fā)產(chǎn)品，比如可以通過(guò)社交網(wǎng)絡(luò)來(lái)收集數(shù)據(jù)的健康類App。也就是要對(duì)數(shù)據(jù)進(jìn)行高端的分析，需要從大數(shù)據(jù)中先抽取出有價(jià)值的知識(shí)，并把它構(gòu)建成可支持查詢、分析與計(jì)算的知識(shí)庫(kù)。2數(shù)據(jù)采集的數(shù)據(jù)來(lái)源通過(guò)這些數(shù)據(jù)分析，醫(yī)院能夠提前知道哪些早產(chǎn)兒出現(xiàn)問(wèn)題并且有針對(duì)性地采取措施，避免早產(chǎn)嬰兒夭折。1．云服務(wù)模式應(yīng)用案例大數(shù)據(jù)應(yīng)用案例之：零售業(yè)（Clustergram）這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇大數(shù)據(jù)應(yīng)用案例之：通信行業(yè)從因果思維轉(zhuǎn)向相關(guān)思維：努力顛覆千百年來(lái)人類形成的傳統(tǒng)思維模式和固有偏見，才能更好地分享大數(shù)據(jù)帶來(lái)的深刻洞見。物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、大數(shù)據(jù)分析的四種典型工具簡(jiǎn)介它們將這些數(shù)據(jù)與交易記錄相結(jié)合來(lái)展開分析，從而在銷售哪些商品、如何擺放貨品以及何時(shí)調(diào)整售價(jià)上給出意見，此類方法已經(jīng)幫助某領(lǐng)先零售企業(yè)減少了17%的存貨，同時(shí)在保持市場(chǎng)份額的前提下，增加了高利潤(rùn)率自有品牌商品的比例。4.1大數(shù)據(jù)可視化簡(jiǎn)介2.大數(shù)據(jù)可視化的過(guò)程大數(shù)據(jù)可視化的過(guò)程主要有以下9個(gè)方面：（1）數(shù)據(jù)的可視化

可視化的核心的是對(duì)原始數(shù)據(jù)采用什么樣的可視化元素來(lái)表達(dá)。中國(guó)電信區(qū)域人群檢測(cè)系統(tǒng)，其中利用柱狀圖顯示年齡的分布情況，利用餅圖顯示性別的分布情況。4.1大數(shù)據(jù)可視化簡(jiǎn)介（2）指標(biāo)的可視化

采用可視化元素的方式將指標(biāo)可視化，會(huì)將可視化的效果增彩很多。圖中顯示的是將近100G的QQ群數(shù)據(jù)，其中企鵝圖標(biāo)的節(jié)點(diǎn)代表QQ，群圖標(biāo)的節(jié)點(diǎn)代表群。每條線代表一個(gè)關(guān)系，一個(gè)QQ可以加入N個(gè)群，一個(gè)群也可以有N個(gè)QQ加入。線的顏色分別代表：黃色為群主；綠色為群管理員；藍(lán)色為群成員。群主和管理員的關(guān)系線也比普通的群成員長(zhǎng)一些，這是為了突出群內(nèi)的重要成員的關(guān)系。4.1大數(shù)據(jù)可視化簡(jiǎn)介（3）數(shù)據(jù)關(guān)系的可視化

數(shù)據(jù)關(guān)系往往也是可視化數(shù)據(jù)核心表達(dá)的主題宗旨。圖中顯示的是將Windows比喻成太陽(yáng)系，WindowsXP、Window7等比喻成太陽(yáng)系中的行星；其他系統(tǒng)比喻成其他星系。4.1大數(shù)據(jù)可視化簡(jiǎn)介（4）背景數(shù)據(jù)的可視化

光有原始數(shù)據(jù)是不夠的，因?yàn)閿?shù)據(jù)沒(méi)有價(jià)值，信息才有價(jià)值。設(shè)計(jì)師馬特·羅賓森和湯姆·維格勒沃斯用不同的圓珠筆和字體寫“Sample”這個(gè)單詞。因?yàn)椴煌煮w使用墨水量不同，所以每支筆所剩的墨水也不同。在這幅圖中不再需要標(biāo)注坐標(biāo)系，因?yàn)椴煌墓P及其墨水含量已經(jīng)包含了這個(gè)信息。4.1大數(shù)據(jù)可視化簡(jiǎn)介（5）轉(zhuǎn)換成便于接受的形式

優(yōu)化包括按照人的接受模式、習(xí)慣和能力，甚至還需要考慮顯示設(shè)備的能力，然后進(jìn)行綜合改進(jìn)，這樣才能更好地達(dá)到被接受的效果。例如做一個(gè)關(guān)于“銷售計(jì)劃”的可視化產(chǎn)品，原始數(shù)據(jù)是銷售額列表，采用柱狀圖來(lái)表達(dá)；在圖表中增加一條銷售計(jì)劃線來(lái)表示銷售計(jì)劃數(shù)據(jù)；最后在銷售計(jì)劃線上增加勾和叉的符號(hào)，來(lái)表示完成和未完成計(jì)劃，如此看圖表的人更容易接受。4.1大數(shù)據(jù)可視化簡(jiǎn)介（6）聚焦

聚焦就必須要講講大數(shù)據(jù)。因?yàn)槭谴髷?shù)據(jù)，所以很多時(shí)候數(shù)據(jù)、信息、符號(hào)對(duì)于接受者而言是過(guò)載的，可能就分辨不出來(lái)了，這時(shí)我們就需要在原來(lái)的可視化結(jié)果基礎(chǔ)上再進(jìn)行優(yōu)化。在上述的“銷售計(jì)劃”中，假設(shè)這個(gè)圖表重點(diǎn)是針對(duì)沒(méi)有完成計(jì)劃的銷售員的，那么我們可以強(qiáng)化“叉”是紅色的。如果柱狀圖中的柱是黑色，勾也是黑色，那么紅色的叉更為顯眼。4.1大數(shù)據(jù)可視化簡(jiǎn)介（7）集中或者匯總展示

對(duì)這個(gè)“銷售計(jì)劃”可視化產(chǎn)品來(lái)說(shuō)，還有很大的完善