所謂“云物移大智”

云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、智慧城市大數(shù)據(jù)處理需求大數(shù)據(jù)處理的常見模式大數(shù)據(jù)處理的基本流程大數(shù)據(jù)處理的關(guān)鍵技術(shù)大數(shù)據(jù)處理與硬件的協(xié)同云計(jì)算——大數(shù)據(jù)的基礎(chǔ)平臺(tái)與支撐技術(shù)云計(jì)算的服務(wù)模式——三層核心服務(wù)虛擬化——云計(jì)算的核心技術(shù)云計(jì)算安全——大數(shù)據(jù)時(shí)代的信息安全重點(diǎn)移動(dòng)云計(jì)算——移動(dòng)互聯(lián)網(wǎng)下的云計(jì)算應(yīng)用大數(shù)據(jù)處理需求

——大數(shù)據(jù)處理與大數(shù)據(jù)分析兩位一體可視化分析（AnalyticVisualization）可視化分析是普通消費(fèi)者常?？梢砸姷降囊环N大數(shù)據(jù)分析結(jié)果的表現(xiàn)形式。將大量復(fù)雜的數(shù)據(jù)自動(dòng)轉(zhuǎn)化成直觀形象的圖表，使其能夠更加容易的被普通消費(fèi)者所接受和理解。數(shù)據(jù)挖掘算法（DateMiningAlgorithms）數(shù)據(jù)挖掘算法是大數(shù)據(jù)分析的理論核心。其本質(zhì)是一組根據(jù)算法事先定義好的數(shù)學(xué)公式，將收集到的數(shù)據(jù)作為參數(shù)變量帶入其中，從而能夠從大量復(fù)雜的數(shù)據(jù)中提取到有價(jià)值的信息。預(yù)測性分析能力（PredictiveAnalyticCapabilities）預(yù)測性分析能力是大數(shù)據(jù)分析最重要的應(yīng)用領(lǐng)域。從大量復(fù)雜的數(shù)據(jù)中挖掘出規(guī)律，建立起科學(xué)的事件模型，通過將新的數(shù)據(jù)帶入模型，就可以預(yù)測未來的事件走向。語義引擎（SemanticEngines）語義引擎是機(jī)器學(xué)習(xí)的成果之一。讓計(jì)算機(jī)從中自我學(xué)習(xí)，可以使計(jì)算機(jī)能夠盡量精確的了解用戶輸入內(nèi)容的意思，從而把握住用戶的需求，提供更好的用戶體驗(yàn)。數(shù)據(jù)質(zhì)量管理（DataQualityManagement）。數(shù)據(jù)質(zhì)量管理是大數(shù)據(jù)在企業(yè)領(lǐng)域的重要應(yīng)用。為了保證大數(shù)據(jù)分析結(jié)果的準(zhǔn)確性，需要將大數(shù)據(jù)中不真實(shí)的數(shù)據(jù)剔除掉，保留最準(zhǔn)確的數(shù)據(jù)。大數(shù)據(jù)處理模式

——流處理流處理的基本理念是數(shù)據(jù)的價(jià)值會(huì)隨著時(shí)間的流逝而不斷減少，因此盡可能快的對(duì)最新的數(shù)據(jù)做出分析并給出結(jié)果是所有流數(shù)據(jù)處理模式的共同目標(biāo)。采用流數(shù)據(jù)處理的大數(shù)據(jù)應(yīng)用場景主要有網(wǎng)頁點(diǎn)擊數(shù)的實(shí)時(shí)統(tǒng)計(jì)、傳感器網(wǎng)絡(luò)、金融中的高頻交易等。流處理中基本的數(shù)據(jù)流模型比較代表性的開源系統(tǒng)如Twitter的Storm、Yahoo的S4以及Linkedin的Kafka等。大數(shù)據(jù)處理模式

——批處理Google公司在2004年提出的MapReduce編程模型是最具代表性的批處理模式。一個(gè)完整的MapReduce過程如下圖MapReduce的核心設(shè)計(jì)思想在于：將問題分而治之；把計(jì)算推到數(shù)據(jù)而不是把數(shù)據(jù)推到計(jì)算，有效的避免數(shù)據(jù)傳輸過程中產(chǎn)生的大量通訊開銷。大數(shù)據(jù)處理模式

——流處理&批處理兩者結(jié)合互聯(lián)網(wǎng)是大數(shù)據(jù)最重要的來源之一，很多互聯(lián)網(wǎng)公司根據(jù)處理時(shí)間的要求將自己的業(yè)務(wù)劃分為在線（Online）、近線（Nearline）和離線（Offline）。在線的處理時(shí)間一般在秒級(jí)，甚至是毫秒級(jí)，因此通常采用上面所說的流處理。離線的處理時(shí)間可以以天為基本單位，基本采用批處理方式，這種方式可以最大限度的利用系統(tǒng)I/O。近線的處理時(shí)間一般在分鐘級(jí)或者是小時(shí)級(jí)，對(duì)其處理模型并沒有特別的要求，可以根據(jù)需求靈活選擇。但在實(shí)際中多采用批處理模式。大數(shù)據(jù)處理流程

——定義與組成大數(shù)據(jù)的處理流程可以定義為在合適工具的輔助下，對(duì)廣泛異構(gòu)的數(shù)據(jù)源進(jìn)行抽取和集成，結(jié)果按照一定的標(biāo)準(zhǔn)統(tǒng)一存儲(chǔ)，利用合適的數(shù)據(jù)分析技術(shù)對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行分析，從中提取有益的知識(shí)并利用恰當(dāng)?shù)姆绞綄⒔Y(jié)果展現(xiàn)給終端用戶。數(shù)據(jù)抽取與集成基于物化或是ETL方法的引擎（MaterializationorETLengine）基于聯(lián)邦數(shù)據(jù)庫或中間件方法的引擎（FederationengineorMediator）基于數(shù)據(jù)流方法的引擎（Streamengine）基于搜索引擎的方法（Searchengine）數(shù)據(jù)分析數(shù)據(jù)量大并不一定意味著數(shù)據(jù)價(jià)值的增加大數(shù)據(jù)時(shí)代的算法需要進(jìn)行調(diào)整數(shù)據(jù)結(jié)果好壞的衡量數(shù)據(jù)解釋大數(shù)據(jù)處理的關(guān)鍵技術(shù)

——Google技術(shù)演化大數(shù)據(jù)處理的關(guān)鍵技術(shù)

——文件系統(tǒng)&數(shù)據(jù)庫系統(tǒng)文件系統(tǒng)是支撐上層應(yīng)用的基礎(chǔ)。GFS（GoogleFileSystem）是構(gòu)建在大量廉價(jià)服務(wù)器之上的一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，GFS主要針對(duì)文件較大，且讀遠(yuǎn)大于寫的應(yīng)用場景，采用主從結(jié)構(gòu)，通過數(shù)據(jù)分塊、追加更新等方式實(shí)現(xiàn)了海量數(shù)據(jù)的高效存儲(chǔ)。HDFS和CloudStore都是模仿GFS的開源實(shí)現(xiàn)，還有Microsoft的Cosmos、Facebook的Haystack、淘寶的TFS等。關(guān)系模型的分布式數(shù)據(jù)庫不能適應(yīng)大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲(chǔ)的原因是：規(guī)模效應(yīng)所帶來的壓力數(shù)據(jù)類型的多樣化設(shè)計(jì)理念的沖突數(shù)據(jù)庫事務(wù)特性大數(shù)據(jù)處理的關(guān)鍵技術(shù)

——典型NoSQL數(shù)據(jù)庫CategoryMatchingdatabasesPerformanceScalabilityFlexibilityComplexityAdvantagesDisadvantagesKey-ValueRedis、Riak

HighHighHighNoneQueryisefficientStoreddatalackstructure

ColumnHBase、CassandraHighHighModerateLowQueryisefficientFunctionalityisMinimalDocumentCouchDB、MongoDBHighVariableHighLowLittlelimitsondatastructurePerformanceofqueryislowGraphNeo4J、OrientDBVariableVariableHighHighGraphlgorithmsareophisticatedDatascaleisrelativelylow

大數(shù)據(jù)處理的關(guān)鍵技術(shù)

——索引與查詢技術(shù)數(shù)據(jù)查詢是數(shù)據(jù)庫最重要的應(yīng)用之一，而索引則是解決數(shù)據(jù)查詢問題的有效方案。NoSQL數(shù)據(jù)庫針對(duì)主鍵的查詢效率一般較高，因此有關(guān)的研究集中在NoSQL數(shù)據(jù)庫的多值查詢優(yōu)化上。采用MapReduce并行技術(shù)優(yōu)化多值查詢采用索引技術(shù)優(yōu)化多值查詢TypesofindexesAdvantagesDisadvantagesExamplesMultipleone-dimensionalIndexesAchievementandmaintenanceareeasyLessefficientmultidimensionalqueryandhighspaceredundancyITHbase、IHbase、CCIndex、AsynchronousviewsMultidimensionalIndexGoodscalabilityAchievementandmaintenanceofindexarecomplexRT-CAN、QT-Chord、EMINCA-TreeSpatialIndexHighwritethroughputandlowcostofmaintenanceConsistencymaintenanceiscomplexMD-HBaseUQE-Index大數(shù)據(jù)處理與硬件的協(xié)同

——硬件環(huán)境給大數(shù)據(jù)管理帶來挑戰(zhàn)硬件異構(gòu)性帶來的大數(shù)據(jù)處理難題。新硬件給大數(shù)據(jù)處理帶來的變革。大數(shù)據(jù)所帶來的能耗問題。采用新型低功耗硬件引入可再生的新能源云計(jì)算

——大數(shù)據(jù)的基礎(chǔ)平臺(tái)與支撐技術(shù)集中式與分布式計(jì)算云計(jì)算模式的興起所謂的云環(huán)境包含了三個(gè)層面：基礎(chǔ)設(shè)施層面，如各種服務(wù)器、數(shù)據(jù)庫、存儲(chǔ)設(shè)備、并行分布式計(jì)算系統(tǒng)等組成；平臺(tái)層面，比如電信行業(yè)的平臺(tái)就主要由運(yùn)營、支撐和開發(fā)等平臺(tái)組成；應(yīng)用層面，提供軟件、數(shù)據(jù)和信息等各種應(yīng)用，云計(jì)算的驅(qū)動(dòng)因素技術(shù)因素成本因素產(chǎn)業(yè)鏈因素云計(jì)算與大數(shù)據(jù)

——大數(shù)據(jù)相關(guān)云計(jì)算技術(shù)虛擬化技術(shù)軟硬件隔離，資源整合云計(jì)算平臺(tái)管理技術(shù)大規(guī)模系統(tǒng)運(yùn)營，快速故障檢測與恢復(fù)Mapreduce編程模型分布式編程模型，用于并行處理大規(guī)模數(shù)據(jù)集的軟件框架海量數(shù)據(jù)存儲(chǔ)技術(shù)分布式存儲(chǔ)方式存儲(chǔ)數(shù)據(jù)，冗余存儲(chǔ)方式保證系統(tǒng)可靠海量數(shù)據(jù)管理技術(shù)NoSQL數(shù)據(jù)庫，進(jìn)行海浪數(shù)據(jù)管理以便后續(xù)分析挖掘云計(jì)算與大數(shù)據(jù)

大數(shù)據(jù)云計(jì)算總體關(guān)系云計(jì)算為大數(shù)據(jù)提供了有力的工具和途徑，大數(shù)據(jù)為云計(jì)算提供了很有價(jià)值的用武之地。相同點(diǎn)都是圍繞數(shù)據(jù)存儲(chǔ)和處理的服務(wù)，都需要占用大量的存儲(chǔ)和計(jì)算資源，因而都要用到海量數(shù)據(jù)存儲(chǔ)技術(shù)、海量數(shù)據(jù)管理技術(shù)、Mapreduce等并行處理技術(shù)。

差異點(diǎn)背景現(xiàn)有的數(shù)據(jù)處理技術(shù)不能勝任社交網(wǎng)絡(luò)和物聯(lián)網(wǎng)產(chǎn)生的大量異構(gòu)數(shù)據(jù)，但這些數(shù)據(jù)存在很大價(jià)值。基于互聯(lián)網(wǎng)的相關(guān)服務(wù)日益豐富和繁榮。目的充分挖掘海量數(shù)據(jù)中的信息。通過互聯(lián)網(wǎng)更好地調(diào)用、擴(kuò)展和管理計(jì)算及存儲(chǔ)方面的資源和能力。對(duì)象數(shù)據(jù)IT資源、能力和應(yīng)用推動(dòng)力量從事數(shù)據(jù)存儲(chǔ)和處理的軟件廠商和擁有大量數(shù)據(jù)的企業(yè)生產(chǎn)計(jì)算機(jī)存儲(chǔ)設(shè)備的廠商、擁有計(jì)算及存儲(chǔ)資源的企業(yè)帶來的價(jià)值發(fā)現(xiàn)數(shù)據(jù)中的價(jià)值節(jié)省IT部署成本云計(jì)算的服務(wù)模式

——云計(jì)算三層核心服務(wù)

服務(wù)內(nèi)容服務(wù)對(duì)象使用方式關(guān)鍵技術(shù)系統(tǒng)實(shí)例

IaaS提供基礎(chǔ)設(shè)施部署服務(wù)需要硬件資源的用戶使用者上傳數(shù)據(jù)、程序代碼、環(huán)境配置

數(shù)據(jù)中心管理技術(shù)、虛擬化技術(shù)等AmazonEC2、Eucalyptus等

PaaS提供應(yīng)用程序部署與管理服務(wù)程序開發(fā)者使用者上傳數(shù)據(jù)、程序代碼

海量數(shù)據(jù)處理技術(shù)、資源管理與調(diào)度技術(shù)等

GoogleAppEngine、MicrosoftAzure、Hadoop等

SaaS提供基于互聯(lián)網(wǎng)的應(yīng)用程序服務(wù)

企業(yè)和需要軟件應(yīng)用的用戶使用者上傳數(shù)據(jù)Web服務(wù)技術(shù)、互聯(lián)網(wǎng)應(yīng)用開發(fā)技術(shù)等GoogleApps、SalesforceCRM等

云計(jì)算的服務(wù)模式

——IaaS、PaaS、SaaS解析基礎(chǔ)設(shè)施即服務(wù)IAAS云計(jì)算數(shù)據(jù)中心應(yīng)具有自治性、規(guī)模經(jīng)濟(jì)、規(guī)?？蓴U(kuò)展等特點(diǎn)虛擬化技術(shù)要能夠?qū)崿F(xiàn)資源分享、資源定制、細(xì)粒度資源管理平臺(tái)即服務(wù)PAAS海量數(shù)據(jù)存儲(chǔ)與處理技術(shù)資源管理與調(diào)度技術(shù)軟件即服務(wù)SAASGoogleAppsSalesforceCRM虛擬化技術(shù)

——服務(wù)器虛擬化多實(shí)例隔離性CPU虛擬化內(nèi)存虛擬化設(shè)備與I/O虛擬化無知覺故障恢復(fù)負(fù)載均衡統(tǒng)一管理快速部署虛擬化技術(shù)

——存儲(chǔ)虛擬化集中存儲(chǔ)分布式擴(kuò)展節(jié)能減排虛擬本地硬盤安全認(rèn)證數(shù)據(jù)加密級(jí)層管理虛擬化技術(shù)

——應(yīng)用虛擬化解耦合利用屏蔽底層異構(gòu)性的技術(shù)解除虛擬應(yīng)用與操作系統(tǒng)和硬件的耦合關(guān)系。共享性應(yīng)用虛擬化可以使一個(gè)真實(shí)應(yīng)用運(yùn)行在任何共享的計(jì)算資源上。虛擬環(huán)境應(yīng)用虛擬化為應(yīng)用程序提供了一個(gè)虛擬的運(yùn)行環(huán)境，不僅擁有應(yīng)用程序的可執(zhí)行文件，還包括所需的運(yùn)行環(huán)境。兼容性虛擬應(yīng)用應(yīng)屏蔽底層可能與其他應(yīng)用產(chǎn)生沖突的內(nèi)容，從而使其具有良好的兼容性。快速升級(jí)更新真實(shí)應(yīng)用可以快速升級(jí)更新，通過流的方式將相對(duì)應(yīng)的虛擬應(yīng)用及環(huán)境快速發(fā)布到客戶端。用戶自定義用戶可以選擇自己喜歡的虛擬應(yīng)用的特點(diǎn)以及所支持的虛擬環(huán)境。虛擬化技術(shù)

——平臺(tái)虛擬化通用接口內(nèi)容審核測試環(huán)境服務(wù)計(jì)費(fèi)排名打分升級(jí)更新管理監(jiān)控虛擬化技術(shù)

——桌面虛擬化集中管理維護(hù)集中在服務(wù)器端管理和配置PC環(huán)境及其他客戶端需要的軟件可以對(duì)企業(yè)數(shù)據(jù)、應(yīng)用和系統(tǒng)進(jìn)行集中管理、維護(hù)和控制，以減少現(xiàn)場支持工作量。使用連續(xù)性確保終端用戶下次在另一個(gè)虛擬機(jī)上登錄時(shí)，依然可以繼續(xù)以前的配置和存儲(chǔ)文件內(nèi)容，讓使用具有連續(xù)性。故障恢復(fù)桌面虛擬化是用戶的桌面環(huán)境被保存為一個(gè)個(gè)虛擬機(jī)，通過對(duì)虛擬機(jī)進(jìn)行快照和備份，就可以快速恢復(fù)用戶的故障桌面，并實(shí)時(shí)遷移到另一個(gè)虛擬機(jī)上繼續(xù)進(jìn)行工作。用戶自定義用戶可以選擇自己喜歡的桌面操作系統(tǒng)、顯示風(fēng)格、默認(rèn)環(huán)境，以及其他各種自定義功能。云計(jì)算安全

——挑戰(zhàn)與分層應(yīng)對(duì)目前實(shí)現(xiàn)高安全性的云計(jì)算環(huán)境仍面臨諸多挑戰(zhàn)。一方面，云平臺(tái)上的應(yīng)用程序（或服務(wù)）同底層硬件環(huán)境間是松耦合的，沒有固定不變的安全邊界，大大增加了數(shù)據(jù)安全與隱私保護(hù)的難度。另一方面，云計(jì)算環(huán)境中的數(shù)據(jù)量十分巨大（通常都是TB甚至PB級(jí)），傳統(tǒng)安全機(jī)制在可擴(kuò)展性及性能方面難以有效滿足需求。IaaS層的安全虛擬化是云計(jì)算IaaS層普遍采用的技術(shù)，其能有效隔離用戶的資源。PaaS層的安全PaaS層的海量數(shù)據(jù)存儲(chǔ)和處理需要防止隱私泄露問題。SaaS層的安全SaaS層提供了基于互聯(lián)網(wǎng)的應(yīng)用程序服務(wù)，并會(huì)保存敏感數(shù)據(jù)（如企業(yè)商業(yè)信息）。因?yàn)樵品?wù)器由許多用戶共享，且云服務(wù)器和用戶不在同一個(gè)信任域里，所以需要對(duì)敏感數(shù)據(jù)建立訪問控制機(jī)制。云計(jì)算安全

——基于云計(jì)算部署模式的思考云計(jì)算面臨的核心安全問題是用戶不再對(duì)數(shù)據(jù)和環(huán)境擁有完全的控制權(quán)。云計(jì)算的部署模式被分為公有云、私有云和混合云。公有云是以按需付費(fèi)方式向公眾提供的云計(jì)算服務(wù)（如AmazonEC2、SalesforceCRM等）。雖然公有云提供了便利的服務(wù)方式，但是由于用戶數(shù)據(jù)保存在服務(wù)提供商，存在用戶隱私泄露、數(shù)據(jù)安全得不到保證等問題。私有云是一個(gè)企業(yè)或組織內(nèi)部構(gòu)建的云計(jì)算系統(tǒng)。部署私有云需要企業(yè)新建私有的數(shù)據(jù)中心或改造原有數(shù)據(jù)中心。由于服