目標(biāo)掌握大數(shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)了解常用數(shù)據(jù)挖掘算法了解常用可視化工具掌握Google提供的大數(shù)據(jù)服務(wù)了解微軟、IBM等提供的大數(shù)據(jù)服務(wù)掌握目前主要開源大數(shù)據(jù)平臺大數(shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)大數(shù)據(jù)的產(chǎn)生、組織和處理主要是通過分布式文件處理系統(tǒng)實現(xiàn)的，目前的主流技術(shù)為Hadoop+MapReduce。Apache大數(shù)據(jù)應(yīng)用平臺的總體架構(gòu)由以下幾部分組成：Servers：該層是系統(tǒng)的物理服務(wù)器，是整個系統(tǒng)的基礎(chǔ)。OperatingSystem和Hypervisor：物理服務(wù)器之上的虛擬機或操作系統(tǒng)。StorageFramework：數(shù)據(jù)存儲層。在Apache模型中，數(shù)據(jù)存放于HDFS。ProcessingFramework：數(shù)據(jù)處理層。Apache采用MapReduce處理模型。Network：分布式大數(shù)據(jù)系統(tǒng)，由多臺服務(wù)器通過網(wǎng)絡(luò)組成。AccessFramework：訪問層，負(fù)責(zé)統(tǒng)計分析已經(jīng)存儲的數(shù)據(jù)，使用Pig、Hive、Sqoop工具對數(shù)據(jù)進(jìn)行處理和訪問大數(shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)Pig：一個基于Hadoop的大規(guī)模數(shù)據(jù)分析工具，提供類SQL的查詢語言PigLatin，該語言的編譯器會把SQL格式的數(shù)據(jù)分析請求轉(zhuǎn)換為一系列經(jīng)過優(yōu)化的MapReduce運算。Hive：建立在Hadoop上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架，提供了一系列的工具，實現(xiàn)了對存儲在Hadoop中的大規(guī)模數(shù)據(jù)的存儲、查詢和分析操作。Sqoop：一個將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入Hadoop的HDFS中，也可以將HDFS中的數(shù)據(jù)導(dǎo)入關(guān)系型數(shù)據(jù)庫中。HBase：Hadoop在HDFS基礎(chǔ)上建立的一個類BigTable的開源分布式數(shù)據(jù)庫，具有高可靠性、高性能、面向列、可伸縮、可在廉價PC服務(wù)器上搭建大規(guī)模結(jié)構(gòu)化存儲集群等特點。Avro：一個基于二進(jìn)制數(shù)據(jù)高性能傳輸?shù)闹虚g件，也是一個數(shù)據(jù)序列化系統(tǒng)，可以將數(shù)據(jù)結(jié)構(gòu)或?qū)ο筠D(zhuǎn)化為便于存儲或傳輸?shù)母袷?。大?shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)Flume：一個對海量日志進(jìn)行采集、聚合和傳輸?shù)姆植际较到y(tǒng)，具備高可用性和高可靠性。Flume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方用于數(shù)據(jù)收集，同時還擁有對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。ZooKeeper：一個針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，其功能包括配置維護、名字服務(wù)、分布式同步、組服務(wù)等。ZooKeeper的目標(biāo)是封裝好復(fù)雜且易出錯的關(guān)鍵服務(wù)，將簡單易用的接口與性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)就是從各種類型的數(shù)據(jù)中快速獲得有價值信息的技術(shù)。大數(shù)據(jù)領(lǐng)域的關(guān)鍵技術(shù)包括：大數(shù)據(jù)收集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲、大數(shù)據(jù)處理、大數(shù)據(jù)挖掘、大數(shù)據(jù)分析與可視化、大數(shù)據(jù)安全等。大數(shù)據(jù)關(guān)鍵技術(shù)1.數(shù)據(jù)收集技術(shù)目前，數(shù)據(jù)收集一般可分為設(shè)備數(shù)據(jù)收集和Web數(shù)據(jù)爬取兩類，常用的數(shù)據(jù)收集軟件有Splunk、Sqoop、Flume以及各種網(wǎng)絡(luò)爬蟲，如Heritrix、Nutch等。大數(shù)據(jù)關(guān)鍵技術(shù)2.數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)預(yù)處理的引入能夠提升數(shù)據(jù)質(zhì)量，并使后續(xù)的數(shù)據(jù)處理、分析、可視化過程更加容易、有效，有助于獲得更好的用戶體驗。在形式上，數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)歸約和數(shù)據(jù)轉(zhuǎn)換等階段。數(shù)據(jù)清理技術(shù)包括數(shù)據(jù)不一致性檢測技術(shù)、臟數(shù)據(jù)識別技術(shù)、數(shù)據(jù)過濾技術(shù)、數(shù)據(jù)修正技術(shù)、數(shù)據(jù)噪聲的識別與平滑技術(shù)等。數(shù)據(jù)集成把來自多個數(shù)據(jù)源的數(shù)據(jù)進(jìn)行集成，縮短數(shù)據(jù)之間的物理距離，形成一個集中統(tǒng)一的（同構(gòu)/異構(gòu)）數(shù)據(jù)庫、數(shù)據(jù)立方體、數(shù)據(jù)寬表或文件。數(shù)據(jù)歸約技術(shù)可以在不損害挖掘結(jié)果準(zhǔn)確性的前提下，降低數(shù)據(jù)集的規(guī)模，得到簡化的數(shù)據(jù)集。數(shù)據(jù)的歸約策略包括維歸約技術(shù)、數(shù)值歸約技術(shù)、數(shù)據(jù)抽樣技術(shù)等。數(shù)據(jù)轉(zhuǎn)換處理技術(shù)包括基于規(guī)則或元數(shù)據(jù)的轉(zhuǎn)換技術(shù)、基于模型和學(xué)習(xí)的轉(zhuǎn)換技術(shù)等。經(jīng)過數(shù)據(jù)轉(zhuǎn)換處理的數(shù)據(jù)被變換或者統(tǒng)一，簡化了處理與分析過程，提升了時效性，也使得數(shù)據(jù)分析與挖掘的模式更容易被理解。大數(shù)據(jù)關(guān)鍵技術(shù)2.數(shù)據(jù)存儲技術(shù)分布式存儲與訪問是大數(shù)據(jù)存儲的關(guān)鍵技術(shù)，它具有經(jīng)濟、高效、容錯性好等特點。分布式文件系統(tǒng)是由多個網(wǎng)絡(luò)節(jié)點組成的、向上層應(yīng)用提供統(tǒng)一文件服務(wù)的文件系統(tǒng)。分布式文件系統(tǒng)中的節(jié)點可以分布在不同的地點，通過網(wǎng)絡(luò)進(jìn)行節(jié)點間的通信和數(shù)據(jù)傳輸。目前，常用的分布式磁盤文件系統(tǒng)有HDFS（Hadoop分布式文件系統(tǒng)）、GFS（Google分布式文件系統(tǒng)）、KFS（KosmosDistributedFileSystem）等；常用的分布式內(nèi)存文件系統(tǒng)有Tachyon（Spark平臺的文件系統(tǒng)）等。文檔存儲支持對結(jié)構(gòu)化數(shù)據(jù)的訪問，文檔存儲是以鍵值對的方式進(jìn)行存儲的。文檔存儲模型支持嵌套結(jié)構(gòu)，例如，文檔存儲模型支持XML和JSON文檔，其字段的值也可以嵌套存儲其它文檔。目前主流的文檔數(shù)據(jù)庫如MongoDB、CouchDB、Terrastore、RavenDB等。列式存儲將數(shù)據(jù)按行排序，按列存儲，將相同字段的數(shù)據(jù)作為一個列族來聚合存儲。當(dāng)查詢少數(shù)列族數(shù)據(jù)時，列式數(shù)據(jù)庫可以減少讀取數(shù)據(jù)量，減少數(shù)據(jù)裝載和讀入讀出的時間，提高數(shù)據(jù)處理效率。按列存儲還可以承載更大的數(shù)據(jù)量，獲得高效的垂直數(shù)據(jù)壓縮能力，降低數(shù)據(jù)存儲開銷。使用列式存儲的數(shù)據(jù)庫產(chǎn)品有傳統(tǒng)的數(shù)據(jù)庫產(chǎn)品，如SybaseIQ、InfiniDB、Vertica等；也有開源的數(shù)據(jù)庫產(chǎn)品，如HadoopHBase、Infobright等。大數(shù)據(jù)關(guān)鍵技術(shù)鍵值存儲，即Key-Value存儲，簡稱KV存儲，是NoSQL的一種存儲方式，其中的數(shù)據(jù)按照鍵/值對的形式進(jìn)行組織、索引和存儲，一般不提供事務(wù)處理機制。KV存儲比SQL數(shù)據(jù)庫存儲擁有更好的讀寫性能，同時能有效減少讀寫磁盤的次數(shù)，非常適合不涉及過多數(shù)據(jù)關(guān)系和業(yè)務(wù)關(guān)系的數(shù)據(jù)。主流的鍵值數(shù)據(jù)庫產(chǎn)品如Redis、ApacheCassandra、GoogleBigTable等。圖形數(shù)據(jù)庫主要用于存儲事物及事物之間的相互關(guān)系，這些事物整體上呈現(xiàn)復(fù)雜的網(wǎng)絡(luò)關(guān)系，可以簡單的稱之為圖形數(shù)據(jù)。圖形數(shù)據(jù)庫采用不同的技術(shù)，很好地解決了圖形數(shù)據(jù)的查詢、遍歷、求最短路徑等問題。主流的圖形數(shù)據(jù)庫如GooglePregel、Neo4j、InfiniteGraph、DEX、InfoGrid和AllegroGraph等。關(guān)系數(shù)據(jù)庫模型是最傳統(tǒng)的數(shù)據(jù)存儲模型，它由元數(shù)據(jù)定義表的結(jié)構(gòu)，將記錄按行進(jìn)行存儲。關(guān)系型數(shù)據(jù)庫的記錄存儲在表中，表中的每個列都有名稱和類型，表中的所有記錄都要符合表的定義。內(nèi)存存儲指內(nèi)存數(shù)據(jù)庫系統(tǒng)，即將數(shù)據(jù)庫的工作內(nèi)容存放于內(nèi)存中。內(nèi)存數(shù)據(jù)庫系統(tǒng)的設(shè)計目標(biāo)是提高數(shù)據(jù)庫的效率和存儲空間的利用率，由于數(shù)據(jù)庫的操作都在內(nèi)存中進(jìn)行，因此磁盤I/O不再是性能瓶頸。內(nèi)存數(shù)據(jù)庫的核心是內(nèi)存存儲管理模塊，其管理策略的優(yōu)劣直接關(guān)系到內(nèi)存數(shù)據(jù)庫系統(tǒng)的性能?；趦?nèi)存存儲的數(shù)據(jù)庫產(chǎn)品如OracleTimesTen、Altibase、extremeDB、Redis、Memcached等。大數(shù)據(jù)關(guān)鍵技術(shù)3.數(shù)據(jù)處理技術(shù)目前，主要的數(shù)據(jù)處理計算模型包括MapReduce計算模型、分布式內(nèi)存計算系統(tǒng)、分布式流計算系統(tǒng)等。MapReduce是一個高性能的批處理分布式計算框架，可用來對海量數(shù)據(jù)進(jìn)行并行分析和處理。與傳統(tǒng)數(shù)據(jù)庫技術(shù)相比，MapReduce能夠處理各種類型的數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，并且可以處理TB和PB級別的超大規(guī)模數(shù)據(jù)。Spark是內(nèi)存計算技術(shù)的開源框架的代表，也是當(dāng)今大數(shù)據(jù)領(lǐng)域最熱門的分布式內(nèi)存計算系統(tǒng)。使用分布式共享內(nèi)存進(jìn)行計算可有效減少數(shù)據(jù)讀寫和移動的開銷，極大地提高數(shù)據(jù)處理的性能。大數(shù)據(jù)關(guān)鍵技術(shù)4.數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘（DataMining）就是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，提取潛在有用的信息的過程。數(shù)據(jù)挖掘的常用方法：分類、關(guān)聯(lián)分析、聚類。大數(shù)據(jù)關(guān)鍵技術(shù)1)

分類法分類技術(shù)（或分類法）是一種根據(jù)輸入數(shù)據(jù)集建立分類模型的系統(tǒng)方法。首先，把數(shù)據(jù)分成訓(xùn)練集（TrainingSet）和測試集（TestingSet）；然后，通過對歷史訓(xùn)練集的訓(xùn)練，生成一個或多個分類器（Classifier），將這些分類器應(yīng)用到測試集中，就可以對分類器的性能和準(zhǔn)確性做出評判，如果效果不佳，就重新選擇訓(xùn)練集，或者調(diào)整訓(xùn)練模式，直到分類器的性能和準(zhǔn)確性達(dá)到要求為止；最后，將選出的分類器應(yīng)用到未經(jīng)分類的新數(shù)據(jù)中，就可以對新數(shù)據(jù)的類別做出預(yù)測了。大數(shù)據(jù)關(guān)鍵技術(shù)2)關(guān)聯(lián)分析法關(guān)聯(lián)分析常用于發(fā)現(xiàn)隱藏在大型數(shù)據(jù)集中的有意義聯(lián)系，所發(fā)現(xiàn)的聯(lián)系可以用關(guān)聯(lián)規(guī)則（AssociationRule）或頻繁項集形式表示。關(guān)聯(lián)分析也可應(yīng)用于其他領(lǐng)域，如生物信息學(xué)、醫(yī)療診斷、網(wǎng)頁挖掘和科學(xué)數(shù)據(jù)分析等。例如，在地球科學(xué)數(shù)據(jù)分析中，關(guān)聯(lián)模式可以揭示海洋、陸地和大氣過程之間的有趣聯(lián)系，這樣的信息能夠幫助地球科學(xué)家更好地理解地球系統(tǒng)中不同自然力之間的相互作用。大數(shù)據(jù)關(guān)鍵技術(shù)5.大數(shù)據(jù)分析與可視化技術(shù)數(shù)據(jù)可視化是指將大型數(shù)據(jù)集中的數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息的處理過程。數(shù)據(jù)可視化技術(shù)的基本思想是：將數(shù)據(jù)庫中的每一個數(shù)據(jù)項作為單個圖元素表示，使得大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像，同時將數(shù)據(jù)的各個屬性值以多維數(shù)據(jù)的形式表示，使用戶可以從不同的維度觀察數(shù)據(jù)，對數(shù)據(jù)進(jìn)行更深入的觀察和分析。數(shù)據(jù)可視化技術(shù)的基本概念：數(shù)據(jù)空間：由n維屬性、m個元素共同組成的數(shù)據(jù)集構(gòu)成的多維信息空間。數(shù)據(jù)開發(fā)：使用一定的工具及算法，對數(shù)據(jù)進(jìn)行定量推演及計算。數(shù)據(jù)分析：對多維數(shù)據(jù)進(jìn)行切片、塊、旋轉(zhuǎn)等操作，剖析數(shù)據(jù)，以從多角度多側(cè)面觀察數(shù)據(jù)。數(shù)據(jù)可視化：將大型數(shù)據(jù)集中的數(shù)據(jù)通過圖形圖像方式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中的未知信息。大數(shù)據(jù)關(guān)鍵技術(shù)數(shù)據(jù)可視化的標(biāo)準(zhǔn)：為實現(xiàn)信息的有效傳達(dá)，數(shù)據(jù)可視化應(yīng)兼顧美學(xué)與功能，直觀地傳達(dá)出關(guān)鍵的特征，以便挖掘數(shù)據(jù)背后隱藏的價值。數(shù)據(jù)可視化技術(shù)的應(yīng)用標(biāo)準(zhǔn)包含以下4個方面：直觀化：將數(shù)據(jù)直觀、形象地呈現(xiàn)出來。關(guān)聯(lián)化：突出呈現(xiàn)出數(shù)據(jù)之間的關(guān)聯(lián)性。藝術(shù)性：使數(shù)據(jù)的呈現(xiàn)更具有藝術(shù)性，更加符合審美規(guī)則。交互性：實現(xiàn)用戶與數(shù)據(jù)的交互，方便用戶控制數(shù)據(jù)。大數(shù)據(jù)關(guān)鍵技術(shù)數(shù)據(jù)可視化的作用：數(shù)據(jù)可視化的開發(fā)和大部分項目一樣，也是根據(jù)需求，基于數(shù)據(jù)維度或?qū)傩赃M(jìn)行篩選，并根據(jù)目的和用戶群選用合適的可視化表現(xiàn)方式，同一份數(shù)據(jù)可以表現(xiàn)為多種看起來截然不同的形式。如果數(shù)據(jù)可視化的目標(biāo)是觀測、跟蹤數(shù)據(jù)，就要強調(diào)實時性、變化和運算能力，最終可能生成一份不停變化、可讀性強的圖表，例如百度地圖顯示的北京市實時交通路況信息。大數(shù)據(jù)關(guān)鍵技術(shù)常用的數(shù)據(jù)分析和可視化工具：最常用的如Excel:可以進(jìn)行各種數(shù)據(jù)的處理、統(tǒng)計分析和輔助決策操作。GoogleChartAPI:Google公司提供的制圖服務(wù)接口，可以統(tǒng)計數(shù)據(jù)并自動生成圖片，該工具使用非常簡單，不需要安裝任何軟件，即可以通過瀏覽器在線查看統(tǒng)計圖表。使用GoogleChartAPI生成的圖表如圖。大數(shù)據(jù)關(guān)鍵技術(shù)常用的數(shù)據(jù)分析和可視化工具：D3：最流行的可視化庫之一，是一個可用于網(wǎng)頁作圖以及生成互動圖形的JavaScript函數(shù)庫，提供了一個D3對象，所有方法都通過這個對象調(diào)用。D3能夠提供多種除線性圖和條形圖以外的復(fù)雜圖表樣式，如Voronoi圖、樹形圖、圓形集群和單詞云等。Echarts：一個純Javascript的圖表庫，可以流暢運行在PC和移動設(shè)備上，提供直觀、生動、可交互、可高度個性化定制的數(shù)據(jù)可視化圖表，具有創(chuàng)新的拖拽重計算、數(shù)據(jù)視圖、值域漫游等特性。HighCharts：用純JavaScript編寫的一個圖表庫，能夠非常便捷地在Web網(wǎng)站或是Web應(yīng)用程序上添加有交互性的圖表，支持的圖表類型包括曲線圖、區(qū)域圖、柱狀圖、餅狀圖、散狀點圖和綜合圖表等。Visual.ly：一款非常流行的信息圖制作工具，簡潔易用，用戶不需要任何設(shè)計相關(guān)的知識，就可以快速創(chuàng)建樣式美觀且具有強烈視覺沖擊力的自定義信息圖表。Tableau：桌面系統(tǒng)上最簡單的商業(yè)智能工具軟件，適合企業(yè)進(jìn)行日常數(shù)據(jù)報表和數(shù)據(jù)可視化分析工作。Tableau實現(xiàn)了數(shù)據(jù)運算與美觀圖表的完美結(jié)合，用戶只要將大量數(shù)據(jù)拖放到數(shù)字“畫布”上，轉(zhuǎn)眼間就能創(chuàng)建好各種圖表。大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)魔鏡：一款優(yōu)秀的國產(chǎn)數(shù)據(jù)分析軟件，只需通過一個直觀的拖放界面就可創(chuàng)建交互式的圖表和數(shù)據(jù)挖掘模型，其豐富的數(shù)據(jù)公式及算法可以幫助用戶真正理解所分析的數(shù)據(jù)。GoogleFusionTables：該工具讓一般使用者也能輕松制作出專業(yè)的統(tǒng)計地圖，可以選擇將數(shù)據(jù)表呈現(xiàn)為圖表、圖形和地圖，從而幫助用戶發(fā)現(xiàn)一些隱藏在數(shù)據(jù)背后的模式和趨勢。Timetoast：一個在線創(chuàng)作基于時間軸的事件記載服務(wù)的網(wǎng)站，提供個性化的時間線服務(wù)，可以用不同的時間線來記錄用戶某個方面的發(fā)展歷程、心理演變、進(jìn)度過程等等。Xtimeline：一個免費的繪制時間軸的在線工具網(wǎng)站，操作簡便，用戶可以添加事件日志的形式構(gòu)建時間表，同時也可給日志配上相應(yīng)的圖表。大數(shù)據(jù)關(guān)鍵技術(shù)6.大數(shù)據(jù)安全大數(shù)據(jù)安全面臨的挑戰(zhàn)性問題主要體現(xiàn)在以下幾個方面：1）大數(shù)據(jù)中的用戶隱私保護問題大量事實表明，大數(shù)據(jù)未被妥善處理會對用戶的隱私造成極大的侵害。根據(jù)需要保護的數(shù)據(jù)內(nèi)容不同，隱私保護又可進(jìn)一步細(xì)分為位置隱私保護、標(biāo)識符匿名保護、連接關(guān)系匿名保護等。2）大數(shù)據(jù)的可信性大數(shù)據(jù)可信性的威脅之一是偽造或刻意制造的數(shù)據(jù)，而錯誤的數(shù)據(jù)往往會導(dǎo)致錯誤的結(jié)論。3）如何實現(xiàn)大數(shù)據(jù)訪問控制大數(shù)據(jù)訪問控制的特點與難點在于：難以預(yù)設(shè)角色，實現(xiàn)角色劃分。大數(shù)據(jù)應(yīng)用范圍廣泛，面對未知的大量數(shù)據(jù)和用戶，預(yù)先設(shè)置權(quán)限和角色十分困難。主流大數(shù)據(jù)服務(wù)

Percolator：一個可以為一個巨大的數(shù)據(jù)集提供增量更新的系統(tǒng)，該系統(tǒng)在BigTable的基礎(chǔ)上加入了對局部更新的支持，彌補了MapReduce無法在計算時處理局部更新的缺陷，被Google用來增量更新其搜索的索引。Pregel：Google研發(fā)，用來支持大規(guī)模分布式的圖分析和計算。Dremel：Google的交互式數(shù)據(jù)分析系統(tǒng)，可以組建成規(guī)模上千的集群，并使用類SQL語言在秒級分析PB級的數(shù)據(jù)，以作為MapReduce的有力補充。HDInsight：微軟在WindowsAzure上運行的云服務(wù)，該服務(wù)以云方式部署并設(shè)置ApacheHadoop群集，從而提供對大數(shù)據(jù)進(jìn)行管理、分析和報告的軟件框架。InfoSphere：IBM大數(shù)據(jù)分析平臺，包括互補的BigInsights和Streams兩部分。Biglnsights可以對大規(guī)模的靜態(tài)數(shù)據(jù)進(jìn)行分析，它提供多節(jié)點的分布式計算，可以隨時增加節(jié)點，提升數(shù)據(jù)處理能力；Streams則采用內(nèi)存計算方式分析實時數(shù)據(jù)。除此之外，InfoSphere大數(shù)據(jù)分析平臺還集成了數(shù)據(jù)倉庫、數(shù)據(jù)庫、數(shù)據(jù)集成、業(yè)務(wù)流程管理等組件。開源大數(shù)據(jù)平臺

Hadoop是一個由ASF開發(fā)的開源分布式系統(tǒng)基礎(chǔ)架構(gòu)，使用了分布式文件系統(tǒng)