互聯(lián)網(wǎng)大數(shù)據(jù)文獻綜述互聯(lián)網(wǎng)大數(shù)據(jù)文獻綜述大數(shù)據(jù)分析的趨勢亮點大數(shù)據(jù)分析中的當前的最先進技術(shù)的概述。大數(shù)據(jù)分析的規(guī)模和應(yīng)用前景趨勢。在硬件上的現(xiàn)況和未來的發(fā)展趨勢，如何幫助我們解決大規(guī)模數(shù)據(jù)集。討論目前采用的軟件技術(shù)和未來趨勢，以解決大數(shù)據(jù)分析應(yīng)用。關(guān)鍵詞：大數(shù)據(jù)分析數(shù)據(jù)中心分布式系統(tǒng)摘要:大數(shù)據(jù)分析是并行的分布式系統(tǒng)未來的主要應(yīng)用之一。數(shù)據(jù)倉庫目前應(yīng)用的規(guī)模已經(jīng)超過EB級，并且其規(guī)模還在不斷增長。當數(shù)據(jù)集和相關(guān)應(yīng)用程序超出了他們的規(guī)模,給這些的構(gòu)成要求和軟件開發(fā)方法的考慮帶來了重大挑戰(zhàn)。數(shù)據(jù)集通常是分布式，它們的大小和安全考慮到分布式技術(shù)來得到保證。數(shù)據(jù)經(jīng)常駐留在不同的平臺上計算，對網(wǎng)絡(luò)能力，容錯性，安全性和訪問控制的考慮是在許多應(yīng)用中的關(guān)鍵。在其他應(yīng)用程序中，分析任務(wù)的截止時間主要與數(shù)據(jù)質(zhì)量有關(guān)。對于大多數(shù)新興應(yīng)用程序,數(shù)據(jù)驅(qū)動的模型和方法,能夠大規(guī)模操作的方法,到目前還未找到。即使知道可以縮放的方法,驗證結(jié)果又是一個重大的問題。硬件平臺的特性和軟件堆棧從根本上影響數(shù)據(jù)分析。在這篇文章中，我們提供了一個概述的最先進的硬件和軟件的趨勢在大數(shù)據(jù)分析應(yīng)用程序前景的應(yīng)用。引言隨著互聯(lián)網(wǎng)關(guān)鍵的技術(shù)的發(fā)展，計算作為一個實用程序的設(shè)想在上世紀90年代中期開始形成。在網(wǎng)格計算時代的早期人們通常認為硬件作為主要資源。網(wǎng)格計算技術(shù)專注于分享、選擇和聚合各種各樣的地理上分布的資源。這些資源包括超級計算機、存儲和其他設(shè)備，用來解決在科學(xué)、工程和商業(yè)的大規(guī)模計算密集型問題。這些框架的一個關(guān)鍵特性是他們的支持透明跨域管理和資源管理能力。“數(shù)據(jù)即資源”的概念被普及在p2p系統(tǒng)。Napster、Gnutella，和BitTorrent允許節(jié)點共享多媒體數(shù)據(jù)內(nèi)容通常直接彼此以分散的方式。這這些框架強調(diào)互操作性和動態(tài)性，降低成本，資源共享特定的溝通和協(xié)作，聚集。然而，在這些平臺上，匿名，隱私問題和擴展性問題的考慮是次要的。最近,云計算環(huán)境的可靠性、服務(wù)的健壯性被(通常的訪問來自客戶機的瀏覽器)來自于客戶端，大規(guī)模生產(chǎn)的移動設(shè)備和通用計算機的訪問檢驗。云計算的服務(wù)觀念概述為“基礎(chǔ)架構(gòu)即服務(wù)”(云計算資源在云中可用),數(shù)據(jù)即服務(wù)(數(shù)據(jù)在云中可用)和軟件即服務(wù)(訪問程序在云中執(zhí)行)。從服務(wù)提供者的角度來看這提供了相當大的好處（在硬件和管理的成本降低），整體資源的利用率，以及更好的客戶端接口。云環(huán)境的計算底層通常依賴于高效和彈性的數(shù)據(jù)中心架構(gòu)，基于虛擬化的計算和存儲技術(shù),高效利用商品硬件組件。目前的數(shù)據(jù)中心通常規(guī)模為成千上萬的節(jié)點，計算在云計算中經(jīng)?？缭蕉鄠€數(shù)據(jù)節(jié)點。新興的基于云的環(huán)境與分布式數(shù)據(jù)中心托管的大型數(shù)據(jù)倉庫，同時也為分析提供強力的處理有效的并行/分布式算法的需要。潛在的社會經(jīng)濟效益的大數(shù)據(jù)分析，與多樣性的應(yīng)用提出是很大的挑戰(zhàn)，在本文的其他部分我們重點強調(diào)數(shù)據(jù)分析問題的規(guī)模和范圍。我們描述了常用的硬件平臺上執(zhí)行分析應(yīng)用的相關(guān)情況，并考慮存儲，處理，網(wǎng)絡(luò)和能量。然后，我們專注于應(yīng)用程序，即虛擬化技術(shù)，運行時系統(tǒng)/執(zhí)行環(huán)境和編程的軟件基礎(chǔ)模型。我們在多樣性數(shù)據(jù)分析的應(yīng)用中，對健康和人類福利進行計算機建模與模擬得出一個簡短的結(jié)論。1.1數(shù)據(jù)分析的規(guī)模和范圍最近保守的研究估計，在2008年世界上的企業(yè)服務(wù)器系統(tǒng)已經(jīng)能處理了9.57×10^21字節(jié)的數(shù)據(jù)。這一數(shù)字預(yù)計將從這基礎(chǔ)上每兩年翻了一番。舉一個例子，沃爾瑪?shù)姆?wù)器每過一個小時就要處理超過一百萬客戶交易，這些信息插入到數(shù)據(jù)庫，存儲超過2.5PB的數(shù)據(jù)與167座國會圖書館的書籍數(shù)量相當。在歐洲核子研究中心的大型強子對撞機每年將產(chǎn)生大約15千兆字節(jié)的數(shù)據(jù)，足以填滿超過170萬個雙層DVD。每天,Facebook產(chǎn)生近500TB的用戶日志數(shù)據(jù)和數(shù)百萬TB的圖像數(shù)據(jù)。每分鐘，在YouTube有100小時的視頻被上傳，有135000小時的視頻被觀看。每一秒,有超過28000個多媒體(MMS)消息被發(fā)送。在2012大約4600萬的移動應(yīng)用程序被下載了，每一個應(yīng)用程序收集到更多的數(shù)據(jù)。推特的服務(wù)上有超過5億5000萬的活躍用戶，他們每秒鐘產(chǎn)生9100條推特。eBay系統(tǒng)每一天處理超過100PB的數(shù)據(jù)。在其他領(lǐng)域,波音噴氣發(fā)動機每運轉(zhuǎn)30分鐘能產(chǎn)生10TB的操作信息。其中，如果每一天有25000的航班，僅僅數(shù)據(jù)傳感器和機器生產(chǎn)的足跡信息的數(shù)據(jù)，在橫渡一次大西洋將產(chǎn)生幾百TB的數(shù)據(jù)。這些例子只是驚鴻一瞥，來自不同數(shù)據(jù)源的生態(tài)系統(tǒng)的數(shù)據(jù)集在迅速擴張。結(jié)構(gòu)化數(shù)據(jù)（例如，金融，電子醫(yī)學(xué)記錄，政府統(tǒng)計），半結(jié)構(gòu)化數(shù)據(jù)（例如，文本，微博，電子郵件），非結(jié)構(gòu)化（例如，音頻和視頻），和實時數(shù)據(jù)（如網(wǎng)絡(luò)痕跡，一般的監(jiān)測日志）。如果有組織和適當?shù)姆治龅脑?，所有這些應(yīng)用都有可能提供寶貴的見解。在當今廣泛公認需要有效分析的大型數(shù)據(jù)集的應(yīng)用程序。這些應(yīng)用包括醫(yī)療保健分析（例如，個性化基因組學(xué)），業(yè)務(wù)流程優(yōu)化，和社會網(wǎng)絡(luò)為基礎(chǔ)的建議。然而,預(yù)測表明數(shù)據(jù)增長將在很大程度上超過了可預(yù)見的成本改善,密度的存儲技術(shù),來處理它可用的計算能力和相關(guān)的能源熵。例如，在2002和2009之間數(shù)據(jù)流量增長了56倍，相比，相應(yīng)的計算能力的增加是16倍（主要是跟蹤穆爾的法律）。相比之下，1998至2005數(shù)據(jù)中心的規(guī)模的增長是每年173%。這些趨勢推斷,大概需要13年對于計算能力的增加才能滿足需求。然而，能源效率并不是像預(yù)期在同一時間內(nèi)增加25倍。這產(chǎn)生幾乎40倍的嚴重的不匹配的增加在數(shù)據(jù)分析能源足跡上。負載特性。大數(shù)據(jù)工作負載的全面研究，可以幫助他們理解對硬件和軟件設(shè)計的影響。由數(shù)值計算的“七個小矮人”，MEHUL，Shah等。試圖定義一組“數(shù)據(jù)小矮人”即關(guān)鍵數(shù)據(jù)處理內(nèi)核用來提供當前和未來的數(shù)據(jù)中心的負載特性的報道。在2010年借鑒一組廣泛的負載特性，他們建立了一套分類尺寸（響應(yīng)時間，訪問模式，工作組，數(shù)據(jù)類型，讀與寫，處理復(fù)雜度），并得出結(jié)論，五個工作負載模型可以令人滿意的覆蓋以數(shù)據(jù)為中心的工作負載：（一）在PB級規(guī)模的分布式排序，（二）在內(nèi)存中的索引搜索，（三）推薦系統(tǒng)，具有較高的處理負載和規(guī)則的通信模式，（四）順序訪問為基礎(chǔ)的數(shù)據(jù)復(fù)制（五）視頻上傳和流交互應(yīng)答率的服務(wù)器。在聯(lián)機分析處理（OLAP）的工作負載可以表示為（1）、（3）、（4）的組合、在線事務(wù)處理（OLTP）的工作量只能部分捕獲，在未來可能需要另一個類別，在內(nèi)存索引和查詢支持捕獲一些這些負載特性的方面，但工作集因為太大而不能放在內(nèi)存中。1.2.設(shè)計考慮在未來，大的規(guī)模、范圍和性質(zhì)（負載特性）的大數(shù)據(jù)分析應(yīng)用，能獨立的分別對硬件系統(tǒng)，軟件系統(tǒng)和架構(gòu)設(shè)計提供有趣的見解。對硬件的影響。數(shù)據(jù)訪問模式和訪問數(shù)據(jù)的頻率（冷與熱數(shù)據(jù)）可以驅(qū)動未來的內(nèi)存層次結(jié)構(gòu)的優(yōu)化：數(shù)據(jù)一般為熱數(shù)據(jù)；但是隨著時間的推移，它變成了歸檔，冷的數(shù)據(jù)，最適合存儲在NVM中。然而，有顯著的例外的周期性或客戶流失的訪問模式（季節(jié)相關(guān)主題，名人的標題），和熱龐大的數(shù)據(jù)集（比較基因組計算）應(yīng)加以考慮。此外,潛在的維度之間的相關(guān)性出現(xiàn)能對硬件堆棧的進行預(yù)測：一個視頻，由于存在多種格式或語言字幕，結(jié)果有許多版本，這些可以離線生成和存儲（因此需要足夠的存儲）或動態(tài)生成（代碼轉(zhuǎn)換和翻譯調(diào)控）數(shù)據(jù)給數(shù)據(jù)中心，或是在用戶的設(shè)備上（客戶端計算）帶來計算壓力。另外，可能要重新考慮相對優(yōu)先級的進展，在處理器設(shè)計的性能的考慮在當前的子系統(tǒng)的I/O之上。存在這樣一種替代的極端，一種選擇將是考慮一個可能的“版本”：層次結(jié)構(gòu)的計算支持數(shù)據(jù)存儲的元素，而不是今天的設(shè)計存儲層次結(jié)構(gòu)為計算元素服務(wù)。逐漸瓦解現(xiàn)有的存儲層次結(jié)構(gòu)的平滑過渡，這樣進一步提供節(jié)省能源消耗。了解工作負載也能在硬件識別可能會用于直接執(zhí)行特殊用途處理單元。圖形處理器、現(xiàn)場可編程門陣列（FPGA），專業(yè)化的特定應(yīng)用集成電路（ASIC），和專用的視頻編碼器/解碼器都是值得考慮的。這樣的硬件加速器大大減少能源消耗，與通用處理相比較。這些可以集成在芯片上，導(dǎo)致的以數(shù)據(jù)為中心的家族是非對稱處理器。對軟件的影響。軟件系統(tǒng)、存儲和計算的需要為了迎合一個相當大的問題:數(shù)據(jù)規(guī)模的空間、工作負載的性質(zhì)和其他應(yīng)用程序的需求，像一致性、可用性和分區(qū)容忍。大數(shù)據(jù)規(guī)模需求高度可擴展的分布式存儲系統(tǒng)能夠適應(yīng)大量的數(shù)據(jù)，有效率的入口和出口的機制；Apache的Flume就是這樣的有利于數(shù)據(jù)收集的系統(tǒng)。此外，這些存儲系統(tǒng)應(yīng)該支持高效查詢的內(nèi)存緩存和其他OLTP工作負載；即使HDFS最近增加了支持緩存。不同工作負載需求各種各樣的計算特點引擎,流式處理更多的在線數(shù)據(jù)的查詢與事務(wù)支持。大數(shù)據(jù)分析通常允許對其定量的輸出放寬精度約束,從而影響算法設(shè)計。隨機的算法應(yīng)用原始的、

昂貴的計算內(nèi)核和最后犧牲精度（數(shù)據(jù)可證明的界限尺寸/精度權(quán)衡）。能源意識到計算內(nèi)核可以減少能源足跡的分析計算，同時保留性能與最小精度退化

（能源/精度權(quán)衡）。2.數(shù)據(jù)分析的硬件平臺我們現(xiàn)在考慮當前數(shù)據(jù)分析的硬件平臺，以及這些平臺將來如何發(fā)展。2.1內(nèi)存/存儲在傳統(tǒng)的系統(tǒng)設(shè)計，磁盤用于數(shù)據(jù)持久化和DRAM內(nèi)存更快的訪問/磁盤緩存。然而傳統(tǒng)磁盤有移動的部件，很大程度上制約了他們的一生和建立對其訪問的時間界限。另一方面，DRAM芯片需要靜態(tài)刷新電路獨立消費能源判斷是否有數(shù)據(jù)讀/寫活動。非易失性存儲器（NVM）技術(shù)能解決這些缺點，并有望在未來設(shè)計發(fā)揮重大作用。有幾個以數(shù)據(jù)為中心的NVM應(yīng)用程序[的建議?；贔lash的應(yīng)用可以公開為塊存儲通過串行連接SCSI（SAS）和串行先進技術(shù)附件（SATA）或PCIExpress接口甚至結(jié)合解散匯總內(nèi)存提供降低成本效益解決方案。其他類型的非易失性存儲器如相變存儲器（PCRAM）和憶阻器已提出將集成作為字節(jié)尋址的內(nèi)存在芯片上的存儲器總線或直接堆放（3D堆）。非易失性存儲器也可以用于實現(xiàn)額外的緩存層次，或更換持久存儲，從而用于各級促進減緩內(nèi)存崩潰的內(nèi)存類型。這些建議的共同點是穩(wěn)定的轉(zhuǎn)變用于持久性數(shù)據(jù)存儲的內(nèi)存接口，理由是性能與簡化。移動計算更接近數(shù)據(jù)也受到許多大型數(shù)據(jù)管理任務(wù)的一般結(jié)構(gòu)，隨后產(chǎn)生相關(guān)框架。例如在經(jīng)常使用的MapReduce范式中,數(shù)據(jù)被分區(qū)在可用的節(jié)點和任務(wù)計劃,這樣配置與數(shù)據(jù)操作的數(shù)量有關(guān)。任務(wù)和相關(guān)數(shù)據(jù)的搭配也很注重節(jié)約能源。最近的毫微級儲存方案主張計算與持久性數(shù)據(jù)存儲的搭配。這是讓人想起過去的想法，活躍存儲,增強磁盤控制器處理特殊計算任務(wù),是當時應(yīng)用程序范圍有限的原始提案。從進化的角度來看，磁盤仍然具有很高的成本。因此，他們不太可能完全被取代在之后的一段時間。NVM技術(shù)應(yīng)被視為近期未來設(shè)計的有吸引力的組成部分。在這方面，我們還應(yīng)該考慮到變化的應(yīng)用將引發(fā)在總體的軟件的棧的變化。例如，當前的文件系統(tǒng)是在以毫秒的延遲優(yōu)化。NVMs提供延遲減少約三個數(shù)量級在這段時間（微秒）。有的建議基于閃存的固態(tài)硬盤（SSD）支持key-value存儲抽象，有利于它的工作負載。還有其他人建議固態(tài)硬盤作為傳統(tǒng)硬盤的緩存組織（混合設(shè)計）。理想情況下NVMs應(yīng)該暴露在的持久性指令集級別(ISA),操作系統(tǒng)可以使用他們有效(例如，通過重新設(shè)計的部件，承擔(dān)記憶波動或提供給上層，放置檔案資料節(jié)能NVM模塊API。)的數(shù)據(jù)。另一方面，持久的記憶能力將降低分離性；可以通過持久的內(nèi)存交換解決這個問題。從算法的角度設(shè)計和相關(guān)的數(shù)據(jù)結(jié)構(gòu),non-volatility可以推動替代,優(yōu)化設(shè)計和索引的實現(xiàn)結(jié)構(gòu)，鍵值存儲數(shù)據(jù)庫和文件系統(tǒng)，所有大數(shù)據(jù)分析的主要組件。2.2網(wǎng)絡(luò)資源對于數(shù)據(jù)分析主要考慮設(shè)計標準通信協(xié)議棧的鏈路，網(wǎng)絡(luò)和傳輸層的設(shè)計與互操作性的不同的技術(shù)和制造商的組件。在這個設(shè)計中鏈路層是不可靠的，因此擁塞或不可靠的通信信道會造成數(shù)據(jù)包丟失。為了補救,傳輸層在最后要求讓步傳播,從而影響帶寬。然而，一個典型的數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境是完全不同的廣域網(wǎng)。首先，它的信道可以被認為是無損的，這一假設(shè)應(yīng)該理想地反映在它實現(xiàn)的流動機制。在一個單一的行政控制下，它大多是均勻的，所以向后兼容已經(jīng)部署的協(xié)議不是問題。負載平衡器和應(yīng)用程序代理從外部通信所以沒有單獨的內(nèi)部交通與常規(guī)TCP公平性問題。在排隊的情況下，往返時間（RTT）可小于250微秒。應(yīng)用程序同時需要非常高的帶寬和非常低的延遲。此外，很少有統(tǒng)計復(fù)用，所以一個流可以主導(dǎo)一個特定的路徑。數(shù)據(jù)中心網(wǎng)絡(luò)中的一個特殊性能瓶頸是在許多大型網(wǎng)絡(luò)應(yīng)用程序廣泛使用的分區(qū)/總設(shè)計模式：從更高層次的應(yīng)用程序的請求被分解成塊，并在較低層的代理聚集，查看這些代理的反應(yīng)，然后匯總產(chǎn)生的結(jié)果。由此可見,數(shù)據(jù)以傳回多對一的方式遍歷一個瓶頸環(huán)節(jié)。隨著并發(fā)者數(shù)量的增加，吞吐量的應(yīng)用水平在接收時比容量低幾個數(shù)量級。例如，這可能發(fā)生在MapReduce工作的shuffle階段，當中間的鍵-值對多映射轉(zhuǎn)移到適當?shù)膔educers。最近的一個變種TCP，TCP數(shù)據(jù)中心（DCTCP），解決了這個Fork-Join網(wǎng)絡(luò)交通結(jié)構(gòu)，利用工程變更協(xié)議在大多數(shù)商品交換中實現(xiàn)的擴展，允許端到端的網(wǎng)絡(luò)擁塞通知丟棄數(shù)據(jù)包。相反，未來的性能問題可能會帶動開關(guān)設(shè)備的定制。注意，處理特定網(wǎng)絡(luò)的缺點的細節(jié)與選擇的協(xié)議基本上是相關(guān)的。這個基本的競爭者是以太網(wǎng)和無線帶寬。無線帶寬是一種能量比例網(wǎng)絡(luò)，這個屬性讓這種技術(shù)的優(yōu)勢，因為能源效率是一個主要的設(shè)計目標在未來數(shù)據(jù)中心。預(yù)計這兩個選項將在即將到來的未來會成為應(yīng)用程序為基礎(chǔ)。關(guān)于互連技術(shù)，光學(xué)和電氣光學(xué)設(shè)計有著顯著的優(yōu)點。然而,由于光電轉(zhuǎn)換代表能源效率的瓶頸,我們的目標是使用一個全光開關(guān)結(jié)構(gòu)。這種轉(zhuǎn)變將被首先消除了網(wǎng)絡(luò)接口控制器(NIC),所以網(wǎng)絡(luò)處理器將直接對話;同樣也可以使光成為處理到內(nèi)存的路徑，最近發(fā)布的第一個平行光收發(fā)模塊原型具有每秒傳輸一個TB信息能力，由IBM清楚地識別大數(shù)據(jù)分析作為目標市場,強調(diào)設(shè)備的能源效率。英特爾還計劃推出一個成本有效的光學(xué)互連的雷電接口電纜（已準備在蘋果產(chǎn)品中使用）。作為一種混合電/光開關(guān)的一個例子，太陽神是一個體系結(jié)構(gòu)有顯著減少的，布線，成本和功耗的開關(guān)元件。它是一個二級多根樹的開關(guān)和核心交換機，其中的核心包括傳統(tǒng)的電分組交換機和微機電系統(tǒng)為基礎(chǔ)的光電路開關(guān)。包括電氣交換機的原因是需要處理在聚集的交通需求之間的不同對突發(fā)性證明：支持這一類型的交通所需的（光）電路的數(shù)目將是禁止的，和電分組交換將是可取的。2.3大數(shù)據(jù)分析中的能量問題能量均衡是云計算的一個重要目標系統(tǒng)和組件。大多數(shù)數(shù)據(jù)中心操作超過一半的峰值負載，雖然它們的效率最大化在峰值負載。能量比例意味著功率消耗與負載之間一個線性關(guān)系。這是可以實現(xiàn)的明確地使用能量比例的設(shè)備，或僅為計算過程中絕對必要的組件。更具體地說，工作整合通常適用于粗—像單個服務(wù)器機器一樣的細粒度組件，這種方法的適用性很大程度上取決于類型的計算：批量處理產(chǎn)生理想的功率減少但在線或并行應(yīng)用程序不允許這樣的能量儲蓄計劃。請注意能量相稱性不是名義上的光網(wǎng)絡(luò)技術(shù)的特點（靜態(tài)激光功率消費）。然而，能量優(yōu)化與系統(tǒng)在更大的部署中更容易節(jié)省電力，特別是在輸送電子設(shè)備之前的能量,管道移動或存儲數(shù)據(jù)處理。冷卻功率交付在大多數(shù)情況下，適合于能源的設(shè)計和實施。安德烈等人因子數(shù)據(jù)中心的效率為三個計算設(shè)備，服務(wù)器的能源轉(zhuǎn)換，執(zhí)行計電子元件的效率，和計算的本身。盡管第三項是最相關(guān)的我們的討論,前兩個因素每瓦特“生產(chǎn)性”消耗2.2瓦的能量。以一個更整體的方法來優(yōu)化第三項。巴利加等人?？紤]優(yōu)化能源消費在全球云系統(tǒng)首先分析能耗概況的運輸，儲存，并在各種存儲即服務(wù)繪制場景服務(wù)器，軟件作為一種服務(wù)，和處理作為一個云計算服務(wù)方面。在一個更細的粒度下，已經(jīng)提出了減少CPU的功耗：如動態(tài)電壓和頻率縮放（DVFS），關(guān)閉功能單元的選擇（占到大約三分之一的能量到硬件子系統(tǒng)）。然而，靜態(tài)功耗和性能要求的基本被限制。能源方面的考慮促使不對稱設(shè)計建議（專業(yè)芯片多處理器，多核處理器）；hardavellas等人。[42]填充一個大的，多樣化的應(yīng)用程序特定的異構(gòu)內(nèi)核的骰子，可以動態(tài)禁用所有，但最適用于特定的應(yīng)用程序的核心（導(dǎo)致在黑暗的硅點），可以達到峰值性能和能源效率。3.虛擬化技術(shù)的虛擬化是一個云部署背后的關(guān)鍵的概念來協(xié)調(diào)軟件和硬件之間的天然鴻溝。它的基本組成部分是虛擬機監(jiān)控器（VMM），一個軟件抽象層，使分區(qū)的底層硬件平臺成一個或多個虛擬機[80]。最重要的是（i）應(yīng)該運行未修改現(xiàn)有的軟件在每個虛擬機，（ii）優(yōu)勢指令的子集必須直接在處理器上執(zhí)行（iii）VMM在系統(tǒng)資源的完全控制（經(jīng)典虛擬化）。虛擬化是在20世紀60年代末主機上下文的技術(shù)開發(fā)，最初，高性價比的機器隨后的增殖，分享，取決于虛擬化資源的需要，抓住存在，在某種程度上，現(xiàn)代的硬件本身不支持這種模式。然而，它提供的優(yōu)點，特別是在可靠性，安全和管理硬件成為一個池資源，以運行任意服務(wù)的需求，使其使用以數(shù)據(jù)為中心，大數(shù)據(jù)分析的多租戶環(huán)境中尤為重要。具體而言，VMM提供的虛擬機的封裝，從而有利于負載均衡的任務(wù)，虛擬機器復(fù)制，儲存和運輸，暫停/恢復(fù)方案，硬件和軟件/配置故障處理。此外，VMM虛擬墻之間提供隔離多臺虛擬機的多個虛擬機的多路復(fù)用同樣的硬件變得透明，從而產(chǎn)生了戲劇性的成本效益。安全性和可靠性的優(yōu)點自然遵循由于故障是由于程序錯誤或安全妥協(xié)是孤立于其它的虛擬機，問題不宣傳機器執(zhí)行相同的VMM下。所有硬件子系統(tǒng)（中央處理器、內(nèi)存、輸入/輸出、網(wǎng)絡(luò)等）都可以在原則上進行虛擬化。目前，CPU虛擬化相對成熟，其次有趣的改進是，虛擬內(nèi)存管理單元（MMU）的創(chuàng)新和研究的建議，I/O子系統(tǒng)和網(wǎng)絡(luò)。如果它支持直接執(zhí)行基本的VMM技術(shù)的CPU架構(gòu)是虛擬的，虛擬機在真實的機器上執(zhí)行；但是VMM有CPU的極限控制。這通常是通過運行虛擬機的特權(quán)和非特權(quán)在CPU的特權(quán)模式的代碼和保留VMM的特權(quán)模式執(zhí)行；當虛擬機試圖執(zhí)行特權(quán)操作CPU陷入VMM，從而模擬它的更新虛擬機狀態(tài)。然而，無處不在的x86架構(gòu)不提供安全透明的所有特權(quán)操作語義的陷阱。因此，各種技術(shù)已被提出。在半虛擬化的操作系統(tǒng)（OS）在虛擬機執(zhí)行修補與設(shè)計適當?shù)娜〈翘摂M操作，虛擬化的等價物。然而，改變操作系統(tǒng)的源代碼也可能由于許可問題，它可能產(chǎn)生的不兼容。一個替代的方法，二進制翻譯器運行非虛擬，特權(quán)的部分動態(tài)補丁“offending”指令，同時保留在高速緩存塊的優(yōu)化目的的翻譯。內(nèi)存管理，VMM

維護

每個虛擬機的內(nèi)存管理數(shù)據(jù)結(jié)構(gòu)，其影子頁表的影子。VMM

更新操作系統(tǒng)的變化反映出這些結(jié)構(gòu)，并建立映射到實際的頁面在硬件內(nèi)存中。這里的挑戰(zhàn)包括使

VMM

利用高效分頁進出和跨多個虛擬機，由一個單一的

VMM

監(jiān)測共享相同的物理頁面的操作系統(tǒng)的內(nèi)部狀態(tài)。此共享將均勻池

（在用軟件配置）

的虛擬機