云計算導(dǎo)論:概念架構(gòu)與應(yīng)用(微課版)(第2版) 課件 7.2 云存儲關(guān)鍵技術(shù)_第1頁
云計算導(dǎo)論:概念架構(gòu)與應(yīng)用(微課版)(第2版) 課件 7.2 云存儲關(guān)鍵技術(shù)_第2頁
云計算導(dǎo)論:概念架構(gòu)與應(yīng)用(微課版)(第2版) 課件 7.2 云存儲關(guān)鍵技術(shù)_第3頁
云計算導(dǎo)論:概念架構(gòu)與應(yīng)用(微課版)(第2版) 課件 7.2 云存儲關(guān)鍵技術(shù)_第4頁
云計算導(dǎo)論:概念架構(gòu)與應(yīng)用(微課版)(第2版) 課件 7.2 云存儲關(guān)鍵技術(shù)_第5頁
已閱讀5頁,還剩28頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

7.2云存儲關(guān)鍵技術(shù)武志學(xué)目錄存儲虛擬化技術(shù)01分布式存儲技術(shù)02數(shù)據(jù)容錯技術(shù)03數(shù)據(jù)備份技術(shù)04數(shù)據(jù)縮減技術(shù)05存儲虛擬化技術(shù)01基于主機的虛擬化技術(shù)主機虛擬化映射基于主機的虛擬化技術(shù)通過邏輯卷管理軟件,將物理磁盤陣列映射為統(tǒng)一虛擬存儲空間,實現(xiàn)存儲資源的池化管理,提高資源利用。軟件實現(xiàn)與性能影響虛擬化與資源成本該技術(shù)以軟件為核心,無需額外硬件,靈活實現(xiàn)存儲虛擬化。但軟件部署可能拖緩主機性能,數(shù)據(jù)安全與設(shè)備兼容性亦面臨挑戰(zhàn)。主機虛擬化技術(shù)雖降低硬件采購成本,但可能因性能下降、數(shù)據(jù)風(fēng)險及多廠商設(shè)備兼容問題,面臨較高的實施與維護(hù)成本。123設(shè)備虛擬化特點存儲設(shè)備虛擬化集成度高,操作簡便。但消耗控制器資源,且異構(gòu)廠商的高級功能可能受限,影響系統(tǒng)整體性能與功能拓展。虛擬化與功能局限選擇與影響考量在選擇存儲設(shè)備時,需全面評估其虛擬化能力、資源占用及功能局限性。這有助于構(gòu)建高效、兼容且滿足未來需求的存儲系統(tǒng)。依賴存儲陣列控制器,常見于高端設(shè)備。用于SAN架構(gòu),不占主機資源,技術(shù)成熟易實施,適合異構(gòu)環(huán)境。但受限于核心設(shè)備功能?;诖鎯υO(shè)備的虛擬化技術(shù)基于存儲網(wǎng)絡(luò)的虛擬化技術(shù)網(wǎng)內(nèi)虛擬化引擎存儲網(wǎng)絡(luò)虛擬化通過內(nèi)置虛擬化引擎,集中管理資源,路由器/交換機助力實現(xiàn)。此技術(shù)有效整合網(wǎng)絡(luò)存儲資源,提升管理效率與靈活性。帶內(nèi)外虛擬化區(qū)別帶內(nèi)虛擬化利用同一數(shù)據(jù)通道傳輸存儲數(shù)據(jù)與控制信號,實現(xiàn)高效通信;帶外虛擬化則通過獨立通道處理數(shù)據(jù)與命令,確保通信順暢。優(yōu)點與資源考量存儲網(wǎng)絡(luò)虛擬化優(yōu)勢在于不占用主機和設(shè)備資源,提升效率與靈活性。但需注意存儲陣列兼容性及高級功能支持,確保系統(tǒng)穩(wěn)定運行。驗證與功能保障為確保存儲網(wǎng)絡(luò)虛擬化的順利部署,需嚴(yán)格驗證存儲陣列的兼容性,并關(guān)注其高級存儲功能是否受限,以保障系統(tǒng)的穩(wěn)定運行與性能需求。主機虛擬化技術(shù)主機虛擬化技術(shù)通過邏輯卷管理,將物理磁盤映射為統(tǒng)一虛擬空間,實現(xiàn)存儲資源整合。該技術(shù)無需額外硬件,但可能影響主機性能,存在數(shù)據(jù)安全及資源開銷問題。三種存儲虛擬化技術(shù)對比設(shè)備虛擬化技術(shù)存儲設(shè)備虛擬化技術(shù)依賴陣列控制器,常見于高端設(shè)備,用于SAN架構(gòu)。優(yōu)點包括不占主機資源、技術(shù)成熟易實施,但受限于核心設(shè)備功能,消耗控制器資源,且無法兼容異構(gòu)廠家高級功能。網(wǎng)絡(luò)虛擬化技術(shù)存儲網(wǎng)絡(luò)虛擬化通過增加虛擬化引擎實現(xiàn)資源集中管理,分帶內(nèi)與帶外。帶內(nèi)共用數(shù)據(jù)通道,帶外分離。優(yōu)點是不占主機和設(shè)備資源,但設(shè)備兼容性需嚴(yán)格驗證,且高級功能受限。主機虛擬化技術(shù)成本低,適合預(yù)算有限或快速部署環(huán)境。其優(yōu)勢在于靈活性和軟件支持,便于管理和擴(kuò)展。然而,性能影響和數(shù)據(jù)安全是實施時需重點考慮的因素。存儲虛擬化技術(shù)優(yōu)缺點及適用場景主機虛擬化技術(shù)存儲設(shè)備虛擬化技術(shù)不占主機資源,適合高端存儲需求。技術(shù)成熟且容易實施,提供高性能和可靠性。但受限于核心設(shè)備功能,消耗控制器資源,且無法兼容異構(gòu)廠家高級功能。設(shè)備虛擬化技術(shù)網(wǎng)絡(luò)虛擬化技術(shù)適合復(fù)雜網(wǎng)絡(luò)環(huán)境,提供靈活性和高可用性。不占主機和設(shè)備資源,能夠集中管理存儲資源。但設(shè)備兼容性嚴(yán)格,高級功能受限,且需要額外配置和管理成本。網(wǎng)絡(luò)虛擬化技術(shù)分布式存儲技術(shù)02數(shù)據(jù)需求驅(qū)動分布式存儲01三類數(shù)據(jù)分布式存儲面臨的數(shù)據(jù)需求復(fù)雜,涵蓋非結(jié)構(gòu)化、結(jié)構(gòu)化和半結(jié)構(gòu)化三類數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)包括辦公文檔、文本、圖片等,結(jié)構(gòu)化數(shù)據(jù)存儲于關(guān)系數(shù)據(jù)庫。02分布式存儲優(yōu)勢分布式存儲系統(tǒng)通過多服務(wù)器分擔(dān)負(fù)載,提升可靠性、可用性和存取效率,同時易于擴(kuò)展,滿足大規(guī)模數(shù)據(jù)處理需求。分布式存儲系統(tǒng)的分類分布式塊存儲系統(tǒng)高效直接讀寫磁盤空間,適合大型數(shù)據(jù)庫。采用標(biāo)準(zhǔn)Intel/Linux組件構(gòu)建,通過千兆以太網(wǎng)連接,運用分布式算法管理資源。分布式文件存儲系統(tǒng)分布式文件存儲系統(tǒng)提供通用文件訪問接口,實現(xiàn)文件與目錄操作。有軟硬件一體和分離兩種方式,處理海量非結(jié)構(gòu)化數(shù)據(jù)。分布式對象存儲系統(tǒng)全新存儲架構(gòu),專為Linux集群設(shè)計。引入對象元數(shù)據(jù)和容器概念,高效處理海量、小數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù),如郵箱、網(wǎng)盤等。分布式表存儲系統(tǒng)表存儲是一種結(jié)構(gòu)化數(shù)據(jù)存儲方式,提供高并發(fā)訪問和可伸縮架構(gòu)。支持復(fù)雜操作如CRUD和主鍵范圍掃描,適合半結(jié)構(gòu)化數(shù)據(jù)。高性能:分布式存儲系統(tǒng)力求最小化網(wǎng)絡(luò)延遲、擁塞、斷開及節(jié)點退出等影響,確保每位用戶享受穩(wěn)定高效的數(shù)據(jù)訪問體驗。高可靠性:高可靠性是大多數(shù)系統(tǒng)設(shè)計時的重點考慮因素。分布式存儲環(huán)境通常有高可靠性需求,用戶將文件保存到分布式存儲系統(tǒng)中的基本要求是數(shù)據(jù)可靠。高可擴(kuò)展性:分布式存儲系統(tǒng)需要適應(yīng)節(jié)點規(guī)模和數(shù)據(jù)規(guī)模的擴(kuò)大,確保系統(tǒng)持續(xù)穩(wěn)定運行,并滿足不斷增長的數(shù)據(jù)處理需求。透明性:需要使用戶在訪問網(wǎng)絡(luò)中其他節(jié)點的數(shù)據(jù)時,感覺像是在訪問自己本機的數(shù)據(jù),即實現(xiàn)數(shù)據(jù)的透明訪問,簡化用戶操作。自治性:分布式存儲系統(tǒng)需要具備一定的自我維護(hù)和恢復(fù)功能。自治性確保系統(tǒng)能在節(jié)點故障或網(wǎng)絡(luò)問題時自動調(diào)整,維持運行。先進(jìn)的分布式存儲系統(tǒng)的特性0102030405數(shù)據(jù)容錯技術(shù)03基于復(fù)制的容錯技術(shù)數(shù)據(jù)復(fù)制策略研究大量數(shù)據(jù)對象及其副本的管理方式,是提升云存儲系統(tǒng)性能和可靠性的關(guān)鍵。集中式存儲目錄數(shù)據(jù)組織結(jié)構(gòu)研究副本的創(chuàng)建時機、副本的數(shù)量及副本的放置等問題,確保數(shù)據(jù)的安全與完整性。利用存儲目錄中存放的存儲節(jié)點信息,將數(shù)據(jù)對象的多個副本放置在不同機架上?;趶?fù)制的容錯技術(shù)查找開銷增加隨著存儲目錄的增長,查找數(shù)據(jù)對象所需的開銷會越來越大,影響系統(tǒng)效率。01內(nèi)存占用高為提高數(shù)據(jù)對象的定位速度,通常會將存儲目錄存放在服務(wù)器內(nèi)存中,占用大量內(nèi)存。02副本布局方法基于哈希算法的副本布局方法,完全摒棄了記錄數(shù)據(jù)對象映射信息的做法,以降低內(nèi)存占用。03根據(jù)節(jié)點權(quán)重為存儲節(jié)點分配數(shù)據(jù)對象,從而確保數(shù)據(jù)分布的均勻性,提高存儲效率。均衡性采用高效的數(shù)據(jù)布局算法,盡可能提高存儲效率,降低存儲系統(tǒng)的性能開銷。低性能開銷當(dāng)系統(tǒng)中的節(jié)點數(shù)量發(fā)生變化時,需遷移的數(shù)據(jù)量應(yīng)盡量少,以提高系統(tǒng)的穩(wěn)定性和性能。動態(tài)自適應(yīng)性010302基于復(fù)制的容錯技術(shù)確定副本位置所需的時間開銷盡可能小,理想情況下為O(1),以提高系統(tǒng)的整體性能。高效性046px6px6px存儲開銷問題基于復(fù)制的容錯技術(shù)存儲開銷巨大,為了提供冗余度為k的容錯能力,必須額外創(chuàng)建k個副本。編碼生成編碼數(shù)據(jù)基于編碼的容錯技術(shù)通過對多個數(shù)據(jù)對象進(jìn)行編碼生成編碼數(shù)據(jù)對象,從而降低完全復(fù)制帶來的巨大存儲開銷。RAID5技術(shù)RAID5通過將數(shù)據(jù)條帶化分布到不同的存儲設(shè)備上來提高效率,并采用一個校驗數(shù)據(jù)塊。糾刪碼技術(shù)糾刪碼技術(shù)是一種源于信道傳輸?shù)木幋a技術(shù),能夠容忍多個數(shù)據(jù)幀的丟失,因此被引入分布式存儲領(lǐng)域。多個數(shù)據(jù)塊失效基于糾刪碼的容錯技術(shù)可以容忍多個數(shù)據(jù)塊同時失效,成為常用的基于編碼的容錯技術(shù)?;诩m刪碼的容錯技術(shù)0102030405數(shù)據(jù)備份技術(shù)04數(shù)據(jù)備份技術(shù)至關(guān)重要,它確保數(shù)據(jù)在遭遇錯誤、誤刪除或惡意加密等意外情況時能迅速恢復(fù),是保護(hù)數(shù)據(jù)資源免受損失的關(guān)鍵手段。數(shù)據(jù)備份重要性數(shù)據(jù)備份技術(shù)的重要性數(shù)據(jù)備份旨在實現(xiàn)數(shù)據(jù)資源的重新利用和保護(hù),其核心工作在于數(shù)據(jù)恢復(fù),確保數(shù)據(jù)在遭遇災(zāi)難時能夠迅速恢復(fù),減少數(shù)據(jù)丟失的風(fēng)險。數(shù)據(jù)備份目的典型用戶備份流程01增量與完全備份典型用戶備份流程包括每日凌晨的增量備份和每周末凌晨的完全備份,這種策略旨在平衡數(shù)據(jù)恢復(fù)速度與存儲資源利用,確保數(shù)據(jù)的安全性。02數(shù)據(jù)恢復(fù)策略采用增量與完全備份策略后,用戶能夠在數(shù)據(jù)災(zāi)難發(fā)生時恢復(fù)到某一天的狀態(tài),但可能丟失一天的數(shù)據(jù),且備份時間窗口較長,影響業(yè)務(wù)連續(xù)性。數(shù)據(jù)復(fù)制系統(tǒng)投資與收益為了確保數(shù)據(jù)的高安全性,用戶需要采用在線實時復(fù)制系統(tǒng),該系統(tǒng)能夠?qū)崟r同步數(shù)據(jù)變化,確保數(shù)據(jù)的完整性和一致性,大幅降低數(shù)據(jù)丟失的風(fēng)險。在線實時復(fù)制系統(tǒng)通過實時捕獲和保存數(shù)據(jù)變化,提供高可用性,但這也需要增加投資。同時,該系統(tǒng)能夠提高業(yè)務(wù)連續(xù)性和災(zāi)難恢復(fù)能力,其長期效益遠(yuǎn)遠(yuǎn)超過了初期投資。在線實時復(fù)制系統(tǒng)快照與CDP技術(shù)概述快照是一種高效的磁盤管理技術(shù),通過捕獲數(shù)據(jù)某一時刻的狀態(tài),為數(shù)據(jù)提供即時、可復(fù)制的點。在需要時,用戶可以快速恢復(fù)到該狀態(tài),確保數(shù)據(jù)的完整性和業(yè)務(wù)的連續(xù)性??煺占夹g(shù)連續(xù)數(shù)據(jù)保護(hù)(CDP)技術(shù)通過連續(xù)捕獲和保存數(shù)據(jù)變化,實現(xiàn)無限恢復(fù)點。該技術(shù)能夠恢復(fù)到過去任意時間點的數(shù)據(jù),為用戶提供了前所未有的靈活性和安全性。CDP技術(shù)CDP解決方案的基本特性CDP解決方案的核心在于連續(xù)捕獲和跟蹤數(shù)據(jù)的每一個變化。通過實時監(jiān)控和記錄數(shù)據(jù)的增量更新,確保數(shù)據(jù)的一致性和完整性,為后續(xù)的快速檢索和恢復(fù)提供保障。連續(xù)捕獲與跟蹤所有經(jīng)過捕獲的數(shù)據(jù)變化都被存儲在一個與主存儲地點分離的獨立地點,以防止單點故障帶來的數(shù)據(jù)丟失。同時,恢復(fù)點目標(biāo)靈活設(shè)定,無需預(yù)先定義。獨立存儲與恢復(fù)點數(shù)據(jù)縮減技術(shù)05監(jiān)控存儲風(fēng)險自動精簡配置隨內(nèi)容增多,面臨物理存儲耗盡風(fēng)險。需實施警告、通知和存儲分析功能,確保技術(shù)環(huán)境安全穩(wěn)定。欺騙操作系統(tǒng)自動精簡配置技術(shù)通過“欺騙”操作系統(tǒng),使操作系統(tǒng)認(rèn)為存儲設(shè)備容量巨大,而實際物理存儲空間較小。優(yōu)化存儲利用傳統(tǒng)配置技術(shù)常導(dǎo)致過度配置,空間利用率低。自動精簡配置優(yōu)化存儲利用,提供大容量虛擬空間,隨需求增長可動態(tài)擴(kuò)展。提高存儲效率自動精簡配置由3Par公司開創(chuàng),現(xiàn)受多廠商支持,成存儲系統(tǒng)關(guān)鍵標(biāo)準(zhǔn)。該技術(shù)能自動管理存儲,降低超量配置,減少功耗。自動精簡配置自動存儲分層技術(shù)數(shù)據(jù)遷移策略精細(xì)度與運算周期固態(tài)存儲的融入存儲分層目標(biāo)自動存儲分層自動存儲分層技術(shù)能遷移數(shù)據(jù)于不同介質(zhì)間,降低成本與復(fù)雜性。過去依賴手工操作,現(xiàn)實現(xiàn)自動化與智能化管理。自動存儲分層將不常訪問數(shù)據(jù)遷至低成本層,頻繁訪問數(shù)據(jù)遷至高性能層,旨在降低成本、提升性能。固態(tài)存儲的采用增強了自動存儲分層的重要性,云存儲的普及則進(jìn)一步降低了企業(yè)存儲需求總量,提高了性能。數(shù)據(jù)遷移粒度影響昂貴存儲層效率,子卷級分層允許按塊分配數(shù)據(jù),提高利用率。系統(tǒng)可據(jù)預(yù)設(shè)時間或智能判斷數(shù)據(jù)移動策略。自動分層存儲技術(shù)需關(guān)注精細(xì)度和運算周期。精細(xì)度影響優(yōu)化效果和遷移數(shù)據(jù)量,運算周期則影響系統(tǒng)響應(yīng)速度。自動存儲分層技術(shù)存儲層的分層構(gòu)建與初始分散分層構(gòu)建:存儲系統(tǒng)被劃分為?性能/成本差異顯著的多層存儲?,如圖中“層1、層2、層3”,對應(yīng)SSD、中端HDD、低成本HDD等不同介質(zhì)?初始分散?:將用戶數(shù)據(jù)(圖中“LUN”,邏輯單元)?按需分配到不同存儲層?。例如:高訪問頻率、低延遲需求的業(yè)務(wù)(如數(shù)據(jù)庫日志)分配到高性能層(層1);低訪問頻率、成本敏感的業(yè)務(wù)(如歸檔數(shù)據(jù))分配到低成本層(層3)。存儲頻率的實時統(tǒng)計通過?監(jiān)控和分析數(shù)據(jù)訪問行為?,統(tǒng)計每個存儲區(qū)域(或LUN、卷的子區(qū)域)的?存儲頻率?(即數(shù)據(jù)被讀取/寫入的頻次)。邏輯:頻率是“數(shù)據(jù)熱度”的核心指標(biāo)——訪問越頻繁,數(shù)據(jù)越“熱”;訪問越少,數(shù)據(jù)越“冷”。智能遷移與存儲位置重分配系統(tǒng)?按預(yù)設(shè)策略(如時間周期、性能閾值、成本規(guī)則)?,定期或動態(tài)觸發(fā)數(shù)據(jù)遷移?熱數(shù)據(jù)上移?:將訪問頻率高的區(qū)域(如從層3→層2→層1)遷移到?更高性能層?,保障關(guān)鍵業(yè)務(wù)的低延遲、高吞吐;?冷數(shù)據(jù)下移:將訪問頻率低的區(qū)域(如從層1→層2→層3)遷移到?低成本層?,釋放高性能資源,同時降低存儲成本。通過“分層存儲+智能遷移”,自動存儲分層技術(shù)實現(xiàn)?“讓數(shù)據(jù)‘住’在最適合的層”?自動存儲分層是?“按需分配+動態(tài)優(yōu)化”?的存儲策略,讓不同“熱度”的數(shù)據(jù)匹配最適配的存儲介質(zhì),兼顧性能與成本自動存儲分層技術(shù)的核心價值:性能與成本的動態(tài)平衡性能層面:高頻訪問數(shù)據(jù)始終靠近高性能介質(zhì),保障關(guān)鍵業(yè)務(wù)體驗;成本層面:低頻訪問數(shù)據(jù)下移至低成本介質(zhì),降低整體存儲開銷;管理層面:自動化完成“層間遷移”,無需人工干預(yù),簡化運維復(fù)雜度。重復(fù)數(shù)據(jù)刪除技術(shù)相似數(shù)據(jù)檢測與編碼實時去重與性能相同數(shù)據(jù)檢測技術(shù)文件級與數(shù)據(jù)塊級重復(fù)數(shù)據(jù)刪除重復(fù)數(shù)據(jù)刪除技術(shù)優(yōu)化存儲容量,消除冗余數(shù)據(jù),將數(shù)據(jù)縮減至1/50至1/20,減少存儲空間、傳輸帶寬,降低成本和能耗。重復(fù)數(shù)據(jù)刪除技術(shù)分文件級和塊級。采用多Hash算法計算指紋,確保低碰撞率,相同指紋數(shù)據(jù)塊僅保留一份,實現(xiàn)高效消重。相同數(shù)據(jù)檢測利用Hash技術(shù)進(jìn)行數(shù)據(jù)挖掘,細(xì)粒度數(shù)據(jù)塊采用FSP、CDC、滑動塊技術(shù)查找重復(fù)數(shù)據(jù),實現(xiàn)精準(zhǔn)消重。重復(fù)數(shù)據(jù)刪除技術(shù)利用數(shù)據(jù)相似性,通過Shingle、BloomFilter和模式匹配技術(shù)檢測重復(fù)數(shù)據(jù),Delta技術(shù)壓縮相似數(shù)據(jù)。NetApp和Oracle公司均提供重復(fù)數(shù)據(jù)刪除選項,NetApp非實時處理,Oracle實時執(zhí)行。但去重可能降低存儲系統(tǒng)可靠性。數(shù)據(jù)壓縮技術(shù)有損與無損壓縮壓縮與去重比較無損壓縮算法RACE技術(shù)優(yōu)勢數(shù)據(jù)壓縮技術(shù)數(shù)據(jù)壓縮技術(shù)節(jié)省存儲空間,提高傳輸效率,是解決海量信息存儲和傳輸?shù)年P(guān)鍵。CPU處理能力提升使得RACE技術(shù)成為現(xiàn)實。RACE技術(shù)使數(shù)據(jù)在寫入時即被壓縮,減少內(nèi)存占用,提高磁盤和緩存性能

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論