存儲技術(shù)概覽數(shù)據(jù)存儲是信息技術(shù)的基礎(chǔ)支柱，影響著從個(gè)人設(shè)備到企業(yè)系統(tǒng)的各種應(yīng)用。課程目標(biāo)理解基本概念掌握存儲技術(shù)的核心原理掌握技術(shù)特點(diǎn)區(qū)分各類存儲方案的適用場景了解發(fā)展趨勢存儲技術(shù)簡介定義記錄、保存數(shù)據(jù)的技術(shù)手段重要性信息系統(tǒng)的基礎(chǔ)設(shè)施應(yīng)用領(lǐng)域覆蓋個(gè)人電子設(shè)備到企業(yè)數(shù)據(jù)中心存儲技術(shù)的發(fā)展歷史1早期存儲設(shè)備打孔卡片、紙帶2磁帶存儲卷盤式磁帶、盒式磁帶3硬盤存儲從MB到TB級容量4固態(tài)存儲閃存、SSD技術(shù)革命存儲層次結(jié)構(gòu)寄存器速度最快、容量最小高速緩存平衡速度與容量主存運(yùn)行時(shí)數(shù)據(jù)暫存輔助存儲長期數(shù)據(jù)保存存儲介質(zhì)類型磁性存儲硬盤、磁帶光學(xué)存儲CD、DVD、藍(lán)光固態(tài)存儲SSD、閃存量子存儲前沿研究領(lǐng)域磁性存儲技術(shù)工作原理利用磁性材料記錄數(shù)據(jù)讀寫頭改變磁性顆粒極性優(yōu)缺點(diǎn)優(yōu)點(diǎn)：成本低、容量大缺點(diǎn)：機(jī)械部件、讀寫速度慢應(yīng)用場景大容量數(shù)據(jù)存儲成本敏感型應(yīng)用硬盤驅(qū)動器（HDD）結(jié)構(gòu)盤片、讀寫頭、主軸馬達(dá)讀寫原理磁頭在旋轉(zhuǎn)盤片上讀寫數(shù)據(jù)性能指標(biāo)轉(zhuǎn)速、尋道時(shí)間、傳輸率固態(tài)驅(qū)動器（SSD）工作原理基于閃存存儲單元無機(jī)械部件，電子存取與HDD的比較讀寫速度更快能耗低，抗震性強(qiáng)優(yōu)勢和局限性優(yōu)勢：高性能、低延遲局限：成本高、寫入次數(shù)有限NAND閃存技術(shù)1SLC單層單元，性能最高M(jìn)LC/TLC/QLC多層單元，容量更大3DNAND垂直堆疊，容量突破寫入放大影響壽命的關(guān)鍵問題NVMe技術(shù)定義和特點(diǎn)非易失性內(nèi)存主機(jī)控制器接口專為SSD優(yōu)化的協(xié)議與SATA的比較更高帶寬，更低延遲并行處理能力強(qiáng)應(yīng)用場景高性能計(jì)算數(shù)據(jù)密集型應(yīng)用光學(xué)存儲技術(shù)CD容量700MB，最早商用DVD容量4.7GB，視頻存儲藍(lán)光容量25-100GB，高清媒體磁帶存儲技術(shù)特點(diǎn)和應(yīng)用順序訪問，適合歸檔現(xiàn)代磁帶系統(tǒng)自動化庫，容量可達(dá)PB級大數(shù)據(jù)時(shí)代作用長期歸檔，成本效益高存儲接口技術(shù)SATA常見接口，6Gb/s帶寬SAS企業(yè)級接口，12Gb/s帶寬PCIe高性能直連，帶寬最高RAID技術(shù)RAID級別RAID0：條帶化，性能優(yōu)先RAID1：鏡像，可靠性高RAID5/6：校驗(yàn)，平衡性能與可靠性優(yōu)勢和應(yīng)用提高性能和可靠性容錯(cuò)能力增強(qiáng)適用于服務(wù)器和存儲陣列軟硬RAID對比軟件RAID：靈活，成本低硬件RAID：性能高，穩(wěn)定性好存儲虛擬化概念和原理將物理存儲抽象為邏輯資源池優(yōu)勢資源利用率提高，管理簡化挑戰(zhàn)復(fù)雜性增加，性能開銷實(shí)現(xiàn)方式主機(jī)層、網(wǎng)絡(luò)層、存儲層虛擬化網(wǎng)絡(luò)附加存儲（NAS）定義和特點(diǎn)通過網(wǎng)絡(luò)提供文件級存儲訪問優(yōu)勢易于部署，文件共享便捷局限性性能受網(wǎng)絡(luò)影響，擴(kuò)展性有限應(yīng)用場景家庭媒體中心，小型辦公環(huán)境存儲區(qū)域網(wǎng)絡(luò)（SAN）架構(gòu)和組件專用高速網(wǎng)絡(luò)連接存儲設(shè)備FC交換機(jī)，HBA適配器與NAS的比較塊級訪問，性能更高適合數(shù)據(jù)庫等關(guān)鍵應(yīng)用應(yīng)用場景企業(yè)級數(shù)據(jù)中心需要高性能、高可用性環(huán)境云存儲技術(shù)概念和特點(diǎn)基于網(wǎng)絡(luò)的按需存儲服務(wù)公有云vs私有云vs混合云不同部署模式滿足多樣需求主要提供商AWSS3，AzureBlob，GoogleCloudStorage對象存儲概念和特點(diǎn)扁平命名空間元數(shù)據(jù)豐富可無限擴(kuò)展與其他存儲的比較文件存儲：目錄結(jié)構(gòu)，POSIX兼容塊存儲：原始數(shù)據(jù)塊，高性能對象存儲：可擴(kuò)展性強(qiáng)，成本低應(yīng)用場景非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容分發(fā)備份歸檔分布式存儲系統(tǒng)概念和原理數(shù)據(jù)分布在多節(jié)點(diǎn)上優(yōu)勢高可用性，線性擴(kuò)展挑戰(zhàn)一致性保證，復(fù)雜性管理典型實(shí)現(xiàn)Ceph，GlusterFS軟件定義存儲（SDS）定義和特點(diǎn)軟件層抽象硬件資源自動化管理和編排優(yōu)勢和挑戰(zhàn)優(yōu)勢：靈活性高，硬件無關(guān)挑戰(zhàn)：標(biāo)準(zhǔn)化不足，復(fù)雜度高實(shí)現(xiàn)和案例VMwarevSANMicrosoftStorageSpaces存儲管理軟件功能和特點(diǎn)監(jiān)控、配置、自動化主要廠商和產(chǎn)品IBMSpectrum，DellEMCControlCenter選擇考慮因素兼容性，可擴(kuò)展性，易用性數(shù)據(jù)重復(fù)刪除技術(shù)原理和方法識別并僅存儲唯一數(shù)據(jù)塊優(yōu)勢節(jié)省存儲空間，降低成本局限性計(jì)算開銷，可能影響性能應(yīng)用場景備份系統(tǒng)，虛擬化環(huán)境數(shù)據(jù)壓縮技術(shù)常見壓縮算法LZ77/LZ78Huffman編碼DEFLATE在存儲中的應(yīng)用文件系統(tǒng)層壓縮塊設(shè)備層壓縮應(yīng)用層壓縮優(yōu)勢和權(quán)衡優(yōu)勢：節(jié)省空間權(quán)衡：CPU使用率增加考量：壓縮率與性能平衡存儲加密技術(shù)數(shù)據(jù)加密方法全盤加密文件級加密密鑰管理密鑰生成密鑰存儲和恢復(fù)自加密驅(qū)動器硬件級安全保障性能影響最小存儲備份和恢復(fù)備份策略全量、增量、差異備份RPO和RTO定義數(shù)據(jù)丟失容忍度和恢復(fù)時(shí)間目標(biāo)備份軟件和解決方案Veeam,Veritas,Commvault存儲快照技術(shù)1原理和實(shí)現(xiàn)創(chuàng)建特定時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài)副本2優(yōu)勢和應(yīng)用快速備份，開發(fā)測試環(huán)境3與傳統(tǒng)備份的比較恢復(fù)速度快，存儲效率高連續(xù)數(shù)據(jù)保護(hù)（CDP）概念和特點(diǎn)實(shí)時(shí)捕獲所有數(shù)據(jù)變化可恢復(fù)到任意時(shí)間點(diǎn)實(shí)現(xiàn)方式基于日志攔截I/O優(yōu)勢和挑戰(zhàn)優(yōu)勢：RPO接近零挑戰(zhàn)：資源消耗大存儲性能優(yōu)化IOPS和吞吐量關(guān)鍵性能指標(biāo)緩存技術(shù)減少訪問延遲分層存儲按訪問頻率優(yōu)化數(shù)據(jù)放置存儲容量規(guī)劃需求分析當(dāng)前數(shù)據(jù)量評估應(yīng)用特性分析容量預(yù)測方法線性預(yù)測基于趨勢的預(yù)測擴(kuò)展性考慮水平擴(kuò)展能力垂直擴(kuò)展限制存儲可靠性和可用性MTTF和MTBF衡量設(shè)備可靠性的關(guān)鍵指標(biāo)冗余設(shè)計(jì)多副本、糾刪碼技術(shù)故障檢測和恢復(fù)自動化監(jiān)控和修復(fù)機(jī)制存儲安全性訪問控制基于角色的權(quán)限管理數(shù)據(jù)隔離租戶間數(shù)據(jù)嚴(yán)格分離審計(jì)和合規(guī)全面記錄訪問和操作日志存儲網(wǎng)絡(luò)技術(shù)FCSAN高性能存儲專用網(wǎng)絡(luò)iSCSI基于IP網(wǎng)絡(luò)的塊存儲協(xié)議FCoE以太網(wǎng)上的光纖通道存儲協(xié)議NFSUnix/Linux環(huán)境主流文件共享協(xié)議SMB/CIFSWindows環(huán)境主流文件共享協(xié)議iSCSI通過IP網(wǎng)絡(luò)傳輸SCSI命令存儲自動化和編排API和SDK存儲系統(tǒng)編程接口存儲資源管理自動化配置和監(jiān)控與DevOps集成存儲即代碼實(shí)踐存儲即服務(wù)（STaaS）概念和模型按需提供存儲資源按使用量付費(fèi)優(yōu)勢和挑戰(zhàn)優(yōu)勢：彈性擴(kuò)展，減少前期投資挑戰(zhàn)：安全性，數(shù)據(jù)主權(quán)主要提供商AWSEBS/S3GoogleCloudStorage大數(shù)據(jù)存儲技術(shù)分布式文件系統(tǒng)HDFS,Ceph大規(guī)模并行訪問列式存儲HBase,Cassandra適合分析型工作負(fù)載時(shí)序數(shù)據(jù)庫InfluxDB,Prometheus針對時(shí)間序列數(shù)據(jù)優(yōu)化人工智能和機(jī)器學(xué)習(xí)對存儲的影響數(shù)據(jù)需求特點(diǎn)大容量，高吞吐，低延遲存儲系統(tǒng)設(shè)計(jì)考慮并行訪問，流式處理案例分析GPU直接存儲訪問，數(shù)據(jù)處理加速邊緣計(jì)算存儲技術(shù)需求和挑戰(zhàn)低延遲，有限空間1存儲解決方案輕量級分布式存儲2與云存儲協(xié)同數(shù)據(jù)分級，智能緩存5G時(shí)代的存儲技術(shù)數(shù)據(jù)特征和需求低延遲，高帶寬，實(shí)時(shí)處理存儲架構(gòu)演進(jìn)邊緣存儲分布，層次化架構(gòu)應(yīng)用場景車聯(lián)網(wǎng)，智慧城市，AR/VR綠色存儲技術(shù)能效提升方法自動分層，智能休眠可持續(xù)發(fā)展考慮材料回收，碳足跡減少行業(yè)標(biāo)準(zhǔn)和實(shí)踐EnergyStar，PUE指標(biāo)存儲即內(nèi)存（Storage-ClassMemory）概念和特點(diǎn)介于DRAM和閃存之間非易失，低延遲代表性技術(shù)3DXPointIntelOptane應(yīng)用前景內(nèi)存擴(kuò)展高性能持久存儲DNA存儲技術(shù)原理和潛力利用DNA分子存儲數(shù)據(jù)理論密度極高研究進(jìn)展實(shí)驗(yàn)室級別驗(yàn)證初步商業(yè)應(yīng)用探索挑戰(zhàn)和未來展望讀寫速度慢成本高量子存儲技術(shù)1基本原理利用量子態(tài)存儲信息2研究現(xiàn)狀實(shí)驗(yàn)室原型驗(yàn)證3潛在應(yīng)用量子通信4理論突破量子糾錯(cuò)編碼存儲技術(shù)標(biāo)準(zhǔn)化主要標(biāo)準(zhǔn)組織SNIA,T10,IEEE關(guān)鍵標(biāo)準(zhǔn)介紹NVMe,SMR,CXL標(biāo)準(zhǔn)化趨勢開放接口，互操作性提升存儲技術(shù)專利分析存儲市場分析企業(yè)SSD企業(yè)HDD云存儲對象存儲其他存儲技術(shù)投資趨勢$24B年度風(fēng)投總額存儲技術(shù)領(lǐng)域風(fēng)險(xiǎn)投資47%增長率固態(tài)存儲創(chuàng)業(yè)投資年增長$8.6B并購總額近期存儲行業(yè)并購交易存儲技術(shù)人才需求新興技術(shù)創(chuàng)新者量子存儲，DNA存儲研究架構(gòu)與設(shè)計(jì)專家分布式系統(tǒng)，云原生存儲基礎(chǔ)設(shè)施工程師SAN/NAS管理，性能優(yōu)化運(yùn)維支持人員日常管理，問題排查存儲技術(shù)倫理問題數(shù)據(jù)隱私保護(hù)個(gè)人信息保護(hù)知情同意原則環(huán)境影響能源消耗電子廢棄物處理社會責(zé)任數(shù)據(jù)訪問公平性長期數(shù)據(jù)保存責(zé)任存儲技術(shù)法律法規(guī)數(shù)據(jù)保護(hù)法規(guī)《個(gè)人信息保護(hù)法》《數(shù)據(jù)安全法》歐盟GDPR行業(yè)合規(guī)要求金融行業(yè)監(jiān)管規(guī)定醫(yī)療數(shù)據(jù)保護(hù)要求等級保護(hù)2.0跨境數(shù)據(jù)傳輸規(guī)定數(shù)據(jù)本地化要求安全評估機(jī)制國際數(shù)據(jù)流動規(guī)則存儲技術(shù)案例研究：數(shù)據(jù)中心設(shè)計(jì)考慮多層存儲架構(gòu)，性能與成本平衡技術(shù)選型高性能SSD與大容量HDD結(jié)合性能優(yōu)化熱點(diǎn)數(shù)據(jù)緩存，智能數(shù)據(jù)分層存儲技術(shù)案例研究：移動設(shè)備1早期有限內(nèi)部存儲，依賴SD卡擴(kuò)展2現(xiàn)在大容量UFS存儲，云存儲集成3未來新型存儲材料，AI優(yōu)化存儲管理存儲技術(shù)案例研究：汽車行業(yè)自動駕駛數(shù)據(jù)存儲大容量，高可靠性，低延遲車載信息娛樂系統(tǒng)快速啟動，多媒體支持未來挑戰(zhàn)邊緣處理與云存儲協(xié)同存儲技術(shù)發(fā)展趨勢容量增長ZB級數(shù)據(jù)中心存儲性能提升近內(nèi)存計(jì)算，光互連新興技術(shù)融合AI優(yōu)化，量子存儲存儲