信息技術(shù)分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)要求2026-05-01實(shí)施2026-05-01實(shí)施國(guó)家市場(chǎng)監(jiān)督管理總局發(fā)布國(guó)家標(biāo)準(zhǔn)化管理委員會(huì) 12規(guī)范性引用文件 13術(shù)語(yǔ)和定義 14縮略語(yǔ) 25技術(shù)架構(gòu) 2 36.1總體要求 36.2協(xié)議接入服務(wù)層 46.3統(tǒng)一語(yǔ)義處理層 56.4可擴(kuò)展數(shù)據(jù)對(duì)象層 6參考文獻(xiàn) 8工本文件規(guī)定了分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)架構(gòu)及技術(shù)要求。本文件適用于分布式存儲(chǔ)協(xié)議互聯(lián)架構(gòu)的設(shè)計(jì)和實(shí)現(xiàn)。2規(guī)范性引用文件本文件沒(méi)有規(guī)范性引用文件。3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。通過(guò)網(wǎng)絡(luò)整合分布在多臺(tái)機(jī)器的存儲(chǔ)空間資源，構(gòu)成虛擬存儲(chǔ)設(shè)備的一種數(shù)據(jù)存儲(chǔ)技術(shù)。主機(jī)和存儲(chǔ)設(shè)備間進(jìn)行傳輸、訪(fǎng)問(wèn)和存儲(chǔ)數(shù)據(jù)的規(guī)則和方法。存儲(chǔ)協(xié)議之間進(jìn)行語(yǔ)義操作相互兼容的技術(shù)。定義和描述其他數(shù)據(jù)的數(shù)據(jù)，既包含來(lái)自主機(jī)應(yīng)用產(chǎn)生的創(chuàng)建時(shí)間、息，也包含分布式存儲(chǔ)系統(tǒng)內(nèi)產(chǎn)生的數(shù)據(jù)邏輯地址與物理地址映射等信息。融合多協(xié)議元數(shù)據(jù)，形成具有一致數(shù)據(jù)結(jié)構(gòu)的信息。元數(shù)據(jù)組織organizationofmeta按照一定的規(guī)則和方式對(duì)元數(shù)據(jù)對(duì)象進(jìn)行歸并、處理和存儲(chǔ)。J2按照一定的規(guī)則和方式對(duì)數(shù)據(jù)對(duì)象進(jìn)行歸并、處理和存儲(chǔ)。下列縮略語(yǔ)適用于本文件。ACL:訪(fǎng)問(wèn)控制列表(AccessControlCIFS:通用網(wǎng)絡(luò)文件系統(tǒng)(CommonInternetFileSystem)CPU:中央處理單元(CentralProcessingUnit)HDFS:Hadoop分布式文件系統(tǒng)(HadoopDistributedFileSystem)ID:標(biāo)識(shí)符(IDentifier)LDAP:輕型目錄訪(fǎng)問(wèn)協(xié)議(LightweightDirectoryAccessProtocol)NFS:網(wǎng)絡(luò)文件系統(tǒng)(NetworkFileSystem)NIS:網(wǎng)絡(luò)信息服務(wù)(NetworkInformationService)POSIX:可移植操作系統(tǒng)接口(PortableOperatingSystemInterface)QoS:服務(wù)質(zhì)量(QualityofService)SMB:服務(wù)器消息塊(ServerMessageBlock)Swift:開(kāi)源云計(jì)算的對(duì)象存儲(chǔ)(OpenStackObjectStorage)S3:亞馬遜簡(jiǎn)單存儲(chǔ)服務(wù)(AmazonSimpleStorageService)分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)基于全局可擴(kuò)展數(shù)據(jù)對(duì)象層，提供全局單一副本的數(shù)據(jù)共享存儲(chǔ)方式，同時(shí)通過(guò)統(tǒng)一的存儲(chǔ)協(xié)議語(yǔ)義映射處理，實(shí)現(xiàn)存儲(chǔ)協(xié)議同時(shí)關(guān)聯(lián)接入及語(yǔ)義操作兼容。圖1給出了分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)架構(gòu)。業(yè)務(wù)應(yīng)用層業(yè)務(wù)應(yīng)用層文件應(yīng)用大數(shù)據(jù)應(yīng)用對(duì)象應(yīng)用NFS/CIFS/POSIX協(xié)議HDFS/S3協(xié)議協(xié)議接入服務(wù)層文件存儲(chǔ)協(xié)議服務(wù)大數(shù)據(jù)存儲(chǔ)協(xié)議服務(wù)對(duì)象存儲(chǔ)協(xié)議服務(wù)協(xié)議統(tǒng)一語(yǔ)義訪(fǎng)問(wèn)接口統(tǒng)一語(yǔ)義處理層元數(shù)據(jù)映射數(shù)據(jù)映射統(tǒng)一數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)對(duì)象和數(shù)據(jù)對(duì)象可擴(kuò)展數(shù)據(jù)對(duì)象層元數(shù)據(jù)組織數(shù)據(jù)組織存儲(chǔ)硬件層圖1分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)架構(gòu)3分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)架構(gòu)中各層技術(shù)的作用如下：——協(xié)議接入服務(wù)層：提供文件、對(duì)象、大數(shù)據(jù)服務(wù)同時(shí)接入以及鑒權(quán)認(rèn)證、負(fù)載均衡等功能；——統(tǒng)一語(yǔ)義處理層：通過(guò)元數(shù)據(jù)映射轉(zhuǎn)換和數(shù)據(jù)映射轉(zhuǎn)換，提供統(tǒng)一的語(yǔ)義訪(fǎng)問(wèn)接口，實(shí)現(xiàn)協(xié)議間語(yǔ)義操作實(shí)時(shí)轉(zhuǎn)換，實(shí)現(xiàn)語(yǔ)義兼容；——可擴(kuò)展數(shù)據(jù)對(duì)象層：通過(guò)元數(shù)據(jù)組織和數(shù)據(jù)組織機(jī)制，提供具有一致數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)對(duì)象和數(shù)據(jù)對(duì)象，以支撐多協(xié)議映射對(duì)應(yīng)一份元數(shù)據(jù)和數(shù)據(jù)。協(xié)議接入服務(wù)層S3協(xié)議操作元數(shù)據(jù)名稱(chēng)：文件ANFS協(xié)議可擴(kuò)展數(shù)據(jù)對(duì)象層NFS存儲(chǔ)協(xié)議服務(wù)S3存儲(chǔ)協(xié)議服務(wù)業(yè)務(wù)應(yīng)用層文件A日日?qǐng)D2分布式存儲(chǔ)協(xié)議互聯(lián)技術(shù)實(shí)例示意6技術(shù)要求6.1總體要求分布式存儲(chǔ)協(xié)議互聯(lián)總體要求如下：a)應(yīng)支持文件、對(duì)象、大數(shù)據(jù)應(yīng)用中的至少兩類(lèi)存儲(chǔ)協(xié)議同時(shí)接入，支持協(xié)議標(biāo)準(zhǔn)接口，并提供鑒權(quán)認(rèn)證，負(fù)載均衡等能力；b)應(yīng)提供協(xié)議統(tǒng)一語(yǔ)義訪(fǎng)問(wèn)接口，支持與不同存儲(chǔ)協(xié)議間進(jìn)行語(yǔ)義接口實(shí)時(shí)轉(zhuǎn)換；c)應(yīng)使用一致數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)對(duì)象和數(shù)據(jù)對(duì)象，支持不同協(xié)議的數(shù)據(jù)存儲(chǔ)為全局統(tǒng)一的單一副本，提供數(shù)據(jù)分布均衡及數(shù)據(jù)修復(fù)重構(gòu)能力。46.2協(xié)議接入服務(wù)層對(duì)接文件存儲(chǔ)應(yīng)用時(shí)，文件存儲(chǔ)訪(fǎng)問(wèn)接口要求如下：b)應(yīng)支持的CIFS/SMB(V1、V2和V3版本)協(xié)議，支持對(duì)目錄、文件(包括附屬信息)的創(chuàng)建、打c)宜支持POSIX文件操作接口的私有客戶(hù)端模式，支持對(duì)目錄、文件(包括附屬信息)的創(chuàng)建、打?qū)訉?duì)象存儲(chǔ)應(yīng)用時(shí)，對(duì)象存儲(chǔ)訪(fǎng)問(wèn)接口要求如下。a)應(yīng)支持S3應(yīng)用程序編程接口，并應(yīng)符合：查詢(xún)等接口；對(duì)接大數(shù)據(jù)存儲(chǔ)應(yīng)用時(shí)，大數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)接口要求如下：b)宜支持S3接口，以對(duì)象方式對(duì)接存協(xié)議接入功能要求如下。a)同一存儲(chǔ)系統(tǒng)內(nèi)，每個(gè)存儲(chǔ)設(shè)備應(yīng)提供多協(xié)議服務(wù)能力，支持多協(xié)議同時(shí)接入。b)應(yīng)支持協(xié)議接入鑒權(quán)認(rèn)證，各協(xié)議至少支持一種鑒權(quán)認(rèn)證方式：2)CIFS/SMB協(xié)議鑒權(quán)認(rèn)證：本地用戶(hù)、活動(dòng)目錄域或LDAP域鑒權(quán)認(rèn)證；3)文件私有客戶(hù)端鑒權(quán)認(rèn)證：本地用戶(hù)、LDAP域或NIS域鑒權(quán)認(rèn)證；4)HDFS協(xié)議鑒權(quán)認(rèn)證：本地用戶(hù)或LDAP域鑒權(quán)認(rèn)證；5)S3協(xié)議鑒權(quán)認(rèn)證：訪(fǎng)問(wèn)密鑰/保密密鑰或LDAP域認(rèn)證；6)Swift支持KeyStone用戶(hù)認(rèn)證方式。c)宜支持單個(gè)協(xié)議內(nèi)負(fù)載均衡，文件、對(duì)象、大數(shù)據(jù)應(yīng)支持單協(xié)議內(nèi)的統(tǒng)一域內(nèi)支持負(fù)載均衡，提供輪詢(xún)，連接數(shù)或資源負(fù)載(CPU、內(nèi)存、帶寬)等至少一種d)宜支持多協(xié)議全局的負(fù)載均衡，文件、對(duì)象、大數(shù)源負(fù)載(CPU、內(nèi)存、帶寬)等至少一種接入均衡方式。5e)宜支持業(yè)務(wù)帶寬及每秒操作數(shù)的Qos功能，支持客戶(hù)端、存儲(chǔ)節(jié)點(diǎn)、用戶(hù)、目錄/桶等至少一種Qos策略控制，保障多協(xié)議業(yè)務(wù)性能的均衡穩(wěn)定。f)支持協(xié)議服務(wù)異常自恢復(fù)機(jī)制，支持節(jié)點(diǎn)故障及恢復(fù)后協(xié)議服務(wù)切換遷移機(jī)制，切換遷移同時(shí)保證符合負(fù)載均衡要求。6.3統(tǒng)一語(yǔ)義處理層6.3.1統(tǒng)一語(yǔ)義訪(fǎng)問(wèn)接口根據(jù)業(yè)務(wù)應(yīng)用需求對(duì)接至少兩類(lèi)存儲(chǔ)協(xié)議時(shí)，應(yīng)滿(mǎn)足協(xié)議語(yǔ)義兼容。統(tǒng)一語(yǔ)義訪(fǎng)問(wèn)接口要求如下：a)元數(shù)據(jù)操作應(yīng)支持創(chuàng)建、查找、遍歷、刪除、重命名、截?cái)?、設(shè)置、查詢(xún)等操作，對(duì)應(yīng)文件、HDFS協(xié)議的目錄(文件)以及對(duì)象協(xié)議的桶/容器(對(duì)象)的基礎(chǔ)語(yǔ)義操作；b)數(shù)據(jù)操作應(yīng)支持：讀、新寫(xiě)、修改寫(xiě)、追加寫(xiě)、刪除、截?cái)嗟炔僮?，?duì)應(yīng)文件、HDFS協(xié)議的文件以及對(duì)象協(xié)議的對(duì)象的基礎(chǔ)語(yǔ)義操作；c)元數(shù)據(jù)及數(shù)據(jù)語(yǔ)義操作接口支持?jǐn)y帶協(xié)議本身的用戶(hù)/權(quán)限等擴(kuò)展的私有信息，語(yǔ)義操作結(jié)果符合擴(kuò)展信息的要求或限制。6.3.2元數(shù)據(jù)映射根據(jù)協(xié)議元數(shù)據(jù)和統(tǒng)一元數(shù)據(jù)的相關(guān)性，多協(xié)議元數(shù)據(jù)通過(guò)映射轉(zhuǎn)換成統(tǒng)一元數(shù)據(jù)；同樣地，統(tǒng)一元數(shù)據(jù)也能通過(guò)映射轉(zhuǎn)換為指定協(xié)議的元數(shù)據(jù)(元數(shù)據(jù)映射示意見(jiàn)圖3)。元數(shù)據(jù)映射要求如下：a)應(yīng)支持文件、HDFS協(xié)議的目錄、文件信息(目錄(文件)名稱(chēng)、類(lèi)型、屬主、時(shí)間、大小、權(quán)限、私有信息等)映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)路徑及對(duì)象信息；b)應(yīng)支持對(duì)象協(xié)議的桶(對(duì)象)信息[租戶(hù)名、桶(對(duì)象)名稱(chēng)、屬主、狀態(tài)、類(lèi)型、時(shí)間、大小、標(biāo)簽、私有信息等]映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)路徑及對(duì)象信息；c)應(yīng)支持統(tǒng)一元數(shù)據(jù)路徑/對(duì)象信息映射轉(zhuǎn)換為文件、HDFS協(xié)議的目錄(文件)信息或?qū)ο髤f(xié)議的桶(對(duì)象)信息；d)宜支持文件、HDFS協(xié)議的用戶(hù)組、用戶(hù)(包括域)和權(quán)限信息映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)用戶(hù)及權(quán)限信息；e)宜支持對(duì)象協(xié)議的租戶(hù)、用戶(hù)及權(quán)限信息映射轉(zhuǎn)換為統(tǒng)一元數(shù)據(jù)用戶(hù)及權(quán)限信息；f)宜支持統(tǒng)一元數(shù)據(jù)用戶(hù)、權(quán)限信息映射轉(zhuǎn)換為文件、HDFS、對(duì)象協(xié)議的用戶(hù)/租戶(hù)及權(quán)限信息。圖3分布式存儲(chǔ)系統(tǒng)協(xié)議互聯(lián)元數(shù)據(jù)映射示意6將指定范圍的不同協(xié)議格式的數(shù)據(jù)內(nèi)容映射轉(zhuǎn)換成全局統(tǒng)一的數(shù)據(jù)對(duì)象；同樣地，數(shù)據(jù)對(duì)象也能映射轉(zhuǎn)換為指定協(xié)議格式的數(shù)據(jù)內(nèi)容(數(shù)據(jù)映射示意見(jiàn)圖4)。數(shù)據(jù)映射相關(guān)要求如下：a)支持文件、HDFS協(xié)議的文件數(shù)據(jù)內(nèi)容映射轉(zhuǎn)換為一個(gè)或多個(gè)數(shù)據(jù)對(duì)象的內(nèi)容；b)支持對(duì)象協(xié)議的對(duì)象數(shù)據(jù)內(nèi)容映射轉(zhuǎn)換為一個(gè)或多個(gè)數(shù)據(jù)對(duì)象的內(nèi)容；c)支持一個(gè)或多個(gè)數(shù)據(jù)對(duì)象的內(nèi)容映射轉(zhuǎn)換為文件、HDFS、對(duì)象協(xié)議的數(shù)據(jù)內(nèi)容。數(shù)據(jù)偏移長(zhǎng)度映射數(shù)據(jù)偏移長(zhǎng)度映射文件數(shù)據(jù)圖4分布式存儲(chǔ)系統(tǒng)協(xié)議互聯(lián)數(shù)據(jù)映射示意宜支持多協(xié)議下訪(fǎng)問(wèn)控制、配額、快照等功能的統(tǒng)一管理，如文件服務(wù)對(duì)應(yīng)的桶也會(huì)生效；或同一個(gè)本地用戶(hù)，文件服務(wù)設(shè)置本用戶(hù)訪(fǎng)問(wèn)目錄為只讀，則本用戶(hù)訪(fǎng)問(wèn)對(duì)象服務(wù)對(duì)應(yīng)的桶也為只讀。6.4可擴(kuò)展數(shù)據(jù)對(duì)象層6.4.1統(tǒng)一數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)對(duì)象和數(shù)據(jù)對(duì)象基于元數(shù)據(jù)組織和數(shù)據(jù)組織，實(shí)現(xiàn)一種具有一致數(shù)據(jù)結(jié)構(gòu)的可擴(kuò)展元數(shù)據(jù)對(duì)象和數(shù)據(jù)對(duì)象，滿(mǎn)足語(yǔ)義層的元數(shù)據(jù)及數(shù)據(jù)請(qǐng)求操作，要求如下：a)基于元數(shù)據(jù)和數(shù)據(jù)的信息量，提供多級(jí)索引組織結(jié)構(gòu)，支持在限定信息下通過(guò)內(nèi)部索引定位到具體對(duì)象來(lái)進(jìn)行訪(fǎng)問(wèn)；b)通過(guò)統(tǒng)一語(yǔ)義處理層的元數(shù)據(jù)映射和數(shù)據(jù)映射，多協(xié)議的數(shù)據(jù)內(nèi)容通過(guò)數(shù)據(jù)對(duì)象持久化存儲(chǔ)為全局統(tǒng)一的單一副本；d)元數(shù)據(jù)組織結(jié)構(gòu)應(yīng)支持偏移長(zhǎng)度方式或鍵值方式的創(chuàng)建、讀取、刪除、更新等操作。限等基本信息，以及私有的擴(kuò)展信息(私有協(xié)議信息、元數(shù)據(jù)/數(shù)據(jù)分布信息等);b)統(tǒng)一元數(shù)據(jù)用戶(hù)及權(quán)限信息包括但不限于：(域)用戶(hù)組/用戶(hù)ID、映射類(lèi)型、基本權(quán)限映射關(guān)7數(shù)據(jù)組織