醫(yī)療云存儲(chǔ)備份解決方案_第1頁(yè)
醫(yī)療云存儲(chǔ)備份解決方案_第2頁(yè)
醫(yī)療云存儲(chǔ)備份解決方案_第3頁(yè)
醫(yī)療云存儲(chǔ)備份解決方案_第4頁(yè)
醫(yī)療云存儲(chǔ)備份解決方案_第5頁(yè)
已閱讀5頁(yè),還剩25頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

XX醫(yī)療云存儲(chǔ)備份解決方案3/33XX醫(yī)療云存儲(chǔ)備份解決方案

目錄1 概述 51.1 建設(shè)背景 51.2 設(shè)計(jì)范圍 51.3 總體設(shè)計(jì)原則 61.3.1 先進(jìn)性原則 61.3.2 安全性原則 61.3.3 成熟性原則 71.3.4 開(kāi)放性原則 71.3.5 經(jīng)濟(jì)性原則 72 醫(yī)療云存儲(chǔ)系統(tǒng)備份方案設(shè)計(jì) 92.1 項(xiàng)目需求 92.1.1 遠(yuǎn)程備份需求 92.1.2 吞吐量需求 112.1.3 擴(kuò)展性需求 112.1.4 低成本需求 122.1.5 可維護(hù)性需求 122.1.6 接口需求 122.2 設(shè)計(jì)思想 132.2.1 云存儲(chǔ)數(shù)據(jù)中心 132.2.2 備份軟件 132.3 云存儲(chǔ)系統(tǒng)方案 142.3.1 云存儲(chǔ)系統(tǒng)優(yōu)勢(shì)和特點(diǎn) 153 系統(tǒng)架構(gòu) 183.1 系統(tǒng)基本組成 183.2 系統(tǒng)功能描述 203.2.1 云存儲(chǔ)部分:cStor分布式文件系統(tǒng) 203.2.2 備份軟件部分:cStor分布式文件系統(tǒng) 273.2.3 方案恢復(fù)策略 294 云存儲(chǔ)關(guān)鍵技術(shù) 313.1 負(fù)載自動(dòng)均衡技術(shù) 313.2 高速并發(fā)訪問(wèn)技術(shù) 313.3 高可靠性保證技術(shù) 323.4 高可用技術(shù) 32概述建設(shè)背景醫(yī)院信息系統(tǒng)已經(jīng)成為醫(yī)院的基本設(shè)施,HIS和PACS兩大應(yīng)用系統(tǒng)逐漸成為醫(yī)院信息技術(shù)的核心。這兩個(gè)應(yīng)用系統(tǒng)中的數(shù)據(jù)越來(lái)越多,數(shù)據(jù)價(jià)值也越來(lái)越大。數(shù)據(jù)丟失或系統(tǒng)停機(jī)造成的損失是用戶不能接受的。如何有效保障及構(gòu)架最有效率的醫(yī)院信息系統(tǒng)體系,實(shí)現(xiàn)高效、面向發(fā)展、各系統(tǒng)緊密配合的一體化醫(yī)療信息系統(tǒng)?醫(yī)院信息系統(tǒng)的備份設(shè)計(jì)和建設(shè)成為各醫(yī)院信息中心主管人員所關(guān)注的重中之重?,F(xiàn)有的三家客戶醫(yī)院,已經(jīng)建立了基本的HA(高可用)群集系統(tǒng),通過(guò)雙機(jī)熱備份方式避免服務(wù)器單點(diǎn)故障。數(shù)據(jù)存儲(chǔ)在磁陣中,根據(jù)磁陣特性可以抗1-2塊磁盤損壞。隨著系統(tǒng)規(guī)模的擴(kuò)大,數(shù)據(jù)量的增多,數(shù)據(jù)互聯(lián)、遠(yuǎn)程備份以及安全上的需求已經(jīng)越來(lái)越迫切,原有的數(shù)據(jù)局部安全性解決方案已經(jīng)不能滿足要求,迫切需要建立云存儲(chǔ)數(shù)據(jù)中心和基于云存儲(chǔ)的遠(yuǎn)程備份系統(tǒng)。云存儲(chǔ)數(shù)據(jù)中心和基于云存儲(chǔ)的備份系統(tǒng),為本次醫(yī)療云存儲(chǔ)備份總體解決方案的兩個(gè)主要部分。主要針對(duì)HIS和PACS兩大應(yīng)用系統(tǒng)的醫(yī)療影像大文件、數(shù)據(jù)庫(kù)記錄,以及其它各類數(shù)據(jù)的集中備份與災(zāi)難恢復(fù)的需求,首先建立一套具有高可靠、可在線彈性伸縮,滿足高吞吐量并發(fā)訪問(wèn)需求的云存儲(chǔ)平臺(tái)。然后為醫(yī)療系統(tǒng)數(shù)據(jù)存儲(chǔ)提供便捷、統(tǒng)一管理和高效應(yīng)用的數(shù)據(jù)備份與災(zāi)難恢復(fù)系統(tǒng)。設(shè)計(jì)范圍本解決方案針對(duì)醫(yī)療系統(tǒng)的海量數(shù)據(jù)集中存儲(chǔ)與共享,遠(yuǎn)程備份與恢復(fù),提供從系統(tǒng)軟硬件技術(shù)架構(gòu)、原理、網(wǎng)絡(luò)接入等方面的全面設(shè)計(jì)闡述??傮w設(shè)計(jì)原則針對(duì)本次工程的實(shí)際情況,充分考慮云存儲(chǔ)系統(tǒng)的建設(shè)發(fā)展需求,以實(shí)現(xiàn)系統(tǒng)統(tǒng)一管理、高效應(yīng)用、平滑擴(kuò)展為目標(biāo),以“先進(jìn)、安全、成熟、開(kāi)放、經(jīng)濟(jì)”為總體設(shè)計(jì)原則。先進(jìn)性原則在系統(tǒng)總體方案設(shè)計(jì)時(shí)采用業(yè)界主流的云計(jì)算/云存儲(chǔ)方案和技術(shù),以確保整個(gè)構(gòu)架體系的先進(jìn)性。選擇實(shí)用性強(qiáng)高性價(jià)比的產(chǎn)品,模塊化結(jié)構(gòu)設(shè)計(jì),既可滿足當(dāng)前的需要又可實(shí)現(xiàn)今后系統(tǒng)發(fā)展平滑擴(kuò)展。安全性原則數(shù)據(jù)是業(yè)務(wù)系統(tǒng)核心應(yīng)用的最終保障,不但要保證整套系統(tǒng)能夠7X24運(yùn)行,而且存儲(chǔ)系統(tǒng)必須有高可用性,以保證應(yīng)用系統(tǒng)(即遠(yuǎn)程備份系統(tǒng))對(duì)數(shù)據(jù)的隨時(shí)存取。同時(shí)配置安全的備份系統(tǒng),對(duì)前方的醫(yī)院應(yīng)用數(shù)據(jù)進(jìn)行更加安全的數(shù)據(jù)保護(hù),降低人為操作失誤或病毒襲擊給系統(tǒng)造成的數(shù)據(jù)丟失。IDC中心云存儲(chǔ)系統(tǒng)的建設(shè),要充分考慮數(shù)據(jù)的高可靠存儲(chǔ),采用高度可靠的軟硬件容錯(cuò)設(shè)計(jì),進(jìn)行有效的安全訪問(wèn)控制,實(shí)現(xiàn)故障屏蔽、自動(dòng)冗余重建等智能化安全可靠措施,提供統(tǒng)一的系統(tǒng)管理和監(jiān)控平臺(tái),進(jìn)行有效的故障定位、預(yù)警。在醫(yī)療業(yè)務(wù)上,實(shí)現(xiàn)醫(yī)療業(yè)務(wù)數(shù)據(jù)的定時(shí)備份,實(shí)時(shí)備份,以及相應(yīng)的數(shù)據(jù)恢復(fù)功能。定期舉行數(shù)據(jù)恢復(fù)演練,做到有備無(wú)患。成熟性原則為確保整個(gè)系統(tǒng)能夠穩(wěn)定工作,軟件平臺(tái)將使用先進(jìn)、完善、易于管理和穩(wěn)定可靠的云存儲(chǔ)資源管理系統(tǒng),對(duì)于與應(yīng)用的集成接口,提供統(tǒng)一的通用穩(wěn)定訪問(wèn)接口。云存儲(chǔ)系統(tǒng)與備份軟件,均采用業(yè)界成熟的軟硬件系統(tǒng)。云存儲(chǔ)系統(tǒng)與備份軟件之間接口劃分清楚。備份軟件功能穩(wěn)定可靠,備份窗口短,不影響業(yè)務(wù)系統(tǒng)的正常運(yùn)行。開(kāi)放性原則云存儲(chǔ)IDC系統(tǒng)建設(shè)具有開(kāi)放性的標(biāo)準(zhǔn)體系,提供符合POSIX標(biāo)準(zhǔn)的通用文件系統(tǒng)訪問(wèn)接口,開(kāi)放的應(yīng)用API編程接口,提供人性化的應(yīng)用和管理界面,以滿足用戶需求。遵循規(guī)范的通用接口標(biāo)準(zhǔn),使全系統(tǒng)中的硬件、通信、軟件、操作平臺(tái)之間的互聯(lián)共享。充分考慮系統(tǒng)的升級(jí)和維護(hù)問(wèn)題,維護(hù)采用在線式的,即在系統(tǒng)不停止工作的情況下,可以更換單元備件。系統(tǒng)的維護(hù)和升級(jí)操作由系統(tǒng)管理員即可完成。將云存儲(chǔ)系統(tǒng)和備份系統(tǒng)分開(kāi),既相互配合又相互獨(dú)立,減少之間的耦合性。備份系統(tǒng)可選用第三方廠商的產(chǎn)品。云存儲(chǔ)IDC系統(tǒng)建成后,不僅可以為備份軟件系統(tǒng)所使用,也可以在以后的第二三期項(xiàng)目中實(shí)現(xiàn)數(shù)據(jù)共享,并被第三方軟件和系統(tǒng)所使用,發(fā)揮數(shù)據(jù)資源最大的價(jià)值。經(jīng)濟(jì)性原則現(xiàn)有醫(yī)療業(yè)務(wù)系統(tǒng)存儲(chǔ)數(shù)據(jù)量較大,且數(shù)據(jù)的增長(zhǎng)速度較快。因此在建設(shè)系統(tǒng)存儲(chǔ)架構(gòu)時(shí),應(yīng)從長(zhǎng)遠(yuǎn)的角度考慮,建設(shè)一個(gè)長(zhǎng)期的存儲(chǔ)架構(gòu),除了可以應(yīng)對(duì)存儲(chǔ)硬件設(shè)備的升級(jí)速度外,還必須考慮到對(duì)前期存儲(chǔ)設(shè)備的投資保護(hù),在保證不斷提供功能和性能提高的同時(shí),存儲(chǔ)架構(gòu)在較長(zhǎng)的時(shí)間內(nèi)能夠保持相對(duì)穩(wěn)定。結(jié)合先進(jìn)的云平臺(tái)技術(shù)架構(gòu)優(yōu)勢(shì),根據(jù)本次項(xiàng)目建設(shè)的實(shí)際容量需求設(shè)計(jì),同時(shí)充分考慮應(yīng)用發(fā)展需求,實(shí)現(xiàn)系統(tǒng)可彈性在線平滑升級(jí)。通過(guò)軟件實(shí)現(xiàn)在較廉價(jià)普通服務(wù)器上實(shí)現(xiàn)高度容錯(cuò),同時(shí)能夠在較低冗余度的情況下實(shí)現(xiàn)高度可靠容錯(cuò),大大節(jié)約和降低系統(tǒng)建設(shè)的硬件成本。醫(yī)療云存儲(chǔ)系統(tǒng)備份方案設(shè)計(jì)項(xiàng)目需求遠(yuǎn)程備份需求現(xiàn)有的醫(yī)院IT環(huán)境中,一般都采用了群集技術(shù)(即通常說(shuō)的雙機(jī)熱備份)來(lái)保證服務(wù)的持續(xù)運(yùn)行,或都在用戶可以容忍的時(shí)間之內(nèi)自動(dòng)進(jìn)行恢復(fù)。但是,隨著集群技術(shù)的普及運(yùn)用,它自身明顯的不足也漸漸暴露出來(lái)。1)由于傳統(tǒng)的群集解決方案多采用的是‘2+1’的模式,即兩臺(tái)服務(wù)器連接一臺(tái)磁盤陣列。這種結(jié)構(gòu)是為了在兩臺(tái)服務(wù)器之間共享數(shù)據(jù)。但是,單臺(tái)磁盤陣列往往成了核心系統(tǒng)的一個(gè)單點(diǎn)故障,一旦磁盤陣列發(fā)生故障,則整個(gè)系統(tǒng)將發(fā)生停機(jī),對(duì)于7X24小時(shí)營(yíng)業(yè)的醫(yī)院來(lái)說(shuō),這種意外停機(jī)是絕對(duì)無(wú)法忍受的。2)很多用戶往往有一種不正確的認(rèn)識(shí),既然系統(tǒng)已經(jīng)是雙機(jī)熱備份了,那么數(shù)據(jù)就不需要再備份了。這種認(rèn)知使很多用戶忽視了數(shù)據(jù)備份的重要性,結(jié)果整個(gè)系統(tǒng)的數(shù)據(jù)只有磁盤陣列中一個(gè)拷貝,等到磁盤陣列發(fā)生故障或人為的誤操作導(dǎo)致數(shù)據(jù)丟失時(shí),則后悔莫及。有些用戶或許也做了額外的磁帶備份,但是從磁帶中恢復(fù)數(shù)據(jù)所需要的時(shí)間,則實(shí)在是不敢恭維,而且磁帶備份有可能導(dǎo)致的當(dāng)日數(shù)據(jù)根本不能恢復(fù)又使得實(shí)際上可行的信息系統(tǒng)保護(hù)技術(shù)應(yīng)該是一種實(shí)時(shí)備份技術(shù)。因此可以說(shuō),傳統(tǒng)的雙機(jī)技術(shù),傳統(tǒng)的磁帶備份技術(shù)都不是解決醫(yī)院IT環(huán)境實(shí)時(shí)保護(hù)和抗擊災(zāi)難的靈丹妙藥。HIS系統(tǒng)對(duì)后臺(tái)數(shù)據(jù)庫(kù)的讀、寫(xiě)、更新操作頻繁,所以對(duì)IOPS(每秒讀寫(xiě)次數(shù))要求較高,但每次操作數(shù)據(jù)量不大,故對(duì)MB/s帶寬(吞吐量)要求不高。PACS系統(tǒng)與HIS相比,由于業(yè)務(wù)處理次數(shù)相對(duì)較少,后臺(tái)數(shù)據(jù)庫(kù)的讀、寫(xiě)、更新操作頻度對(duì)IOPS要求不高,但存在持續(xù)性大數(shù)據(jù)量(影像圖片)交換,故對(duì)MB/s帶寬(吞吐量)要求較高。目前三家縣級(jí)醫(yī)院面臨的主要問(wèn)題如下:1、硬件設(shè)備運(yùn)行時(shí)間較長(zhǎng),穩(wěn)定性降低,各種備品備件吃緊,系統(tǒng)的運(yùn)行缺乏足夠的保障;2、硬件性能出現(xiàn)瓶頸,CPU和內(nèi)存資源緊張,存儲(chǔ)設(shè)備I/O壓力大,特別是業(yè)務(wù)高峰期響應(yīng)時(shí)間更長(zhǎng),影響了工作效率;3、所有關(guān)鍵業(yè)務(wù)系統(tǒng)沒(méi)有對(duì)應(yīng)的冗余的保護(hù)機(jī)制,缺乏抗意外風(fēng)險(xiǎn)性和突發(fā)系統(tǒng)故障的能力;4、業(yè)務(wù)系統(tǒng)擴(kuò)張能力受到很大限制。目前系統(tǒng)結(jié)構(gòu)不能隨著業(yè)務(wù)量的增加來(lái)動(dòng)態(tài)擴(kuò)容業(yè)務(wù)核心系統(tǒng)和日后新添應(yīng)用系統(tǒng)。當(dāng)有新的業(yè)務(wù)加入時(shí),需要采購(gòu)新的硬件來(lái)部署應(yīng)用,領(lǐng)導(dǎo)對(duì)年年進(jìn)行硬件采購(gòu)較有意見(jiàn)。5、每家醫(yī)院都是一座信息孤島,無(wú)法實(shí)現(xiàn)數(shù)據(jù)共享。因此,需要建立異地?cái)?shù)據(jù)災(zāi)難備份系統(tǒng)。首先在異地,如運(yùn)營(yíng)商IDC數(shù)據(jù)中心建立醫(yī)療數(shù)據(jù)中心,第一步將三家醫(yī)院的數(shù)據(jù)進(jìn)行異地備份,第二步是數(shù)據(jù)中心內(nèi)建立信息系統(tǒng),將計(jì)算資源和存儲(chǔ)資源租賃給醫(yī)院使用,第三步在數(shù)據(jù)中心建立桌面云系統(tǒng),給需要給醫(yī)院內(nèi)部發(fā)布桌面使用。目前按照第一步需求,建立遠(yuǎn)程醫(yī)療數(shù)據(jù)中心并實(shí)現(xiàn)數(shù)據(jù)的異地備份,按此制定一套方案,三家醫(yī)院數(shù)據(jù)同時(shí)備份于數(shù)據(jù)中心。本方案即可實(shí)現(xiàn)第一步的需要,即使用XX公司的云存儲(chǔ)產(chǎn)品作為遠(yuǎn)程數(shù)據(jù)中心的存儲(chǔ)資源池,以備份軟件連接三家醫(yī)院。數(shù)據(jù)中心與三家醫(yī)院之間采用專線或者FC光纖通道連接。備份軟件實(shí)現(xiàn)的功能包括對(duì)主流操作系統(tǒng)、操作系統(tǒng)上的應(yīng)用程序、數(shù)據(jù)庫(kù)數(shù)據(jù)、海量文件的備份。針對(duì)本次建設(shè)實(shí)際數(shù)據(jù)容量,一期擬建設(shè)xxx裸容量數(shù)據(jù)存儲(chǔ)平臺(tái),主要存儲(chǔ)醫(yī)院備份的數(shù)據(jù)。具體容量可根據(jù)實(shí)際需求確定。由于云存儲(chǔ)系統(tǒng)具有橫向擴(kuò)展能力,存儲(chǔ)容量不足時(shí),只需要在IDC醫(yī)療云存儲(chǔ)中心加入更多的XX公司存儲(chǔ)服務(wù)器即可。醫(yī)院業(yè)務(wù)單位不需要關(guān)心具體的擴(kuò)容方式。吞吐量需求為滿足多用戶或應(yīng)用整體吞吐帶寬需要,確保數(shù)據(jù)訪問(wèn)流暢,醫(yī)療備份云存儲(chǔ)系統(tǒng)需提供多用戶或應(yīng)用并發(fā)訪問(wèn)高吞吐帶寬設(shè)計(jì),使得備份系統(tǒng)能夠有效利用網(wǎng)絡(luò)帶寬,在規(guī)定的備份窗口內(nèi)完成數(shù)據(jù)備份要求。數(shù)據(jù)中心和各家醫(yī)院之間需要有足夠的帶寬保障。需要建立專線或者FC通道。具體數(shù)據(jù)待調(diào)研后補(bǔ)充。擴(kuò)展性需求未來(lái)根據(jù)業(yè)務(wù)應(yīng)用的變化和發(fā)展,需要快速實(shí)施系統(tǒng)資源的升級(jí),可以在醫(yī)療業(yè)務(wù)服務(wù)不間斷的狀態(tài)下平滑擴(kuò)展,備份更多的醫(yī)療系統(tǒng)數(shù)據(jù)和更多的應(yīng)用系統(tǒng)。這些不會(huì)導(dǎo)致現(xiàn)有的云存儲(chǔ)備份架構(gòu)發(fā)生根本性變化,為不斷產(chǎn)生和變化的業(yè)務(wù)需求提供持續(xù)的支持,支持業(yè)務(wù)系統(tǒng)的快速整合和部署對(duì)核心系統(tǒng)基礎(chǔ)架構(gòu)的特別要求。低成本需求要求系統(tǒng)能夠以低硬件成本、低維護(hù)成本,實(shí)現(xiàn)備份系統(tǒng)的高可靠高性能要求,充分提高存儲(chǔ)資源和網(wǎng)絡(luò)帶寬資源的利用率,并能靈活、可持續(xù)擴(kuò)展,管理更多醫(yī)院、更多備份應(yīng)用的接入。由于系統(tǒng)規(guī)模的特點(diǎn)和用戶自身的資金投入限制,基于云存儲(chǔ)的遠(yuǎn)程備份系統(tǒng),必須具有高度的實(shí)用性,和高的性價(jià)比,不必追求大而全的解決方案和過(guò)于先進(jìn)全面的備份方式和軟件。可維護(hù)性需求要求系統(tǒng)具有自適應(yīng)管理能力,安裝、維護(hù)、升級(jí)簡(jiǎn)易方便,提供統(tǒng)一易用的WEB配置管理監(jiān)控平臺(tái),實(shí)現(xiàn)智能化管理。提供圖形化的備份恢復(fù)系統(tǒng)管理界面,簡(jiǎn)化管理,減少出錯(cuò)的可能性,方便用戶使用。系統(tǒng)運(yùn)行要求穩(wěn)定可靠,且能容易接入和管理更多地備份醫(yī)院、應(yīng)用和數(shù)據(jù)。接口需求云存儲(chǔ)要能夠提供通用的文件系統(tǒng)接口,方便用戶及應(yīng)用系統(tǒng)訪問(wèn),減少與應(yīng)用集成或開(kāi)發(fā)工作量,實(shí)現(xiàn)系統(tǒng)快速部署與集成。云存儲(chǔ)系統(tǒng)與備份軟件之間既有機(jī)的集成,又相對(duì)獨(dú)立,互相之間可替換,不影響備份系統(tǒng)的使用。數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)中心云存儲(chǔ)后,將來(lái)可以通過(guò)通用開(kāi)放的接口,對(duì)第三方應(yīng)用和系統(tǒng)開(kāi)放。設(shè)計(jì)思想云存儲(chǔ)數(shù)據(jù)中心云存儲(chǔ)數(shù)據(jù)中心,采用業(yè)界成熟先進(jìn)的云平臺(tái)架構(gòu)思想,采用軟件實(shí)現(xiàn)對(duì)大量普通商用服務(wù)器存儲(chǔ)空間資源進(jìn)行虛擬化整合,實(shí)現(xiàn)軟硬件故障高度容錯(cuò),將系統(tǒng)控制流與數(shù)據(jù)流分離,同時(shí)使得數(shù)據(jù)在邏輯上集中、物理上分散,每臺(tái)服務(wù)器同時(shí)對(duì)外提供服務(wù),以達(dá)到多并發(fā)高吞吐量的性能要求,采用自注冊(cè)機(jī)制、故障自動(dòng)屏蔽、自動(dòng)冗余重建技術(shù)實(shí)現(xiàn)系統(tǒng)自我維護(hù)和平滑擴(kuò)展,系統(tǒng)服務(wù)7×24小時(shí)不間斷。系統(tǒng)采用先進(jìn)的編解碼容錯(cuò)技術(shù),可根據(jù)數(shù)據(jù)可靠性要求設(shè)置適當(dāng)?shù)娜哂嗑幗獯a策略進(jìn)行系統(tǒng)部署,可以以極小的磁盤和硬件冗余度,實(shí)現(xiàn)高度的可靠性數(shù)據(jù)容錯(cuò)。備份軟件備份軟件滿足主流的備份需求,包括對(duì)操作系統(tǒng),應(yīng)用,海量文件,多種類型數(shù)據(jù)庫(kù)記錄的備份。支持實(shí)時(shí)、定時(shí)自動(dòng)化備份,支持完全備份和增量備份,日志備份;桌面?zhèn)浞菘蛻舳塑浖膫浞?、還原、查詢操作可基于Web瀏覽器界面,方便眾多的用戶使用;備份數(shù)據(jù)可保留歷史版本,并可還原到任意歷史版本;管理、監(jiān)控、維護(hù)必需基于Web界面,減少運(yùn)維工作量和投入成本;支持備份作業(yè)在線監(jiān)控和歷史作業(yè)報(bào)表管理,可查閱備份任務(wù)的狀態(tài)。云存儲(chǔ)系統(tǒng)方案云存儲(chǔ)數(shù)據(jù)中心采用南京XX公司的cStor云存儲(chǔ)資源管理系統(tǒng),在多臺(tái)普通商用服務(wù)器上構(gòu)建高性能高可靠云存儲(chǔ)系統(tǒng),作為醫(yī)療存儲(chǔ)云數(shù)據(jù)中心存儲(chǔ)平臺(tái),其應(yīng)用部署示意圖如下圖所示。cStor云存儲(chǔ)資源管理系統(tǒng)部署示意圖云存儲(chǔ)系統(tǒng)優(yōu)勢(shì)和特點(diǎn)cStor云存儲(chǔ)系統(tǒng)是一套軟件與硬件相結(jié)合的系統(tǒng),其中專有技術(shù)和軟件是高附加值部分,可以廣泛應(yīng)用于需要存儲(chǔ)大量數(shù)據(jù)的應(yīng)用場(chǎng)合(如安防、廣電、電信、互聯(lián)網(wǎng)、銀行等領(lǐng)域)。該系統(tǒng)相比傳統(tǒng)存儲(chǔ)系統(tǒng)有如下技術(shù)優(yōu)勢(shì):高度可靠存儲(chǔ)系統(tǒng)采用云架構(gòu),數(shù)據(jù)被分塊存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)上,數(shù)據(jù)采用先進(jìn)的1:1容錯(cuò)機(jī)制進(jìn)行容錯(cuò),可在任意損壞一個(gè)存儲(chǔ)服務(wù)器節(jié)點(diǎn)的情況下實(shí)現(xiàn)數(shù)據(jù)完整可靠,系統(tǒng)對(duì)外存儲(chǔ)訪問(wèn)服務(wù)不間斷。云存儲(chǔ)的管理節(jié)點(diǎn)采用了主備雙機(jī)鏡像熱備的高可用機(jī)制,在主管理節(jié)點(diǎn)出現(xiàn)故障時(shí),備管理節(jié)點(diǎn)自動(dòng)接替主管理節(jié)點(diǎn)的工作,成為新的主管理節(jié)點(diǎn),待故障節(jié)點(diǎn)修復(fù)并重啟服務(wù)后,它則成為新的備管理節(jié)點(diǎn),保障系統(tǒng)的7×24小時(shí)不間斷服務(wù)。優(yōu)異性能cStor采用控制流與數(shù)據(jù)流分離的技術(shù),數(shù)據(jù)的存儲(chǔ)或讀取實(shí)際上是與各個(gè)存儲(chǔ)節(jié)點(diǎn)上并行讀寫(xiě),這樣隨著存儲(chǔ)節(jié)點(diǎn)數(shù)目的增多,整個(gè)系統(tǒng)的吞吐量和IO性能將呈線性增長(zhǎng)。同時(shí),cStor采用負(fù)載均衡技術(shù),自動(dòng)均衡各服務(wù)器負(fù)載,使得各存儲(chǔ)節(jié)點(diǎn)的性能調(diào)節(jié)到最高,實(shí)現(xiàn)資源優(yōu)化配置。無(wú)限容量系統(tǒng)容量?jī)H受限于卷管理服務(wù)器內(nèi)存,可支撐的容量接近無(wú)限,經(jīng)推算,理論容量為1024×1024×1024PB(1G個(gè)PB容量)。在線伸縮cStor云存儲(chǔ)資源管理系統(tǒng)擴(kuò)容非常方便,支持不停止服務(wù)的情況下,動(dòng)態(tài)加入新的存儲(chǔ)節(jié)點(diǎn),無(wú)需任何操作,即實(shí)現(xiàn)擴(kuò)容;同時(shí),無(wú)需人為干預(yù),也可以摘下任意節(jié)點(diǎn),系統(tǒng)自動(dòng)縮小規(guī)模而不丟失數(shù)據(jù),存儲(chǔ)在此節(jié)點(diǎn)上的數(shù)據(jù)將會(huì)重新備份到其他節(jié)點(diǎn)上。通用易用cStor云存儲(chǔ)系統(tǒng)提供符合POSIX標(biāo)準(zhǔn)的通用文件系統(tǒng)接口,無(wú)論是哪種操作系統(tǒng)下的應(yīng)用程序,都可以不經(jīng)修改將云存儲(chǔ)當(dāng)成自己的海量磁盤來(lái)使用。同時(shí),也提供專用的API接口,供開(kāi)發(fā)人員調(diào)用。智能管理提供基于WEB的管理控制平臺(tái),所有的管理工作均由cStor管理模塊自動(dòng)完成,使用人員無(wú)需任何專業(yè)知識(shí)便可以輕松管理整個(gè)系統(tǒng)。通過(guò)管理平臺(tái),可以對(duì)cStor中的所有節(jié)點(diǎn)實(shí)行實(shí)時(shí)監(jiān)控,用戶通過(guò)監(jiān)控界面可以清楚地了解到每一個(gè)節(jié)點(diǎn)和磁盤的運(yùn)行情況;同時(shí)也可以實(shí)現(xiàn)對(duì)文件級(jí)別的系統(tǒng)監(jiān)控,支持損壞文件的查找和修復(fù)功能。系統(tǒng)提供用戶安全認(rèn)證及對(duì)不同用戶進(jìn)行配額設(shè)置與權(quán)限管理功能,滿足應(yīng)用的日常維護(hù)和安全管理需求。系統(tǒng)架構(gòu)在本項(xiàng)目的醫(yī)療云存儲(chǔ)備份方案系統(tǒng)建設(shè)中,分為云存儲(chǔ)和備份軟件兩個(gè)部分。云存儲(chǔ)系統(tǒng)屬于基礎(chǔ)平臺(tái)支撐層,以用于數(shù)據(jù)集中存儲(chǔ)和共享,實(shí)現(xiàn)對(duì)數(shù)據(jù)的統(tǒng)一管理和高效應(yīng)用。將數(shù)據(jù)邏輯集中物理分散,以提供多并發(fā)高吞吐帶寬,最大程度降低系統(tǒng)訪問(wèn)瓶頸。備份軟件同時(shí)部署在云存儲(chǔ)數(shù)據(jù)中心和三家醫(yī)院的客戶端。其中云存儲(chǔ)數(shù)據(jù)中心部署一臺(tái)備份服務(wù)器和備份服務(wù)端軟件,三家醫(yī)院被備份系統(tǒng)(HIS和PACS)中部署備份的客戶端軟件。醫(yī)院與云存儲(chǔ)數(shù)據(jù)中心之間建立專線聯(lián)系,保障帶寬為至少兩個(gè)千兆(2048Kb/s,或者256MB/s)。具體需要帶寬要根據(jù)用戶備份數(shù)據(jù)量和備份時(shí)間窗口確定。系統(tǒng)基本組成下圖是包含了兩家醫(yī)院的云存儲(chǔ)遠(yuǎn)程備份系統(tǒng)的示意圖。在現(xiàn)有的醫(yī)院局域網(wǎng)系統(tǒng)中,已經(jīng)基于雙機(jī)系統(tǒng)加磁陣,建立了HIS雙機(jī)系統(tǒng),以及PACS影像庫(kù)系統(tǒng)。此外還有一些其它應(yīng)用。醫(yī)生、護(hù)士通過(guò)辦公室和護(hù)士站電腦訪問(wèn)醫(yī)療應(yīng)用系統(tǒng)。HIS系統(tǒng)的數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)在磁陣中。磁陣也是連在醫(yī)院局域網(wǎng)上的。在遠(yuǎn)程數(shù)據(jù)中心基于XXcStor云存儲(chǔ)系統(tǒng)建立云存儲(chǔ)IDC,部署分布式文件系統(tǒng),作為備份介質(zhì)。云存儲(chǔ)的容量大小根據(jù)具體需求確定。由于云存儲(chǔ)具備橫向擴(kuò)展能力,可在線擴(kuò)容。存儲(chǔ)云中需要部署一臺(tái)單獨(dú)的linux備份服務(wù)器,版本為RedHat5.4以上,作為備份服務(wù)器,實(shí)現(xiàn)與備份介質(zhì)的訪問(wèn)接口。存儲(chǔ)云數(shù)據(jù)位于防火墻之后,通過(guò)專線與三家醫(yī)院的三層交換機(jī)相連。每家醫(yī)院與IDC中心之間的專網(wǎng),至少包含兩條獨(dú)立的線路,防止單點(diǎn)故障。具體帶寬要根據(jù)實(shí)際數(shù)據(jù)量確定,但不小少于2個(gè)千兆帶寬,即不小于2048Mb/s或256MB/s。如有必要上萬(wàn)兆專線。在醫(yī)院局域網(wǎng)中,需要設(shè)置備份軟件的客戶端。它不需要單獨(dú)的機(jī)器,可以部署在已有的HIS或者PACS服務(wù)器上,支持windows,linux等多種主流的操作系統(tǒng)。下圖中把備份客戶端單獨(dú)列了出來(lái),但不意味著一定要增加一臺(tái)設(shè)備。系統(tǒng)功能描述云存儲(chǔ)部分:cStor分布式文件系統(tǒng)cStor云存儲(chǔ)資源管理系統(tǒng)從功能上劃份為三大部分:cStor分布式文件系統(tǒng)分布式文件系統(tǒng)實(shí)現(xiàn)文件數(shù)據(jù)存儲(chǔ)、可靠性容錯(cuò)、可伸縮性保證、高可用保證、負(fù)載均衡和流量分擔(dān)等功能。存儲(chǔ)訪問(wèn)接口cStor提供符合POSIX規(guī)范的文件系統(tǒng)訪問(wèn)接口,通過(guò)cStor訪問(wèn)掛接程序可將云存儲(chǔ)空間掛接為本地目錄或磁盤。同時(shí)可提供專用的API接口,支持業(yè)務(wù)應(yīng)用層程序?qū)υ拼鎯?chǔ)系統(tǒng)的直接訪問(wèn)。管理監(jiān)控中心管理監(jiān)控中心提供帳戶管理、設(shè)備管理、系統(tǒng)監(jiān)控、卷管理、告警管理、故障管理等功能。 下面逐一詳細(xì)介紹各部分系統(tǒng)功能。cStor分布式文件系統(tǒng)cStor分布式文件系統(tǒng)包括卷管理、元數(shù)據(jù)管理、塊數(shù)據(jù)管理服務(wù)。參考上面系統(tǒng)架構(gòu)框圖左側(cè)部分。元數(shù)據(jù)是指文件的名稱、屬性、數(shù)據(jù)塊位置信息等,元數(shù)據(jù)管理通過(guò)元數(shù)據(jù)服務(wù)程序完成。因元數(shù)據(jù)訪問(wèn)頻繁,故系統(tǒng)將元數(shù)據(jù)加載緩存至內(nèi)存中管理,提高訪問(wèn)效率。由于元數(shù)據(jù)的重要性,元數(shù)據(jù)損壞或丟失則相當(dāng)于文件數(shù)據(jù)丟失,因此實(shí)現(xiàn)了元數(shù)據(jù)服務(wù)器主備雙機(jī)高可用,確保7×24小時(shí)不間斷服務(wù)。通過(guò)元數(shù)據(jù)遠(yuǎn)程多機(jī)冗余備份功能,實(shí)現(xiàn)在多臺(tái)其它機(jī)器上備份元數(shù)據(jù),當(dāng)元數(shù)據(jù)服務(wù)器損壞,可以通過(guò)備份的元數(shù)據(jù)重新恢復(fù)服務(wù),切保數(shù)據(jù)可以完整找回。塊數(shù)據(jù)是指文件數(shù)據(jù)被按照一定大?。J(rèn)64MB)分割而成的多個(gè)數(shù)據(jù)塊,分布存儲(chǔ)到不同的存儲(chǔ)節(jié)點(diǎn)服務(wù)器上,并通過(guò)編解碼容錯(cuò)算法產(chǎn)生相應(yīng)的冗余塊。塊數(shù)據(jù)服務(wù)是運(yùn)行在每個(gè)存儲(chǔ)節(jié)點(diǎn)服務(wù)器上的塊數(shù)據(jù)管理程序,負(fù)責(zé)使用存儲(chǔ)服務(wù)器上的磁盤空間存儲(chǔ)文件數(shù)據(jù)塊,并實(shí)現(xiàn)相應(yīng)的編解碼功能。相比較傳統(tǒng)業(yè)界的云存儲(chǔ)采用塊數(shù)據(jù)簡(jiǎn)單備份冗余容錯(cuò)機(jī)制,編解碼容錯(cuò)方式大大降低了硬件資源冗余度,提高了磁盤利用率。由一對(duì)主備元數(shù)據(jù)服務(wù)器及其所管理的塊數(shù)據(jù)服務(wù)器管理節(jié)點(diǎn)設(shè)備及其所提供的存儲(chǔ)空間稱為一個(gè)卷。卷管理服務(wù)器負(fù)責(zé)將多個(gè)卷虛擬化整合,對(duì)外提供統(tǒng)一的整體訪問(wèn)云存儲(chǔ)空間。文件系統(tǒng)采用中心服務(wù)器模式分布式存儲(chǔ)架構(gòu),控制流與數(shù)據(jù)流分離,通過(guò)增加存儲(chǔ)節(jié)點(diǎn)系統(tǒng)采用自動(dòng)注冊(cè)機(jī)制,實(shí)現(xiàn)系統(tǒng)高可伸縮性,增加或減少存儲(chǔ)節(jié)點(diǎn)規(guī)模,不影響系統(tǒng)正常提供存儲(chǔ)訪問(wèn)服務(wù)。該系統(tǒng)架構(gòu)實(shí)現(xiàn)了統(tǒng)一調(diào)度,負(fù)載均衡和流量自動(dòng)分擔(dān)功能,多個(gè)存儲(chǔ)節(jié)點(diǎn)同時(shí)對(duì)外提供數(shù)據(jù)流服務(wù),系統(tǒng)根據(jù)磁盤空間使用比例進(jìn)行資源優(yōu)化配置。同時(shí)在多個(gè)不同的存儲(chǔ)節(jié)點(diǎn)之間實(shí)現(xiàn)根據(jù)空間比例進(jìn)行優(yōu)化配置,數(shù)據(jù)優(yōu)先存儲(chǔ)的空間利用比例相對(duì)較低的磁盤或存儲(chǔ)服務(wù)器上。cStor分布式文件系統(tǒng)具有自動(dòng)冗余重建功能,確保損壞的數(shù)據(jù)塊能夠被解碼或編碼后存儲(chǔ)到在線的正常的存儲(chǔ)服務(wù)器節(jié)點(diǎn)上。存儲(chǔ)訪問(wèn)接口cStor分布式文件系統(tǒng)提供符合POSIX規(guī)范的文件系統(tǒng)訪問(wèn)接口。支持Linux、Windows、MaxOSX等操作系統(tǒng)平臺(tái)。可將云存儲(chǔ)系統(tǒng)提供的存儲(chǔ)空間掛接為本地目錄或本地盤符來(lái)使用。用戶操作云存儲(chǔ)空間和操作本地文件相同。另外cStor提供專用的高速存取訪問(wèn)API接口,供性能要求很高的高端應(yīng)用程序?qū)邮褂?。管理監(jiān)控中心管理監(jiān)控中心為系統(tǒng)管理員配置和維護(hù)cStor云存儲(chǔ)資源管理系統(tǒng)的有效工具,充分體現(xiàn)了系統(tǒng)的可維護(hù)性。管理監(jiān)控中心提供帳戶管理、設(shè)備管理、系統(tǒng)監(jiān)控、卷管理、告警管理、故障管理等功能。以下為部分系統(tǒng)管理界面。設(shè)備管理

系統(tǒng)監(jiān)控告警信息告警配置告警日志故障處理卷管理帳戶管理添加帳戶備份軟件部分:cStor分布式文件系統(tǒng)備份軟件包括黑方實(shí)時(shí)備份系統(tǒng),此備份軟件系統(tǒng)包含:備份軟件、備份服務(wù)器、備份介質(zhì),操作系統(tǒng)四個(gè)方面。此信息安全系統(tǒng)具有4S備份架構(gòu)的功能和作用。其中,備份介質(zhì)采用上面的cStor云存儲(chǔ)分布式文件系統(tǒng)。黑方實(shí)時(shí)備份系統(tǒng)可用來(lái)實(shí)時(shí)備份HIS服務(wù)器數(shù)據(jù)庫(kù),在線備份HIS服務(wù)器Win2003操作系統(tǒng),更好的保障HIS系統(tǒng)的正常運(yùn)營(yíng)。備份操作系統(tǒng)時(shí),可將操作系統(tǒng)下的所有應(yīng)用程序也一起備份下來(lái)。數(shù)據(jù)庫(kù)備份數(shù)據(jù)庫(kù)備份支持主流的操作系統(tǒng),如Oracle和MSSQLServer。下面以O(shè)racle數(shù)據(jù)庫(kù)為例說(shuō)明數(shù)據(jù)庫(kù)的實(shí)時(shí)備份和定時(shí)備份。Oracle實(shí)時(shí)備份:通過(guò)在操作系統(tǒng)核心層中植入文件過(guò)濾驅(qū)動(dòng)程序,實(shí)時(shí)截獲數(shù)據(jù)庫(kù)實(shí)例相關(guān)文件的I/O操作。實(shí)時(shí)備份模塊經(jīng)由文件過(guò)濾驅(qū)動(dòng)攔截到文件改寫(xiě)操作時(shí),將每次I/O操作生成I/O操作日志文件,并自動(dòng)實(shí)時(shí)備份至遠(yuǎn)程云存儲(chǔ)IDC存儲(chǔ)空間中。黑方備份Oracle數(shù)據(jù)庫(kù)采用熱備份方式,不需要停止數(shù)據(jù)庫(kù),所以在備份時(shí)不影響數(shù)據(jù)庫(kù)的使用,用于業(yè)務(wù)系統(tǒng)不能停機(jī)時(shí)的備份。定時(shí)備份:黑方在對(duì)Oracle數(shù)據(jù)庫(kù)實(shí)時(shí)備份的同時(shí)可以做數(shù)據(jù)庫(kù)定時(shí)備份,可保留多個(gè)數(shù)據(jù)庫(kù)歷史版本,保障數(shù)據(jù)庫(kù)的安全,防止人為刪除數(shù)據(jù)或磁陣硬件錯(cuò)誤造成數(shù)據(jù)丟失。Oracle數(shù)據(jù)庫(kù)定時(shí)備份采用黑方在線熱備份技術(shù),可以設(shè)置自動(dòng)備份時(shí)間,如每周日晚上2點(diǎn)完全備份、周一至周六晚上2點(diǎn)進(jìn)行增量備份、每4個(gè)小時(shí)進(jìn)行歸檔日志備份,根據(jù)用戶的要求,可以保留多個(gè)數(shù)據(jù)庫(kù)完整版本。操作系統(tǒng)和文件備份黑方系統(tǒng),支持文件數(shù)據(jù)的實(shí)時(shí)備份,通過(guò)領(lǐng)先的CDP技術(shù)保障數(shù)據(jù)安全。支持WIN2003操作系統(tǒng)的在線備份,保留操作系統(tǒng)的多版本,同時(shí)可備份操作系統(tǒng)下所有的應(yīng)用程序和文件數(shù)據(jù)。支持大文件備份,對(duì)于PACS影像庫(kù)文件,同樣可以備份到遠(yuǎn)程IDC云存儲(chǔ)中心,防止本地邏輯錯(cuò)誤或物理錯(cuò)誤而造成的損失。對(duì)PACS服務(wù)器,根據(jù)用戶要求,進(jìn)行指定現(xiàn)在存儲(chǔ)上的目錄或文件進(jìn)行自動(dòng)備份,將醫(yī)療影像文件備份至遠(yuǎn)程IDC云存儲(chǔ)中心。黑方的系統(tǒng)備份模塊,全部采用在線完全備份與差量備份相結(jié)合的技術(shù),可保留多個(gè)系統(tǒng)鏡像,優(yōu)化存儲(chǔ)空間。方案恢復(fù)策略數(shù)據(jù)庫(kù)恢復(fù)策略需要數(shù)據(jù)恢復(fù)時(shí),備份系統(tǒng)通過(guò)專線從遠(yuǎn)程云存儲(chǔ)中心獲得備份數(shù)據(jù)進(jìn)行恢復(fù)。支持以下策略:恢復(fù)到最近時(shí)間點(diǎn):在還原數(shù)據(jù)庫(kù)后,數(shù)據(jù)庫(kù)將恢復(fù)到最近一次可用的狀態(tài),也稱完全恢復(fù);恢復(fù)到指定時(shí)間點(diǎn):還原數(shù)據(jù)庫(kù)后,數(shù)據(jù)庫(kù)會(huì)依據(jù)選擇的時(shí)間點(diǎn),將數(shù)據(jù)庫(kù)恢復(fù)到當(dāng)前時(shí)間的某一個(gè)時(shí)間點(diǎn)的狀態(tài),也稱不完全恢復(fù);異機(jī)恢復(fù):當(dāng)原服務(wù)器硬件損壞時(shí),可以將原數(shù)據(jù)庫(kù)的某時(shí)間點(diǎn)的正常狀態(tài)還原到指定服務(wù)器中。普通文件恢復(fù)策略對(duì)于文件恢復(fù),支持以下策略:?jiǎn)蝹€(gè)文件恢復(fù):?jiǎn)蝹€(gè)文件恢復(fù)粒度到達(dá)到秒級(jí),可選擇時(shí)間點(diǎn)進(jìn)行恢復(fù);目錄恢復(fù):對(duì)工作目錄或分區(qū)數(shù)據(jù)恢復(fù),可選擇時(shí)間點(diǎn)進(jìn)行恢復(fù);重定向恢復(fù):將備份的數(shù)據(jù),恢復(fù)到指定路徑中。系統(tǒng)恢復(fù)策略對(duì)于操作系統(tǒng)的恢復(fù),支持以下策略:本地恢復(fù):通過(guò)黑方系統(tǒng)恢復(fù)模塊,將本機(jī)系統(tǒng)鏡像,從黑方系統(tǒng)的本地硬盤中進(jìn)行快速恢復(fù);網(wǎng)絡(luò)恢復(fù):通過(guò)黑方系統(tǒng)恢復(fù)模塊,登錄到黑方在云存儲(chǔ)IDC的服務(wù)器中,將本機(jī)系統(tǒng)鏡像從黑方服務(wù)器中進(jìn)行網(wǎng)絡(luò)恢復(fù)。災(zāi)難恢復(fù)演習(xí)策略為了提高系統(tǒng)安全性,提高操作人員的熟練程度和操作水平,制定災(zāi)難恢復(fù)預(yù)案,定期進(jìn)行災(zāi)難恢復(fù)演習(xí)是很有必要的,需要演練的內(nèi)容包括數(shù)據(jù)庫(kù)數(shù)據(jù)恢復(fù)、非結(jié)構(gòu)化數(shù)據(jù)恢復(fù)。為了不影響原有系統(tǒng)的安全性和業(yè)務(wù)的正常運(yùn)行,恢復(fù)應(yīng)該在異機(jī)上恢復(fù),不應(yīng)該在原有業(yè)務(wù)設(shè)備上進(jìn)行。數(shù)據(jù)庫(kù)異機(jī)恢復(fù)演習(xí)演練方式:在另一臺(tái)服務(wù)器中安裝相同版本的數(shù)據(jù)庫(kù),建立一個(gè)同名數(shù)據(jù)庫(kù),安裝黑方客戶端,即可將原服務(wù)器備份數(shù)據(jù)庫(kù)恢復(fù)到此機(jī)中。支持MSSQL、

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論