醫(yī)療信息平臺(tái)系統(tǒng)建設(shè)方案_第1頁
醫(yī)療信息平臺(tái)系統(tǒng)建設(shè)方案_第2頁
醫(yī)療信息平臺(tái)系統(tǒng)建設(shè)方案_第3頁
醫(yī)療信息平臺(tái)系統(tǒng)建設(shè)方案_第4頁
醫(yī)療信息平臺(tái)系統(tǒng)建設(shè)方案_第5頁
已閱讀5頁,還剩140頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

醫(yī)療超融合平臺(tái)系統(tǒng)建設(shè)方案

L1超融合平臺(tái)系統(tǒng)建設(shè)方案

1.1.1設(shè)計(jì)概要

綜合需求分析,結(jié)合目前醫(yī)療行業(yè)數(shù)據(jù)中心的演進(jìn)方法論及

最佳實(shí)踐,超融合私有云的方式來建設(shè),使用擴(kuò)展能力強(qiáng),功能

豐富的私有云超融合基礎(chǔ)架構(gòu)方案,來滿足醫(yī)院業(yè)務(wù)系統(tǒng)高可靠

性、高可用性、業(yè)務(wù)連續(xù)性、數(shù)據(jù)安全、數(shù)據(jù)備份、數(shù)據(jù)及應(yīng)用

容災(zāi)的需求。

超融合企業(yè)云平臺(tái)主要是從資源池化,按需分配,動(dòng)態(tài)云計(jì)

算平臺(tái)切入,通過云計(jì)算技術(shù)充分利用超融合基礎(chǔ)設(shè)施資源,提

供基于超融合基礎(chǔ)設(shè)施的基礎(chǔ)設(shè)施即服務(wù)的云計(jì)算服務(wù)。

1.1.2設(shè)計(jì)原則

在方案設(shè)計(jì)中我們將遵循以下總體原則:以醫(yī)院業(yè)務(wù)需求為

導(dǎo)向,超融合架構(gòu)最終還是要為醫(yī)療業(yè)務(wù)服務(wù)的,因此在架構(gòu)設(shè)

計(jì)上一定要以醫(yī)療業(yè)務(wù)的需求為導(dǎo)向,充分考慮非功能需求,例

如系統(tǒng)的重要程度、安全要求、業(yè)務(wù)連續(xù)性等。

遵循醫(yī)療行業(yè)標(biāo)準(zhǔn)醫(yī)院大部分業(yè)務(wù)系統(tǒng)都是面向社會(huì)和公眾

的,在醫(yī)院基礎(chǔ)架構(gòu)建設(shè)時(shí),應(yīng)符合國際、、醫(yī)療衛(wèi)生行業(yè)標(biāo)準(zhǔn)

、規(guī)范和醫(yī)院自身的發(fā)展規(guī)劃。提高資源利用率現(xiàn)已經(jīng)部署了大

量的服務(wù)器,資源使用率低是較突出的一個(gè)問題。要充分發(fā)揮超

融合架構(gòu)的這一最大的特點(diǎn),在保證性能的前提下進(jìn)行合理設(shè)計(jì)

o在同一設(shè)備中合理分配計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等虛擬化資源,最大

程度的提高服務(wù)器設(shè)備的利用率。

系統(tǒng)擴(kuò)展性

2

在超融合架構(gòu)中,可以進(jìn)行橫向靈活擴(kuò)展,使醫(yī)院的IT基礎(chǔ)

架構(gòu)成為一個(gè)動(dòng)態(tài)、靈活、具有彈性的IT基礎(chǔ)架構(gòu)。要考慮在醫(yī)

療業(yè)務(wù)系統(tǒng)實(shí)時(shí)運(yùn)行過程中,計(jì)算資源和存儲(chǔ)資源的同時(shí)動(dòng)態(tài)調(diào)

整和擴(kuò)展的問題,避免對現(xiàn)有生產(chǎn)系統(tǒng)產(chǎn)生影響。

安全可用性

業(yè)務(wù)系統(tǒng)的高可用性和安全性是醫(yī)院業(yè)務(wù)得以持續(xù)運(yùn)行的保

障。在超融合架構(gòu)設(shè)計(jì)中,應(yīng)該以軟件定義技術(shù)為主,結(jié)構(gòu)超融

合的分布式架構(gòu)的特點(diǎn),解決系統(tǒng)單點(diǎn)故障問題和性能瓶頸等問

題,在滿足業(yè)務(wù)系統(tǒng)可用性的同時(shí)保證醫(yī)院系統(tǒng)運(yùn)行安全和數(shù)據(jù)

安全。

1.1.3超融合架構(gòu)總體設(shè)計(jì)

超融合架構(gòu)在數(shù)據(jù)中心,以軟件定義為解決方案,使用通用

的X86服務(wù)器+虛擬化軟件建設(shè)計(jì)算、分布式存儲(chǔ)和網(wǎng)絡(luò)等資源池

,極大地簡化了數(shù)據(jù)中心的基礎(chǔ)架構(gòu)。而且通過軟件定義資源池

為分布式架構(gòu),可以實(shí)現(xiàn)無單點(diǎn)故障、無單點(diǎn)瓶頸、橫向自動(dòng)彈

性擴(kuò)展、性能線性增長等能力。通過統(tǒng)一的云平臺(tái)來管控超融合

基礎(chǔ)設(shè)施,來管理調(diào)度計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源。

在物理層,選擇通用的X86服務(wù)器和交換機(jī)。在軟件定義層,

采用超融合AStack來實(shí)現(xiàn)軟件定義計(jì)算、軟件定義存儲(chǔ)、軟件定

義網(wǎng)絡(luò)。

在管理層,采用AStack云平臺(tái)來實(shí)現(xiàn)對整個(gè)基礎(chǔ)設(shè)施的統(tǒng)一

管理調(diào)度運(yùn)維。

3

AStackCloud云平臺(tái)、計(jì)算資源池、存儲(chǔ)資源池、網(wǎng)絡(luò)資源池

存儲(chǔ)虛擬化網(wǎng)絡(luò)虛懶

ASDSBlock三副本鵬緩存熱數(shù)據(jù)識(shí)別

HardwareLayer

具體設(shè)計(jì)如下:

搭建超融合系統(tǒng)平臺(tái)

在數(shù)據(jù)中心機(jī)房新建一套超融合系統(tǒng)集群,并對醫(yī)院現(xiàn)有的

業(yè)務(wù)系統(tǒng)進(jìn)行評估,按照評估結(jié)果,將適合的業(yè)務(wù)系統(tǒng)和數(shù)據(jù)遷

移至超融合平臺(tái),打破原有豎井式的縱向擴(kuò)展架構(gòu)。為了保證

HIS/PACS等核心業(yè)務(wù)數(shù)據(jù)庫的性能和數(shù)據(jù)的實(shí)時(shí)性,需要對先對

超融合做詳細(xì)的P0C測試,確定滿足條件后再進(jìn)行遷移。

對原有設(shè)備進(jìn)行淘汰和利舊整合

建議淘汰的設(shè)備:服役超過5年以上的服務(wù)器,不建議繼續(xù)使

用,可以進(jìn)行淘汰處理,避免潛在的安全隱患,同時(shí)還可以降低

整體能耗成本。

利舊整合的設(shè)備:可以利舊整合的服務(wù)器主要有兩種解決方

案。首先,可以用于開發(fā)測試,但是需要注意的是,對于這部分

資源最好單獨(dú)建設(shè)一個(gè)資源分區(qū),不要和生產(chǎn)資源混合在一個(gè)資

4

源池里,做好安全隔離,避免互相影響。其次,可以選擇部分性

能比較好,未過保修期(通常服務(wù)器保修年限為三年)且具有整

合價(jià)值的服務(wù)器,然后部署超融合系統(tǒng),加入到超融合系統(tǒng)群集

當(dāng)中。但是仍然建議單獨(dú)設(shè)計(jì)一個(gè)資源池,不要與新采購的超融

合系統(tǒng)混用一個(gè)資源池,同樣做好安全隔離。因?yàn)槔吓f的服務(wù)器

,即使部署了相同超融合系統(tǒng)軟件,由于其CPU型號(hào)比較舊,而

且型號(hào)不統(tǒng)一,很難和新采購的超融合系統(tǒng)設(shè)備相互兼容,不建

議部署在一個(gè)資源池。

建立統(tǒng)一的云管理平臺(tái)云管理平臺(tái)主要負(fù)責(zé)對資源的管理、

彈性調(diào)度以及操作維護(hù)等綜合管理功能,是云平臺(tái)管理的核心,

在同一個(gè)web界面提供云資源管理、云運(yùn)維管理和云服務(wù)管理的

功能。在采購新的超融合系統(tǒng)以后,要求必須能夠和現(xiàn)有的云管

理平臺(tái)兼容,能夠進(jìn)行二次開發(fā)和對接?;蛘咧苯硬捎贸诤舷?/p>

統(tǒng)的云管理整合原有的虛擬化資源,但是絕不能同時(shí)出現(xiàn)多個(gè)云

管理平臺(tái),這樣非常不利于資源的統(tǒng)一管理和調(diào)配,給醫(yī)院的信

息化管理帶來很大的困難。

1.1.4超融合架構(gòu)業(yè)務(wù)設(shè)計(jì)

醫(yī)院業(yè)務(wù)系統(tǒng)分析主要是對現(xiàn)有醫(yī)院業(yè)務(wù)系統(tǒng)進(jìn)行梳理,對

醫(yī)院的業(yè)務(wù)系統(tǒng)進(jìn)行評估和分類,選擇適合部署在超融合系統(tǒng)之

上的系統(tǒng)。主要包括以下幾個(gè)方面的工作:

對業(yè)務(wù)系統(tǒng)進(jìn)行分析,選擇適合遷移到超融合架構(gòu)的應(yīng)用。

建議優(yōu)先從非核心的系統(tǒng)開始嘗試部署,然后逐漸擴(kuò)展到其他核

心業(yè)務(wù)系統(tǒng)。

5

評估并計(jì)算系統(tǒng)資源的使用量,包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和安

全資源等。根據(jù)分析出的需要遷移的業(yè)務(wù)系統(tǒng)資源量,評估現(xiàn)有

機(jī)房的物理環(huán)境和網(wǎng)絡(luò)環(huán)境,是否能夠滿足遷移后的超融合系統(tǒng)

部署需要。

業(yè)務(wù)遷移分析

醫(yī)院業(yè)務(wù)系統(tǒng)主要分為四大類,分別是:行政管理系統(tǒng)。包

括人事管理系統(tǒng),財(cái)務(wù)管理系統(tǒng),后勤管理系統(tǒng),藥庫管理系統(tǒng)

,醫(yī)療設(shè)備管理系統(tǒng),門診、手術(shù)及住院預(yù)約系統(tǒng),病人住院管

理系統(tǒng)等。醫(yī)療管理系統(tǒng)。也是核心業(yè)務(wù)系統(tǒng),主要包括門診、

急診管理系統(tǒng)(HIS),影像文件系統(tǒng)(PCAS)、病案管理系統(tǒng)

,醫(yī)療統(tǒng)計(jì)系統(tǒng),血庫管理系統(tǒng)等。

決策支持系統(tǒng)。包括醫(yī)療質(zhì)量評價(jià)系統(tǒng),醫(yī)療質(zhì)量控制系統(tǒng)

等。各種輔助系統(tǒng)。如醫(yī)療情報(bào)檢索系統(tǒng),醫(yī)療數(shù)據(jù)庫系統(tǒng)等。

以上業(yè)務(wù)系統(tǒng),除了大型三甲醫(yī)院的核心HIS和PACS數(shù)據(jù)庫外,

其實(shí)大多數(shù)醫(yī)院的系統(tǒng)都適合遷移至超融合系統(tǒng),對于業(yè)務(wù)系統(tǒng)

的最終選擇,還是需要分析其運(yùn)行和使用的現(xiàn)狀,綜合進(jìn)行判斷

O

業(yè)務(wù)資源分析

對于不同的業(yè)務(wù)系統(tǒng),需要?jiǎng)澐植煌燃?jí)的資源來進(jìn)行規(guī)劃

0

對于醫(yī)院核心的HIS等業(yè)務(wù)系統(tǒng),采用全閃存的超融合來進(jìn)行

部署。

6

對于PACS等大容量系統(tǒng),采用大容量一體機(jī)來進(jìn)行部署。大

容量超融合一體機(jī)支持平滑橫向擴(kuò)展,數(shù)據(jù)支持3副本。

對于其他通用的業(yè)務(wù)系統(tǒng),采用通用超融合一體機(jī)來部署。

1.1.5超融合云平臺(tái)基礎(chǔ)功能設(shè)計(jì)

L1.5.1計(jì)算功能特性

超融合平臺(tái)基于異構(gòu)虛擬化技術(shù),原生支持KVM虛擬化技術(shù),

并支持VMwarevCenter虛擬化接管功能,滿足醫(yī)院用戶數(shù)據(jù)中心

異構(gòu)虛擬化需求,適應(yīng)不同重要性的業(yè)務(wù)部署。

通過虛擬化技術(shù),超融合為用戶提供云主機(jī)的基礎(chǔ)運(yùn)行環(huán)境

o用戶獲得云主機(jī)后,可安裝合適的業(yè)務(wù)應(yīng)用系統(tǒng),并通過Web

界面可對云主機(jī)執(zhí)行眾多的生命周期管理操作,包括停止、啟動(dòng)

、快照、克隆和加載/卸載數(shù)據(jù)云盤等操作。云主機(jī)包含vCPU、

內(nèi)存、系統(tǒng)云盤、數(shù)據(jù)云盤和虛擬網(wǎng)卡等資源服務(wù)。

7

CPU虛擬化

從架構(gòu)上看,傳統(tǒng)的X86平臺(tái)并不是為支持多操作系統(tǒng)并行而

設(shè)計(jì)的。因此CPU廠商如AMD和Intel都需要重新設(shè)計(jì)CPU,增加虛

擬化特性,以解決問題。超融合采用開源KVM技術(shù),已經(jīng)開始充

分利用芯片廠商在處理器架構(gòu)中構(gòu)建的硬件輔助功能,以提高系

統(tǒng)運(yùn)行效率,降低Hypervisor帶來的系統(tǒng)開銷。

超融合將物理的CPU邏輯虛擬出vCPU,使得在物理硬件之上同

時(shí)運(yùn)行多個(gè)操作系統(tǒng)成為可能。KVM依靠CPU硬件輔助虛擬化技術(shù)

,KVM本身分為兩部分,分別是運(yùn)行于Kernel模式的KVM內(nèi)核模塊

和運(yùn)行于User模式的Qemu模塊,這兩塊運(yùn)行于CPU的根模式;虛

擬機(jī)操作系統(tǒng)運(yùn)行于CPU的Guest模式也就是非根模式,特權(quán)指令

受到KVM的嚴(yán)格監(jiān)控,如果運(yùn)行到特權(quán)指令,則會(huì)自動(dòng)跳轉(zhuǎn)到根

8

模式。

利用硬件輔助虛擬化技術(shù)的支持,KVM中的每個(gè)虛擬機(jī)可具有

多個(gè)虛擬處理器vCPU,每個(gè)vCPU對應(yīng)一個(gè)Qemu線程,vCPU的創(chuàng)建

、初始化、運(yùn)行以及退出處理都在Qemu線程上下文中進(jìn)行,需要

Kernel>User和Guest三種模式相互配合。

內(nèi)存虛擬化

為了實(shí)現(xiàn)內(nèi)存虛擬化,讓虛擬機(jī)使用一個(gè)隔離的、從零開始

且具有連續(xù)的內(nèi)存空間,KVM引入一層新的地址空間,即虛擬機(jī)

物理地址空間(GuestPhysicalAddress,GPA),這個(gè)地址空間并不

是真正的物理地址空間,它只是宿主機(jī)虛擬地址空間在虛擬機(jī)地

址空間的一個(gè)映射。對虛擬機(jī)來說,虛擬機(jī)物理地址空間都是從

零開始的連續(xù)地址空間,但對于宿主機(jī)來說,虛擬機(jī)的物理地址

空間并不一定是連續(xù)的,虛擬機(jī)物理地址空間有可能映射在若干

個(gè)不連續(xù)的宿主機(jī)地址區(qū)間。

GVAGVA

HPA

9

虛擬機(jī)管理

批量創(chuàng)建虛擬機(jī)根據(jù)虛擬機(jī)規(guī)格創(chuàng)建單臺(tái)/多臺(tái)虛擬機(jī),可以

同時(shí)選擇云盤掛載,支持手工指定集群、宿主機(jī)、主存儲(chǔ),支持

注入用戶自定義信息如密碼、用戶創(chuàng)建、SSHkeyo

生命周期管理

超融合支持虛擬機(jī)的全生命周期管理。支持按鏡像創(chuàng)建虛擬

機(jī),也可以根據(jù)ISO自定義虛擬機(jī)操作系統(tǒng);支持對虛擬機(jī)配置

進(jìn)行調(diào)整,如在線調(diào)整CPU、內(nèi)存,添加虛擬磁盤,添加虛擬網(wǎng)

卡等;支持虛擬機(jī)掛起和恢復(fù),虛擬機(jī)掛起時(shí),會(huì)釋放虛擬機(jī)的

計(jì)算資源,將虛擬機(jī)內(nèi)存數(shù)據(jù)保存在存儲(chǔ)磁盤,執(zhí)行恢復(fù)操作時(shí)

再從存儲(chǔ)磁盤讀回虛擬機(jī)內(nèi)存。支持刪除指定虛擬機(jī),刪除時(shí)將

解綁IP,回收虛擬機(jī)的相關(guān)資源;支持回收站功能,刪除的虛擬

機(jī)將在回收站保留一定的時(shí)間,防止誤刪。

虛擬機(jī)克隆虛擬機(jī)在線克隆,不影響正在運(yùn)行的業(yè)務(wù),可以

選擇克隆數(shù)量進(jìn)行批量克隆,可以選擇主存儲(chǔ)和親合組。

虛擬機(jī)鏡像

超融合支持在線將虛擬機(jī)創(chuàng)建為鏡像,并通過鏡像庫方式來

管理鏡像,創(chuàng)建鏡像可以選擇不同的鏡像庫。支持將虛擬機(jī)鏡像

導(dǎo)出下載。

虛擬機(jī)快照

超融合支持對虛擬機(jī)進(jìn)行快照,對磁盤當(dāng)前時(shí)間點(diǎn)的數(shù)據(jù)進(jìn)

行凍結(jié)??煺者m用于一些有風(fēng)險(xiǎn)的操作,比如虛擬機(jī)操作系統(tǒng)升

級(jí)、軟件升級(jí),如果發(fā)生故障可以進(jìn)行回退,相當(dāng)于有反悔的機(jī)

10

會(huì),更好的保證業(yè)務(wù)的正常運(yùn)行。

加載/卸載云盤支持在線為虛擬機(jī)加載/卸載云硬盤,無需停

機(jī),不影響業(yè)務(wù)的運(yùn)行。操作系統(tǒng)可以立刻識(shí)別到云硬盤,添加

完畢后馬上可以使用。修改計(jì)算規(guī)格支持在線修改虛擬機(jī)的計(jì)算

規(guī)格,增加vCPU和內(nèi)存數(shù)量,即縱向擴(kuò)容。當(dāng)監(jiān)控到虛擬機(jī)資源

利用率較高時(shí),可以在線修改虛擬機(jī)的計(jì)算規(guī)格,增加虛擬資源

,降低資源的利用率,保證業(yè)務(wù)運(yùn)行性能。

控制臺(tái)密碼支持設(shè)置控制臺(tái)密碼,在打開云主機(jī)控制臺(tái)時(shí)加

一層防護(hù),使得云主機(jī)的訪問更加安全,防止隨意打開控制臺(tái)隨

意操作虛擬機(jī)的行為。

修改云主機(jī)密碼

通過云主機(jī)內(nèi)置的agent,可以在線修改云主機(jī)賬號(hào)密碼,防

止用戶因遺忘密碼而無法登陸云主機(jī)。

存儲(chǔ)遷移云主機(jī)支持關(guān)機(jī)狀態(tài)下跨共享存儲(chǔ)的數(shù)據(jù)遷移,保

證更好的數(shù)據(jù)連續(xù)性,目前支持跨Ceph存儲(chǔ)遷移、跨NFS存儲(chǔ)遷

移。

BIOS模式

云主機(jī)BIOS支持legacy和UEFI兩種模式,可以更好地適應(yīng)操

作系統(tǒng)對底層硬件的需求。

L1.6存儲(chǔ)功能特性

超融合集成ASDS分布式塊存儲(chǔ),同時(shí)支持對接外置存儲(chǔ),包

括SAN、NAS等。

ASDS是基于開源Ceph優(yōu)化并產(chǎn)品化的醫(yī)院版分布式存儲(chǔ),性

II

能方面比社區(qū)版Ceph高出3倍以上,滿足高10吞吐業(yè)務(wù)場景,支

持對象存儲(chǔ)、塊存儲(chǔ)訪問類型。它提供一個(gè)單一的存儲(chǔ)平臺(tái),可

以處理對象、塊的數(shù)據(jù)存儲(chǔ)。它的高擴(kuò)展性可以達(dá)到PB級(jí),它還

擁有高容錯(cuò)性和高一致性數(shù)據(jù)冗余機(jī)制。使用Ceph作為存儲(chǔ)方案

,其中所有服務(wù)器的SSD硬盤組建獨(dú)立的SSD存儲(chǔ)池Pool,所有服

務(wù)器SAS硬盤組建為獨(dú)立的SAS存儲(chǔ)池Pool。在該場景下,同一個(gè)

Ceph集群里存在傳統(tǒng)機(jī)械盤組成的存儲(chǔ)池,以及SSD組成的快速

存儲(chǔ)池,可把對讀寫性能要求高的數(shù)據(jù)存放在SSD池,而把其他

備份數(shù)據(jù)等一些要求低的數(shù)據(jù)存放在普通存儲(chǔ)池,提升讀寫效率

0

StorageServer1StorageServer2StorageServer3

ASDS支持多存儲(chǔ)池特性,可定制構(gòu)建高性能存儲(chǔ)池(SSD)和

大容量存儲(chǔ)池(HDD),各存儲(chǔ)池的10訪問隔離,并獨(dú)自擴(kuò)容伸

縮。不同速度的存儲(chǔ)池,滿足不同業(yè)務(wù)系統(tǒng)對存儲(chǔ)訪問的性能與

容量要求。

ASDS企業(yè)級(jí)分布式存儲(chǔ)產(chǎn)品既具備有互聯(lián)網(wǎng)化高度可擴(kuò)展性

12

的基因,又有著醫(yī)院關(guān)鍵業(yè)務(wù)友好特性,作為一款成熟存儲(chǔ)軟件

產(chǎn)品,其優(yōu)勢特性主要體現(xiàn)在以下方面:

持續(xù)線性增長的高性能

ASDS企業(yè)級(jí)分布式存儲(chǔ)的核心代碼架構(gòu)基于業(yè)內(nèi)領(lǐng)先的強(qiáng)一

致性哈希算法,在關(guān)鍵環(huán)節(jié)進(jìn)行了深度代碼優(yōu)化,包括對網(wǎng)絡(luò)、

磁盤處理效率、數(shù)據(jù)分層與緩存機(jī)制等,使得存儲(chǔ)系統(tǒng)能夠勝任

高并發(fā)、高輸入輸出效率的需求。與主流NVMe閃存技術(shù)相結(jié)合,

通過SPDK新協(xié)議棧優(yōu)化10路徑,突破單節(jié)點(diǎn)數(shù)千I0PS的瓶頸,通

過配置不同性能的通用硬件,無縫適應(yīng)冷熱數(shù)據(jù)切換等各種應(yīng)用

場景的性能需求。

服務(wù)質(zhì)量保證分布式存儲(chǔ)系統(tǒng)是一個(gè)復(fù)雜的集群化系統(tǒng),每

個(gè)層次、部件都可能涉及到不同廠商的軟硬件產(chǎn)品,節(jié)點(diǎn)掉電失

效、硬盤故障、網(wǎng)絡(luò)抖動(dòng)等數(shù)據(jù)中心的常態(tài)故障常常導(dǎo)致分布式

存儲(chǔ)集群處于長久或暫時(shí)的數(shù)據(jù)不一致狀態(tài),ASDS企業(yè)級(jí)分布式

存儲(chǔ)提供了后臺(tái)自動(dòng)一致性數(shù)據(jù)校驗(yàn)功能。

同時(shí)ASDS企業(yè)級(jí)分布式存儲(chǔ)支持?jǐn)?shù)據(jù)恢復(fù)QoS(

QualityofService)設(shè)置,對于長時(shí)間段的副本丟失,系統(tǒng)需要

數(shù)據(jù)重建恢復(fù)處理,用戶可以對數(shù)據(jù)恢復(fù)進(jìn)行多種策略選擇,在

進(jìn)行恢復(fù)保障數(shù)據(jù)一致的同時(shí),合理調(diào)整其優(yōu)先級(jí)以適配不同業(yè)

務(wù)性能。支持塊服務(wù)的在線卷級(jí)QoS設(shè)置,用戶可對存儲(chǔ)卷設(shè)定

I0PS閾值限制,以及性能突發(fā)狀況時(shí)的限制,以保證存儲(chǔ)各客戶

端取得一致的性能體驗(yàn)。支持對存儲(chǔ)卷QoS進(jìn)行實(shí)時(shí)更改,更好

地幫助管理員和上層應(yīng)用開發(fā)人員動(dòng)態(tài)調(diào)配性能資源,以應(yīng)對潮

13

汐式的應(yīng)用場景。

靠性大幅度增強(qiáng)

ASDS企業(yè)級(jí)分布式存儲(chǔ)在具備先進(jìn)功能特性的同時(shí)一,特別對

系統(tǒng)的可靠性進(jìn)行了特定優(yōu)化。借助研發(fā)團(tuán)隊(duì)豐富的生產(chǎn)經(jīng)驗(yàn),

產(chǎn)品不僅規(guī)避了傳統(tǒng)分布式存儲(chǔ)系統(tǒng)中對可靠性造成威脅的諸多

潛在缺陷,而且對關(guān)鍵I。路徑和管理控制模塊皆進(jìn)行了冗余設(shè)計(jì)

O同時(shí),通過拓?fù)湟?guī)劃功能對存儲(chǔ)集群支持多種安全級(jí)別的數(shù)據(jù)

安全保護(hù),如支持服務(wù)器級(jí)別、機(jī)架級(jí)別、數(shù)據(jù)中心級(jí)別的故障

域。使存儲(chǔ)系統(tǒng)可靠性及持續(xù)在線特性得到有效保證。

易用性、可管理性極大增強(qiáng)阻止醫(yī)院客戶采用分布式存儲(chǔ)系

統(tǒng)的另一個(gè)重要原因是運(yùn)維成本的不可控性。ASDS企業(yè)級(jí)分布式

存儲(chǔ)豐富的可視化管理功能和體貼的管理流程幫助用戶解決了這

一難題一一基于Web的可視化安裝和擴(kuò)容使得用戶能快速精確地

掌控分布式存儲(chǔ)底層復(fù)雜的硬件;存儲(chǔ)池的分層設(shè)計(jì)讓用戶輕松

應(yīng)對資源規(guī)劃與關(guān)鍵應(yīng)用分區(qū);豐富的RESTfulAPI、命令行、磁

盤S.M.A.R.T.、容量預(yù)警、歷史監(jiān)控、日志和告警等功能幫助用

戶迅速定位并解決存儲(chǔ)集群系統(tǒng)中的各種突發(fā)狀況。用戶只需具

備傳統(tǒng)存儲(chǔ)管理員的入門級(jí)基礎(chǔ),即可勝任系統(tǒng)的安裝部署、日

常管理、監(jiān)控審計(jì)和升級(jí)擴(kuò)容等工作。

豐富的存儲(chǔ)高級(jí)功能

ASDS企業(yè)級(jí)分布式存儲(chǔ)支持即時(shí)快照ROW(RedirectonWrite

)、克隆、EC、多副本、故障域等功能幫助輕松構(gòu)建高級(jí)別的數(shù)

據(jù)保護(hù)機(jī)制;精簡配置(ThinProvisioning)、空間回收、分級(jí)

14

存儲(chǔ)等功能幫助合理的利用硬件資源。

存儲(chǔ)加速引擎

ASDS企業(yè)級(jí)分布式存儲(chǔ)提供高性能多級(jí)Cache加速引擎,包括

RAM、SSD兩級(jí)Cache,其中RamReadCache采用使用的增強(qiáng)型預(yù)讀

算法,提升系統(tǒng)讀性能;SSDR/WCache提供智能10合并算法和熱

點(diǎn)數(shù)據(jù)分析算法,大大提升0LTP業(yè)務(wù)下的系統(tǒng)讀寫性能。

1.1.7網(wǎng)絡(luò)功能特性

超融合提供靈活方便的基礎(chǔ)網(wǎng)絡(luò)服務(wù),管理員可根據(jù)自身的

業(yè)務(wù)場景設(shè)置合適網(wǎng)絡(luò)服務(wù),減輕與日俱增的云主機(jī)數(shù)量帶來的

網(wǎng)絡(luò)不可控難題。自動(dòng)化網(wǎng)絡(luò)服務(wù),是產(chǎn)品核心技術(shù)之一。目前

,超融合提供對以太網(wǎng)的自動(dòng)化管理,包括扁平網(wǎng)絡(luò)和云路由網(wǎng)

絡(luò)?;谝蕴W(wǎng)提供DHCP、彈性IP、端口轉(zhuǎn)發(fā)、負(fù)載均衡、

IPsec隧道VPN和安全組等服務(wù)功能,可基于VLAN和VXLAN實(shí)現(xiàn)網(wǎng)

絡(luò)隔離。

管理員/用戶基于扁平網(wǎng)絡(luò)和云路由網(wǎng)絡(luò)功能,可以構(gòu)建豐富

的業(yè)務(wù)網(wǎng)絡(luò)場景,實(shí)現(xiàn)業(yè)務(wù)/租戶隔離能力。

扁平網(wǎng)絡(luò)

扁平網(wǎng)絡(luò)是指云平臺(tái)提供純二層的網(wǎng)絡(luò)服務(wù),三層功能由外

部物理網(wǎng)絡(luò)提供。扁平網(wǎng)絡(luò)的架構(gòu)圖如下所示:

15

扁平網(wǎng)絡(luò)

VPC網(wǎng)絡(luò)

VPC網(wǎng)絡(luò)是是基于VPC路由器和VPC網(wǎng)絡(luò)共同組成的自定義私有

云網(wǎng)絡(luò)環(huán)境,幫助醫(yī)院用戶構(gòu)建一個(gè)邏輯隔離的私有云。

VPC網(wǎng)絡(luò)的架構(gòu)圖如下所示:

公有網(wǎng)絡(luò)1

1.1.8高可用技術(shù)

硬件高可用

16

承載超融合的底層硬件服務(wù)器全部采用高可用設(shè)計(jì)方案。每

臺(tái)服務(wù)器使用雙電源,接入兩路交流電,保證在一路電源斷電的

情況下仍然能夠正常工作。

配合接入交換機(jī),服務(wù)器各網(wǎng)絡(luò)跨網(wǎng)卡交叉做bond來保證數(shù)

據(jù)傳輸?shù)母呖煽啃浴2煌墓芾砉?jié)點(diǎn)分開部署到不同的機(jī)柜,避

免了機(jī)柜整體掉電平臺(tái)管理無法使用的情況。使用兩塊磁盤構(gòu)建

RAID1來安裝底層操作系統(tǒng),一塊磁盤損壞的情況下不影響系統(tǒng)

整體運(yùn)行。

3節(jié)點(diǎn)起,任意一個(gè)節(jié)點(diǎn)出現(xiàn)物理損壞都不會(huì)影響客戶業(yè)務(wù)正

常運(yùn)行。

管理節(jié)點(diǎn)高可用

管理節(jié)點(diǎn)負(fù)責(zé)整個(gè)平臺(tái)的資源管控、監(jiān)控、調(diào)度、分配和回

收,作為租戶使用云平臺(tái)的控制臺(tái)。管理節(jié)點(diǎn)若出現(xiàn)宕機(jī),管理

服務(wù)將不可用,直接影響到平臺(tái)的運(yùn)維管理、監(jiān)控報(bào)警、租戶訪

問、自動(dòng)化任務(wù)執(zhí)行等,對平臺(tái)或租戶的運(yùn)維工作產(chǎn)生較大影響

O因此,需要采用高可用技術(shù)來保障平臺(tái)的管理服務(wù)。

超融合提供雙管理節(jié)點(diǎn)高可用方案,在管理節(jié)點(diǎn)上運(yùn)行一個(gè)

HA進(jìn)程,該進(jìn)程負(fù)責(zé)整個(gè)管理節(jié)點(diǎn)環(huán)境的初始化、配置、運(yùn)維、

watchdog等功能。

HA進(jìn)程提供系統(tǒng)配置功能,提供命令行接口,可以調(diào)用HA命

令將系統(tǒng)配置成高可用環(huán)境。

HA進(jìn)程負(fù)責(zé)監(jiān)控MN節(jié)點(diǎn)上的關(guān)鍵服務(wù)(管理節(jié)點(diǎn)進(jìn)程,UI進(jìn)

程,MySQL),當(dāng)任何一個(gè)服務(wù)宕機(jī)時(shí),立即通過keepalived觸

17

發(fā)VIP遷移,然后嘗試恢復(fù)宕機(jī)服務(wù)。

HA進(jìn)程對keepalived進(jìn)程進(jìn)行watchdog,確保該進(jìn)程持續(xù)運(yùn)

行。HA進(jìn)程提供命令,打印出集群的健康信息。引入一個(gè)網(wǎng)關(guān)做

仲裁,避免雙節(jié)點(diǎn)的腦裂問題。

虛擬機(jī)高可用

超融合將一組服務(wù)器主機(jī)合并為一個(gè)具有共享資源池的集群

,并持續(xù)對集群內(nèi)所有的服務(wù)器主機(jī)與虛擬機(jī)運(yùn)行狀況進(jìn)行檢測

,一旦某臺(tái)服務(wù)器發(fā)生故障,超融合會(huì)持續(xù)進(jìn)行檢測,確定此服

務(wù)器宕機(jī)后,會(huì)立即在集群內(nèi)另一臺(tái)服務(wù)器上重啟所有受影響的

虛擬機(jī),保證業(yè)務(wù)的連續(xù)性。超融合虛擬機(jī)高可用方案不需要專

門的備用硬件,也不需要集成其他軟件,就可以將停機(jī)時(shí)間和IT

服務(wù)中斷時(shí)間降到最低程度。同時(shí)避免單一操作系統(tǒng)或特定于應(yīng)

用程序的故障切換解決方案帶來的成本和復(fù)雜性。

虛擬機(jī)高可用設(shè)計(jì)如下:

添加物理機(jī)時(shí),在連接物理機(jī)的過程中,管理節(jié)點(diǎn)會(huì)通過

KVMagent抓取物理機(jī)的所有IP地址。

管理節(jié)點(diǎn)周期性的發(fā)送ping命令到物理機(jī)的agent。

ping命令發(fā)送失敗,或物理機(jī)未在指定時(shí)間內(nèi)響應(yīng)ping命令

,則認(rèn)定物理機(jī)可能宕機(jī),物理機(jī)探測器啟動(dòng)。

當(dāng)發(fā)現(xiàn)疑似宕機(jī)的物理機(jī)時(shí),管理節(jié)點(diǎn)查找該物理機(jī)所在集

群的主存儲(chǔ)的存儲(chǔ)網(wǎng)絡(luò)IP。管理節(jié)點(diǎn)對疑似宕機(jī)物理機(jī)進(jìn)行檢測

(1)管理節(jié)點(diǎn)在指定時(shí)間內(nèi),使用存儲(chǔ)網(wǎng)絡(luò)IP周期性的使用

nmap掃描物理機(jī)端口,如果某次掃描成功,則認(rèn)為物理機(jī)仍然工

18

作,不執(zhí)行VMHA動(dòng)作。

(2)管理節(jié)點(diǎn)通知集群內(nèi)監(jiān)控的物理機(jī)通過存儲(chǔ)網(wǎng)絡(luò)IP使用

nmap掃描疑似宕機(jī)物理機(jī)。如果某次掃描成功,則認(rèn)為該物理機(jī)

仍然工作,不執(zhí)行VMHA動(dòng)作。

(3)如果上述檢查全部失敗,則認(rèn)為物理機(jī)宕機(jī),VMHA啟動(dòng)

o管理節(jié)點(diǎn)會(huì)選擇健康的物理機(jī),啟動(dòng)宕機(jī)物理機(jī)上所有設(shè)置了

高可用的VM。

存儲(chǔ)高可用

存儲(chǔ)作為超融合的核心,一旦發(fā)生異常,將會(huì)影響整個(gè)超融

合云平臺(tái)的運(yùn)行,產(chǎn)生大面積影響。超融合采用分布式存儲(chǔ),基

于分布式存儲(chǔ)多節(jié)點(diǎn)、多副本的能力,可以實(shí)現(xiàn)存儲(chǔ)硬盤級(jí)別、

節(jié)點(diǎn)級(jí)別、機(jī)柜和機(jī)房級(jí)別的高可用。

ASDS企業(yè)級(jí)分布式存儲(chǔ)基于Ceph分布式存儲(chǔ)方案開發(fā),并對

Ceph做了配置優(yōu)化以達(dá)到醫(yī)院生產(chǎn)環(huán)境要求。用戶可以通過超融

合云平臺(tái)使用云存儲(chǔ)創(chuàng)建、刪除、云主機(jī)掛載、云存儲(chǔ)卸載、云

存儲(chǔ)查詢、云存儲(chǔ)QoS等服務(wù)。采用全分布式存儲(chǔ)架構(gòu),整個(gè)存

儲(chǔ)系統(tǒng)沒有單點(diǎn)故障,并且,通過系統(tǒng)的多副本技術(shù),可以根據(jù)

用戶需要設(shè)置數(shù)據(jù)副本數(shù)量和復(fù)制策略,把數(shù)據(jù)同時(shí)存在于多臺(tái)

服務(wù)器、多個(gè)機(jī)架、多個(gè)數(shù)據(jù)中心中,最大限度提高數(shù)據(jù)容災(zāi)能

力。

Ceph由多個(gè)獨(dú)立的x86服務(wù)器實(shí)現(xiàn),所有節(jié)點(diǎn)是完全對稱架構(gòu)

,無主次之分,可以在不停機(jī)的情況下動(dòng)態(tài)增加/刪除存儲(chǔ)節(jié)點(diǎn)

,實(shí)現(xiàn)存儲(chǔ)容量和性能的動(dòng)態(tài)擴(kuò)展,“對稱”意味著各節(jié)點(diǎn)可以

19

完全對等,能極大地降低系統(tǒng)維護(hù)成本,且無單點(diǎn)故障。支持理

論上無限水平擴(kuò)展,支持PB級(jí)別的大規(guī)模存儲(chǔ)。ASDS企業(yè)級(jí)分布

式存儲(chǔ)支持用戶數(shù)據(jù)按照設(shè)定的「6副本進(jìn)行冗余存儲(chǔ)。如下圖

所示,以3個(gè)節(jié)點(diǎn)組成一個(gè)資源池,存儲(chǔ)數(shù)據(jù)為兩副本的簡單模

型為例,任意1個(gè)節(jié)點(diǎn)上的主副本數(shù)據(jù),其備副本數(shù)據(jù)會(huì)均勻分

布在其他節(jié)點(diǎn)上,單點(diǎn)故障系統(tǒng)不會(huì)丟失數(shù)據(jù)。*

存儲(chǔ)節(jié)點(diǎn)1存儲(chǔ)節(jié)點(diǎn)2存儲(chǔ)節(jié)點(diǎn)3

兩副本場景下,在一個(gè)資源池內(nèi),出現(xiàn)一個(gè)節(jié)點(diǎn)或一塊磁盤

故障,整個(gè)系統(tǒng)不會(huì)丟失數(shù)據(jù),不影響業(yè)務(wù)正常使用。

三副本場景下,在一個(gè)資源池內(nèi),出現(xiàn)兩個(gè)節(jié)點(diǎn)或兩塊磁盤

同時(shí)故障,整個(gè)系統(tǒng)不會(huì)丟失數(shù)據(jù),不影響業(yè)務(wù)正常使用。

故障域指有共同單點(diǎn)故障的服務(wù)器(如同一個(gè)機(jī)架)組成,

數(shù)據(jù)副本分布到不同故障域,保障數(shù)據(jù)安全??梢詾闄C(jī)架、服務(wù)

器、硬盤提供故障恢復(fù)能力。無論磁盤、服務(wù)器發(fā)生硬件故障,

甚至整個(gè)機(jī)架出故障,也不會(huì)造成停機(jī)或數(shù)據(jù)丟失。下圖每個(gè)機(jī)

架設(shè)置成一個(gè)故障域,如果創(chuàng)建一個(gè)2副本存儲(chǔ)池,則不同副本

20

數(shù)據(jù)一定會(huì)自動(dòng)化分放在不同的機(jī)架里,這樣即使機(jī)架A出現(xiàn)故

障,也不會(huì)停機(jī)或數(shù)據(jù)丟失。

Cephmonitor采用Paxos選舉算法,Paxos算法保證系統(tǒng)正常工

作的前提是正常工作的節(jié)點(diǎn)數(shù)占整個(gè)節(jié)點(diǎn)數(shù)的半數(shù)以上。三個(gè)

Cephmonitor節(jié)點(diǎn)分別裝在三個(gè)不同的節(jié)點(diǎn)上,允許1個(gè)節(jié)點(diǎn)宕機(jī)

;如果Ceph的monitor節(jié)點(diǎn)超過半數(shù)宕機(jī),Paxos算法就無法正常

進(jìn)行仲裁(quorum),此時(shí),Ceph集群會(huì)阻塞對集群的操作,直到

超過半數(shù)的monitor節(jié)點(diǎn)恢復(fù)。

1.1.9容災(zāi)備份

超融合提供本地災(zāi)備、異地災(zāi)備、公有云災(zāi)備三種典型災(zāi)備

場景。

本地災(zāi)備

支持將本地部署的鏡像倉庫作為本地備份服務(wù)器,用于存放

本地云主機(jī)/云盤/管理節(jié)點(diǎn)數(shù)據(jù)庫(以下簡稱數(shù)據(jù)庫)的定時(shí)備

份數(shù)據(jù)。同時(shí)本地備份服務(wù)器支持主備無縫切換,有效保障業(yè)務(wù)

連續(xù)性。

當(dāng)發(fā)生本地?cái)?shù)據(jù)誤刪,或本地主存儲(chǔ)中數(shù)據(jù)損壞等情況,可

將本地備份服務(wù)器中的備份數(shù)據(jù)還原至本地;當(dāng)集群整體發(fā)生災(zāi)

難時(shí),完全可依賴本地備份服務(wù)器重建集群并恢復(fù)業(yè)務(wù)。

21

創(chuàng)建備份劭據(jù)儂S庫)

同時(shí)作為本地備份fig務(wù)翳

隹理節(jié)點(diǎn)計(jì)■節(jié)點(diǎn)鏡像倉庫

主存儲(chǔ)

本地?cái)?shù)據(jù)中心

節(jié)點(diǎn)計(jì)JT節(jié)點(diǎn)

主存儲(chǔ)

本期孀印CX新建)

1.1.10異地災(zāi)備

支持將異地機(jī)房的存儲(chǔ)服務(wù)器作為異地備份服務(wù)器,用于存

放本地云主機(jī)/云盤/數(shù)據(jù)庫的定時(shí)備份數(shù)據(jù)。備份數(shù)據(jù)需通過本

地備份服務(wù)器同步至異地備份服務(wù)器。

當(dāng)發(fā)生本地?cái)?shù)據(jù)誤刪,或本地主存儲(chǔ)中數(shù)據(jù)損壞等情況,可

將異地備份服務(wù)器中的備份數(shù)據(jù)還原至本地。當(dāng)本地?cái)?shù)據(jù)中心發(fā)

生災(zāi)難時(shí),完全可依賴異地備份服務(wù)器重建數(shù)據(jù)中心并恢復(fù)業(yè)務(wù)

22

創(chuàng)建備份數(shù)據(jù)(數(shù)據(jù)庠)

畫作^(黃)

管理節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)鏡像倉庫本畸份。器器(王)

I〕II—

主存儲(chǔ)

管理節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)

主存儲(chǔ)

本儂姆中心(新建)

1.1.11公有云災(zāi)備

支持將公有云上的存儲(chǔ)服務(wù)器作為公有云備份服務(wù)器,用于

存放本地云主機(jī)/云盤/數(shù)據(jù)庫的定時(shí)備份數(shù)據(jù)。備份數(shù)據(jù)需通過

本地備份服務(wù)器同步至公有云備份服務(wù)器。

當(dāng)發(fā)生本地?cái)?shù)據(jù)誤刪,或本地主存儲(chǔ)中數(shù)據(jù)損壞等情況,可

將公有云備份服務(wù)器中的備份數(shù)據(jù)還原至本地。當(dāng)本地?cái)?shù)據(jù)中心

發(fā)生災(zāi)難時(shí),可依賴公有云備份服務(wù)器重建數(shù)據(jù)中心并恢復(fù)業(yè)務(wù)

23

嫄酬曲/帆D

朝作牌啕博B屈冽噓

欽第點(diǎn)甘則驚譴蝕云醐8榭I

同城£

2M健?(駐"譴廝

1.1.12彈性伸縮

部分醫(yī)院業(yè)務(wù)的訪問量會(huì)周期性或隨機(jī)的出現(xiàn)波動(dòng),該類業(yè)

務(wù)對IT資源的需求也存在較大的波動(dòng),這就要求醫(yī)院IT基礎(chǔ)架構(gòu)

能夠支撐這樣的彈性擴(kuò)展需求,IT部門面臨很大的挑戰(zhàn).傳統(tǒng)的

解決方案有兩種方式,靜態(tài)和動(dòng)態(tài)部署:前者指按照峰值來規(guī)劃

并部署,但是一次性投入很大,而且平時(shí)資源利用率很低;后者

指在峰值到來之前進(jìn)行擴(kuò)容,峰值過后回收資源,這使得管理員

工作量很大,需要不斷的人工干預(yù)。

云計(jì)算的出現(xiàn),帶來了全新的IT基礎(chǔ)架構(gòu)建設(shè)、使用和交付

模式。通過服務(wù)器虛擬化技術(shù),把虛擬機(jī)作為業(yè)務(wù)服務(wù)器提供給

部門使用,可以實(shí)現(xiàn)更細(xì)粒度的資源使用;同時(shí),和傳統(tǒng)物理機(jī)

相比較,虛擬機(jī)的部署更為方便快捷,而且可以在不同物理機(jī)之

間遷移,提高了資源調(diào)度的靈活性。因此,部署了云業(yè)務(wù)環(huán)境的

24

醫(yī)院可以采用動(dòng)態(tài)部署方式來應(yīng)對突發(fā)性需求。超融合推出了“

面向應(yīng)用的云動(dòng)態(tài)資源擴(kuò)展解決方案”一一彈性伸縮組,整合云

主機(jī)負(fù)載監(jiān)控、云主機(jī)管理和負(fù)載均衡,自動(dòng)化的實(shí)現(xiàn)上述三個(gè)

系統(tǒng)的關(guān)聯(lián)部署,能夠根據(jù)云主機(jī)的資源負(fù)載情況,進(jìn)行動(dòng)態(tài)橫

向伸縮,為醫(yī)院IT基礎(chǔ)架構(gòu)注入智能,增強(qiáng)IT資源調(diào)配的自動(dòng)化

能力。

超融合提供基于負(fù)載均衡的云主機(jī)彈性伸縮,可根據(jù)用戶業(yè)

務(wù)的負(fù)載變化,按照預(yù)定義的策略,自動(dòng)調(diào)整伸縮組內(nèi)云主機(jī)的

數(shù)量,提高云平臺(tái)資源的使用效率,降低運(yùn)維成本,保證業(yè)務(wù)平

穩(wěn)運(yùn)行。

兩種伸縮模式

彈性伸縮

彈性伸縮包括:彈性擴(kuò)容、彈性縮容,前者在業(yè)務(wù)增長時(shí)自

動(dòng)增加云主機(jī),后者在業(yè)務(wù)下降時(shí)自動(dòng)減少云主機(jī);提供監(jiān)控報(bào)

警觸發(fā)彈性伸縮,可自定義接收端類型,包括:郵箱、釘釘、

HTTP應(yīng)用。

彈性擴(kuò)容

云主機(jī)

彈性縮容

SSSe云主機(jī)

彈性自愈通過監(jiān)控伸縮組內(nèi)云主機(jī)的健康狀態(tài),自動(dòng)移除不

25

健康云主機(jī)并創(chuàng)建新的云主機(jī),確保組內(nèi)健康云主機(jī)數(shù)不低于設(shè)

置的最小值;提供兩種健康檢查機(jī)制觸發(fā)彈性自愈:負(fù)載均衡健

康檢查、云主機(jī)健康檢查,若伸縮組配置了負(fù)載均衡功能,建議

選擇負(fù)載均衡器自帶的健康檢查機(jī)制。

彈性自愈

賺儲(chǔ)ym口.日云主機(jī)

?負(fù)期然W康陽tTT?

?云主機(jī)做康槍置

伸縮組內(nèi)云主機(jī)=不健康

負(fù)載均衡健康檢查:負(fù)載均衡器自帶的健康檢查機(jī)制,需設(shè)

置健康檢查寬限時(shí)間(伸縮組內(nèi)云主機(jī)創(chuàng)建啟動(dòng)后的一段時(shí)間)

,在該時(shí)間內(nèi),云主機(jī)相關(guān)應(yīng)用服務(wù)可能仍在啟動(dòng)中,伸縮組不

進(jìn)行負(fù)載均衡健康檢查,超過該時(shí)間,將基于負(fù)載均衡健康檢查

機(jī)制監(jiān)控云主機(jī)健康狀態(tài)。

云主機(jī)健康檢查:實(shí)時(shí)檢查云主機(jī)健康狀態(tài),若檢測到云主

機(jī)處于不健康狀態(tài)(包括:停止?fàn)顟B(tài)、未知狀態(tài)、已刪除狀態(tài))

,將自動(dòng)移除不健康云主機(jī)并創(chuàng)建新的云主機(jī),確保組內(nèi)健康云

主機(jī)數(shù)不低于設(shè)置的最小值。

26

伸縮策略

彈性伸縮組支持根據(jù)虛擬機(jī)的CPU或內(nèi)存平均使用率進(jìn)行伸縮

操作。當(dāng)業(yè)務(wù)負(fù)載較大時(shí),如果持續(xù)一定的時(shí)間超過觸發(fā)條件閾

值,則根據(jù)預(yù)先設(shè)定的步長,一次性擴(kuò)展特定數(shù)量的虛擬機(jī)。當(dāng)

執(zhí)行完一次擴(kuò)展以后,伸縮組會(huì)處于鎖定的狀態(tài),需要等待一個(gè)

冷卻時(shí)間再進(jìn)行下一次擴(kuò)展。

當(dāng)業(yè)務(wù)訪問量下降時(shí),如果持續(xù)一定的時(shí)間低于觸發(fā)條件閾

值,則根據(jù)預(yù)先設(shè)定的步長,一次性移除特定數(shù)量的虛擬機(jī)。當(dāng)

執(zhí)行完一次收縮以后,伸縮組會(huì)處于鎖定的狀態(tài),需要等待一個(gè)

冷卻時(shí)間再進(jìn)行下一次收縮。

GPU.AI支持

構(gòu)建醫(yī)院大數(shù)據(jù)平臺(tái),對接醫(yī)院各醫(yī)療業(yè)務(wù)系統(tǒng),抽取分散

的數(shù)據(jù),通過大數(shù)據(jù)平臺(tái)的對比,轉(zhuǎn)換、質(zhì)量等數(shù)據(jù)治理工作構(gòu)

建醫(yī)院大數(shù)據(jù)倉庫,為數(shù)據(jù)分析和AI學(xué)習(xí)提供統(tǒng)一數(shù)據(jù)API接口

,經(jīng)過大數(shù)據(jù)平臺(tái)數(shù)據(jù)建模,模型訓(xùn)練等工作為醫(yī)院提供院長駕

駛倉等數(shù)據(jù)可視化服務(wù),通過GPU大數(shù)所算法協(xié)助醫(yī)生快速識(shí)片

,輔助診療。

超融合平臺(tái)云主機(jī)支持將物理服務(wù)器上的GPU(

GraphicProcessingUnit)直接分配給特定的虛擬機(jī)來提升虛擬

機(jī)的處理能力,以滿足客戶對于圖像視頻處理、AI計(jì)算等高性能

處理的需求。

用戶可根據(jù)GPU的功能對GPU進(jìn)行區(qū)分管理,比如訓(xùn)練和推理

27

O當(dāng)用戶在超融合云平臺(tái)中使用機(jī)器學(xué)習(xí)時(shí),用戶可創(chuàng)建訓(xùn)練集

群,并在集群中統(tǒng)一配置比如V100,當(dāng)訓(xùn)練完成以后再將特征模

型轉(zhuǎn)移到專有的推理T4(生產(chǎn))集群中上線。另外,再配合GPU

規(guī)格的高可用,當(dāng)某一集群的物理機(jī)出現(xiàn)故障時(shí),云主機(jī)可快速

遷移至同集群中的另一個(gè)物理機(jī)上并自動(dòng)掛載GPU,可保證訓(xùn)練

、推理任務(wù)的連續(xù)性,極大地提高生產(chǎn)效率。

L2等級(jí)保護(hù)2.0系統(tǒng)建設(shè)方案

1.2.1整體分析

等保2.0編訂過程中,最重要的一個(gè)變化,是從條例法規(guī)提升

到法律層面,2017年6月1日正式施行的《網(wǎng)絡(luò)安全法》明確要求

,“施行網(wǎng)絡(luò)安全等級(jí)保護(hù)制度”,“針對公共通信和信息服務(wù)

、能源、交通、水利、金融、公共服務(wù)、電子政務(wù)等重要行業(yè)和

領(lǐng)域,在網(wǎng)絡(luò)安全等級(jí)保護(hù)制度的基礎(chǔ)上,施行重點(diǎn)保護(hù)”,同

時(shí)明確違法后的法律責(zé)任。

在標(biāo)準(zhǔn)要求方面,進(jìn)行了新增和優(yōu)化。等保2.0標(biāo)準(zhǔn)在L0標(biāo)

準(zhǔn)的基礎(chǔ)上,注重全方位主動(dòng)防御、安全可信、動(dòng)態(tài)感知和全面

審計(jì),實(shí)現(xiàn)了對傳統(tǒng)信息系統(tǒng)、基礎(chǔ)信息網(wǎng)絡(luò)、云計(jì)算、大數(shù)據(jù)

、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)和工業(yè)控制信息系統(tǒng)等保護(hù)對象的全覆蓋。

在設(shè)計(jì)架構(gòu)上,等保2.0充分體現(xiàn)了“一個(gè)中心三重防御”的思

想,一個(gè)中心指“安全管理中心”,三重防御指“安全計(jì)算環(huán)境

、安全區(qū)域邊界、安全網(wǎng)絡(luò)通信”,同時(shí)等保2.0強(qiáng)化可信計(jì)算

安全技術(shù)要求的使用。

28

另外,等保2.0在安全體系建設(shè)方面,從被動(dòng)防御的安全體系

向事前預(yù)防一、事中響應(yīng)、事后審計(jì)的動(dòng)態(tài)保障體系轉(zhuǎn)變,通過等

保2.0,旨在構(gòu)建覆蓋關(guān)鍵基礎(chǔ)設(shè)施安全的風(fēng)險(xiǎn)管理體系、安全

管理體系、安全技術(shù)體系、網(wǎng)絡(luò)信任體系,共同構(gòu)建網(wǎng)絡(luò)安全綜

合防御體系。

網(wǎng)絡(luò)安全戰(zhàn)略規(guī)劃目標(biāo)

總體安全策略國

國國家超婺色級(jí)保護(hù)制度

網(wǎng)

定級(jí)備案安全嫌設(shè)等級(jí)測評安全整改監(jiān)督檢查

絡(luò)

網(wǎng)

機(jī)

應(yīng)

態(tài)

隊(duì)

經(jīng)

絡(luò)

報(bào)

術(shù)

費(fèi)

規(guī)

監(jiān)

預(yù)

訓(xùn)

設(shè)

設(shè)

設(shè)

級(jí)

網(wǎng)絡(luò)安全綜合防御體系

風(fēng)險(xiǎn)管理體系安全管理體系安全技術(shù)體系網(wǎng)絡(luò)信任體系護(hù)

規(guī)

安全管理中心策

標(biāo)

通信網(wǎng)絡(luò)區(qū)域邊界計(jì)算環(huán)境

準(zhǔn)

等級(jí)保護(hù)對象依

與此同時(shí),網(wǎng)絡(luò)安全法相關(guān)政策體系以及等級(jí)保護(hù)標(biāo)準(zhǔn)體系

的構(gòu)建,形成企事業(yè)單位、各級(jí)機(jī)構(gòu)的全面網(wǎng)絡(luò)安全保護(hù),從法

律和標(biāo)準(zhǔn)層面確定網(wǎng)絡(luò)安全綜合防御體系的指導(dǎo)方向。

1.2.2等保1.0問題分析

等保1.0標(biāo)準(zhǔn)為信息系統(tǒng)進(jìn)行網(wǎng)絡(luò)安全建設(shè)提供了建設(shè)依據(jù),

在推進(jìn)過程中,包括稅務(wù)、教育、光電、金融、煙草等行業(yè)也專

門出臺(tái)了行業(yè)標(biāo)準(zhǔn)進(jìn)行進(jìn)一步規(guī)范和指導(dǎo),但隨著新技術(shù)的不斷

發(fā)展、網(wǎng)絡(luò)安全整體呈現(xiàn)新形勢、安全方面不斷產(chǎn)生新需求、亟

29

待擴(kuò)大等級(jí)保護(hù)標(biāo)準(zhǔn)內(nèi)容,以適應(yīng)突飛猛進(jìn)的信息化發(fā)展速度。

等保2.0在制定過程中,根據(jù)等保1.0執(zhí)行中的多種問題,進(jìn)

行針對性設(shè)計(jì)和提高,如以下問題:

大部分單位只為合規(guī)而開展等保,通過對標(biāo)和設(shè)備堆疊達(dá)到

合規(guī)的效果,但缺少體系性考慮和真正有效的風(fēng)險(xiǎn)處置能力,無

法真正提升安全防護(hù)水平。

傳統(tǒng)等保要求以被動(dòng)防御為主,對事前、事中和事后的閉環(huán)

安全保障能力要求較少,大部分等保合規(guī)系統(tǒng)遭受攻擊后,難以

主動(dòng)分析、及時(shí)響應(yīng)、快速發(fā)現(xiàn)。

信息技術(shù)的快速發(fā)展和迭代,導(dǎo)致等級(jí)保護(hù)缺少對新技術(shù)的

安全要求,使云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等一系列新技術(shù)應(yīng)用缺乏

有效安全要求和管控措施。

APT、郵件釣魚、虛擬機(jī)逃逸、物聯(lián)感知設(shè)備挾持等新的安全

威脅和新的攻擊手段帶來了很多新的安全風(fēng)險(xiǎn),等級(jí)保護(hù)要求中

缺乏響應(yīng)的安全措施要求。

1.2.3等保2.0變化分析

標(biāo)準(zhǔn)未變化的部分

等保2.。雖然有較多的調(diào)整,但是原標(biāo)準(zhǔn)要求要求的各級(jí)主體

責(zé)任及五項(xiàng)工作要求未有變化。

等保2.0等級(jí)保護(hù)主體職責(zé)不變

1、運(yùn)營使用單位對系統(tǒng)的等級(jí)保護(hù)職責(zé)不變。

2、上級(jí)主管單位對所屬單位的安全管理職責(zé)不變。

30

3、第三方測評機(jī)構(gòu)對已定級(jí)信息系統(tǒng)的安全評估職責(zé)不變。

4、網(wǎng)安對信息系統(tǒng)的備案受理及監(jiān)督檢查職責(zé)不變。

等級(jí)保護(hù)的五項(xiàng)工作不變

根據(jù)等保2.0的相關(guān)標(biāo)準(zhǔn),原有的五項(xiàng)工作:定級(jí)、備案、建

設(shè)整改、等級(jí)測評、監(jiān)督檢查不變,內(nèi)容根據(jù)具體控制項(xiàng)有微調(diào)

O

標(biāo)準(zhǔn)變化的部分

等保2.0相對等保1.0,主要在法律法規(guī)、標(biāo)準(zhǔn)要求、安全體

系、實(shí)施環(huán)節(jié)四個(gè)內(nèi)容具有較大變化,本方案有關(guān)法律法規(guī)的要

求在2.1章節(jié)中有部分闡述。本方案將主要針對安全體系、實(shí)施

過程和標(biāo)準(zhǔn)要求進(jìn)行分析和解讀。

1.2.33安全體系變化分析

在《GBT22239-2019信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求

》內(nèi),“附錄2關(guān)于等級(jí)保護(hù)對象整體安全保護(hù)能力的要求”中

,明確要求“應(yīng)考慮一下總體性要求”“構(gòu)建縱深的防御體系”

“采取互補(bǔ)的安全措施”“保證一致的安全強(qiáng)度”“建立統(tǒng)一的

支撐平臺(tái)”“進(jìn)行集中的安全管理”。

附錄3等級(jí)保護(hù)安全框架和關(guān)鍵技術(shù)使用要求,提出“應(yīng)針對

等級(jí)保護(hù)對象特點(diǎn)建立安全技術(shù)體系和安全管理體系,構(gòu)建具備

相應(yīng)等級(jí)安全保護(hù)能力的網(wǎng)絡(luò)安全綜合防御體系。應(yīng)依據(jù)網(wǎng)絡(luò)安

全等級(jí)保護(hù)政策和標(biāo)準(zhǔn),開展組織管理、機(jī)制建設(shè)、安全規(guī)劃、

安全監(jiān)測、通報(bào)預(yù)警、應(yīng)急處置、態(tài)勢感知、能力建設(shè)、監(jiān)督檢

31

查、技術(shù)檢測、安全可控、隊(duì)伍建設(shè)、教育培訓(xùn)和經(jīng)費(fèi)保障等工

作?!?/p>

由此以及具體的技術(shù)控制項(xiàng)的調(diào)整,可以確定,等保2.0由

1.0防御審計(jì)的被動(dòng)保障向感知預(yù)警、動(dòng)態(tài)防護(hù)、安全監(jiān)測、應(yīng)

急響應(yīng)的主動(dòng)保障體系全面轉(zhuǎn)變。

實(shí)施過程變化分析

等保2.0的實(shí)施過程,五項(xiàng)工作的流程未做變化,但根據(jù)標(biāo)準(zhǔn)

,定級(jí)和測評要求有明顯增加和修訂。

1、定級(jí)變化

等保2.0在原有等保1.0定級(jí)對象的定義上,進(jìn)行了擴(kuò)充和明

確。將等保

1.0等級(jí)保護(hù)定級(jí)的對象“信息系統(tǒng)”,調(diào)整為“基礎(chǔ)信息網(wǎng)

絡(luò)、工業(yè)控制系統(tǒng)、云計(jì)算平臺(tái)、物聯(lián)網(wǎng)、使用移動(dòng)互聯(lián)技術(shù)的

網(wǎng)絡(luò)、其他網(wǎng)絡(luò)以及大數(shù)據(jù)等多個(gè)系統(tǒng)平臺(tái)”,并會(huì)在正在修訂

的《網(wǎng)絡(luò)安全等級(jí)保護(hù)定級(jí)指南》中,進(jìn)一步明確。

在定級(jí)要素與安全保護(hù)等級(jí)的關(guān)系中,受侵害的客體為“公

民、法人和其他組織的合法權(quán)益”,侵害程度為“特別嚴(yán)重?fù)p害

”,由等保1.0中的定級(jí)“第二級(jí)”調(diào)整為“第三級(jí)”。

2、測評的變化

在本次等保2.0發(fā)布后,控制項(xiàng)內(nèi)容進(jìn)行精簡合并,但總評分

要求從60分以上,基本符合調(diào)整為75分以上基本符合,提高了符

合要求。同時(shí)微調(diào)測評時(shí)間間隔,將第三級(jí)系統(tǒng)、第四級(jí)系統(tǒng)合

并為“第三級(jí)以上系統(tǒng)每年一次”。

32

L2.3.5標(biāo)準(zhǔn)控制項(xiàng)變化分析

從控制項(xiàng)的變化來看,等保2.0更加精簡,但實(shí)質(zhì)上內(nèi)涵更加

豐富完善。

等保級(jí)別等保二級(jí)控制項(xiàng)等保三級(jí)控制項(xiàng)

等保1.0175290

等保2.0135211

等保2.0第三級(jí)安全要求結(jié)構(gòu):

「財(cái)通電,睇]懶聯(lián)W眼£]

磁安致

安全明要求nrniw

■求

?安州性陶噌領(lǐng)顫康?安致野既,給颼涮!

?安例剛1,峭腳貓?安全名就界?安金曲淵,蛉岫踹

諼然鼬界?安始勤界?安氨澳酒?史致順怎

?安全i傾助?支領(lǐng)?谿理,安領(lǐng)雄號(hào)理?安的瓶粳

?史金醐汕,貽翔里?的m3

?安維M?安釵役第

,安絹S順亞麗理

?安緒理人員

,安維幅

以等保三級(jí)為例,以下是1.0到2.。各控制點(diǎn)變化情況表。

等保L0原控制點(diǎn)等保2.0新控制點(diǎn)

結(jié)構(gòu)安全網(wǎng)絡(luò)架構(gòu)

通信傳輸

訪問控制安全區(qū)域邊界

網(wǎng)絡(luò)安全可信驗(yàn)證

(三重防御)

邊界防護(hù)

安全審計(jì)

訪問控制

33

邊界完整性檢入侵防范

查惡意代碼和垃圾郵

安全審計(jì)

入侵防范

可信驗(yàn)證

系統(tǒng)管理

惡意代碼防范

安全管理中心審計(jì)管理

(一個(gè)中心)安全管理

網(wǎng)絡(luò)設(shè)備防護(hù)

集中管控

身份鑒別身份鑒別

訪問控制訪問控制

安全審計(jì)安全審計(jì)

主機(jī)安全剩余信息保護(hù)

入侵防范

入侵防范

惡意代碼防范

惡意代碼防范

資源控制

身份鑒別

可信驗(yàn)證

訪問控制

安全計(jì)算環(huán)境

安全審計(jì)

(二重防御)數(shù)據(jù)完整性

剩余信息保護(hù)

應(yīng)用安全通信完整性

數(shù)據(jù)保密性

通信保密性

抗抵賴

數(shù)據(jù)備份恢復(fù)

軟件容錯(cuò)

資源控制

剩余信息保護(hù)

數(shù)據(jù)安全數(shù)據(jù)完整性

及備份恢?jǐn)?shù)搞呆密性

個(gè)人信息保護(hù)

復(fù)備份和恢復(fù)

34

等保1.0原控制點(diǎn)等保2.0新控制點(diǎn)

管理制度安全策略

安全管理制定和發(fā)布安全管理制管理制度

制度度制定和發(fā)布

評審和修訂

評審和修訂

環(huán)境管理環(huán)境管理

資產(chǎn)管理資產(chǎn)管理

介質(zhì)管理介質(zhì)管理

設(shè)備管理設(shè)備維護(hù)管理

監(jiān)控管理和安全

漏洞和風(fēng)險(xiǎn)管理

管中心

網(wǎng)絡(luò)安全管理網(wǎng)絡(luò)和系統(tǒng)安全

惡意種花防范管

系統(tǒng)運(yùn)維系統(tǒng)安全管理

安全運(yùn)維管理

管理惡意代碼防范管

配置管理

密碼管理密碼管理

變更管理變更管理

備份與恢復(fù)管理備份與恢復(fù)管理

安全事件處置安全事件處置

應(yīng)急預(yù)案管理

應(yīng)急預(yù)案管理

外包運(yùn)維管理

等保2.0的具體類目變化中,值得關(guān)注的變化是在等保二級(jí)以

上要求中,將L0的管理制度中的“安全管理中心”獨(dú)立為一個(gè)

要求大類,包括“系統(tǒng)管理、審計(jì)管理、安全管理、集中管控“

等,為了滿足等保2.。的核心變化一一從被動(dòng)防御轉(zhuǎn)變?yōu)橹鲃?dòng)防

御、動(dòng)態(tài)防御。同時(shí)完善的網(wǎng)絡(luò)安全分析能力、未知威脅的檢測

35

能力將成為等保2.0的關(guān)鍵需求。

1.2.4基本要求和對應(yīng)產(chǎn)品技術(shù)

根據(jù)本次等保2.0通用要求中,在“一個(gè)中心三重防御”的思

想下,進(jìn)行具體技術(shù)和服務(wù)拆分,對技術(shù)控制項(xiàng)及管理控制項(xiàng)進(jìn)

行二次分解,建議在整體控制項(xiàng)要求中,根據(jù)技術(shù)和服務(wù)形態(tài),

形成以下控制點(diǎn)對應(yīng)的技術(shù)和服務(wù)初步對應(yīng)建議。

安全子類控制要求實(shí)現(xiàn)機(jī)制等保2.0第三級(jí)產(chǎn)品清單

物理環(huán)境選擇、

物理訪問控制、電子門禁系統(tǒng)、視頻監(jiān)

防盜竊和防破壞控系統(tǒng)、防雷保安器、火災(zāi)

機(jī)房建設(shè)、

安全物理、防雷擊、防火自動(dòng)消防系統(tǒng)、水敏感檢測

物理安全策

環(huán)境、防水和防潮、儀、靜電消除器、中央空調(diào)

防靜電、溫濕度、防靜電設(shè)施、穩(wěn)壓器、

控制、電力供應(yīng)UPS、冗余供電、電磁屏蔽

、電磁防護(hù)

網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)架構(gòu)優(yōu)防火墻、流控、設(shè)備冗余

化、安全區(qū)SSLVPNIPSEC

通信傳輸

安全通信域劃分、安VPN

網(wǎng)絡(luò)全產(chǎn)品集成

可信驗(yàn)證、帶寬控制、可信計(jì)算(可)

設(shè)備冗余

防火墻、非法內(nèi)外聯(lián)

邊界防護(hù)安全區(qū)域劃(三級(jí)增加)、無線安全網(wǎng)

安全區(qū)域分、安全產(chǎn)關(guān)(三級(jí)增加)

邊界品集成、安

防火墻、WAF(三級(jí)增加)

訪問控制全策略配置

、數(shù)據(jù)庫防火墻

36

IDS、APT(三級(jí)增加)、

入侵防范

DPI(三級(jí)增加)

惡意代碼和垃圾

防毒墻、反垃圾郵件網(wǎng)關(guān)

郵件

集中日志審計(jì)、上網(wǎng)行為

安全審計(jì)管理(三級(jí)增加八遠(yuǎn)程

用戶管理(三級(jí)熠加)

可信驗(yàn)證可信計(jì)算(可)

雙因素、PIK/CA(三級(jí)

身份鑒別

增加)

訪問控制堡壘機(jī)、服務(wù)器加固

包括操作系統(tǒng)集中日志審計(jì)、運(yùn)維審計(jì)

安全審計(jì)

安全加固、數(shù)、數(shù)據(jù)庫審計(jì)

據(jù)庫安全加固

主機(jī)入侵檢測、主機(jī)補(bǔ)丁

安全計(jì)算、中間件安全

入侵防范管理、網(wǎng)頁防篡改、WEB

環(huán)境加固、網(wǎng)絡(luò)設(shè)

應(yīng)用防護(hù)

備安全配置加

惡意代碼防范主機(jī)防病毒

固、應(yīng)用安全

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論