




版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
智慧校園數(shù)據(jù)中心方案建議書目錄TOC\h\z\t"標題1,1,標題2,2,標題3,3,標題7,1,標題8,2,標題9,3,Heading1NoNumber,1"1項目概述 41.1學院數(shù)據(jù)中心IT系統(tǒng)建設需求 41.2學院教育信息化云數(shù)據(jù)中心平臺建設的目標 42方案總體設計 62.1設計依據(jù) 62.2設計原則 63數(shù)據(jù)中心基礎設施設計 83.1方案整體規(guī)劃 83.2網(wǎng)絡平臺設計方案 143.2.1防火墻特性描述 143.2.2數(shù)據(jù)中心交換機特性描述 153.3服務器平臺設計方案 173.3.1機架服務器技術介紹 173.3.2服務器平臺配置規(guī)劃 183.3.3服務器虛擬化方案 193.4存儲平臺架構設計方案 213.4.1存儲需求分析 213.4.2存儲平臺規(guī)劃 223.4.3存儲牢靠性設計 243.4.4存儲高效率設計 253.4.5存儲網(wǎng)絡設計 283.4.6異構存儲的融合 283.4.7存儲雙活具體設計 303.5華為云平臺技術方案 413.5.1華為云平臺簡介 413.5.2云數(shù)據(jù)中心管理 433.5.3華為桌面云及應用虛擬化 464配置參數(shù) 48項目概述學院數(shù)據(jù)中心IT系統(tǒng)建設需求本次數(shù)據(jù)中心云平臺的主要應用場景是“學院數(shù)字化校園云數(shù)據(jù)中心”,主要承載學院數(shù)字化校園數(shù)據(jù)中心平臺,服務全院約2萬余師生,建成之后的云平臺除了承載學院數(shù)字化校園業(yè)務,將來可將現(xiàn)有多業(yè)務系統(tǒng)整合并統(tǒng)一納入該平臺,形成學院統(tǒng)一規(guī)劃、管理的云數(shù)據(jù)中心。學院教育信息化云數(shù)據(jù)中心平臺建設的目標構建學院統(tǒng)一云數(shù)據(jù)中心平臺,承接數(shù)字化校園業(yè)務,并且將學院現(xiàn)有數(shù)據(jù)中心硬件設備整合,通過云計算形成一個物理上分散但邏輯上集中的統(tǒng)一云數(shù)據(jù)平臺,為學院信息化各種應用系統(tǒng)順利運行供應硬件環(huán)境的支撐。構建統(tǒng)一的、符合教育部教育信息化行業(yè)標準及相關教育資源建設標準(SCORM、LOM、CELTS—42、CELTS—41.1等)的數(shù)據(jù)庫基礎平臺。建設學院統(tǒng)一認證體系,為云平臺供應統(tǒng)一的用戶身份管理、權限配置管理、資源配置管理、身份同步服務等及各應用系統(tǒng)基礎信息(用戶信息、權限信息、配置信息、認證信息、授權信息等)的統(tǒng)一管理與服務。構建符合學院教育需求、體現(xiàn)學院特色、具備創(chuàng)新應用的、功能完備的,為全院2萬余師生,供應教育管理、教育科研、教學應用的教育信息化公共服務平臺。方案總體設計設計依據(jù)《國家中長期教育改革和進展規(guī)劃綱要》《教育信息化十年進展規(guī)劃(2011-2020年)》《國家教育事業(yè)進展第十二個五年規(guī)劃》《教育行業(yè)用戶需求及進展策略研究報告》設計原則開放和利舊原則考慮到學院現(xiàn)有硬件設備及將來擴展,此次云平臺系統(tǒng)開放接口、可全面融合現(xiàn)有硬件(利用高牢靠虛擬化技術池化計算、存儲資源),具有可充分利舊、全面開放的規(guī)劃特點。先進原則采用前瞻、主流且成熟的技術手段,利用虛擬化技術及存儲雙活、業(yè)務高可用性等技術保證云平臺數(shù)據(jù)中心架構合理、牢靠并具有確定前瞻性。有用原則在系統(tǒng)交互界面供應簡潔、直觀的中文交互界面,便于使用及后期維護,并且整個系統(tǒng)設計具有按需安排特點,是具有彈性的資源整合平臺,系統(tǒng)具有高效率,高有用的特點。穩(wěn)定原則系統(tǒng)架構設計成熟、并在高校有廣泛應用,具有高牢靠、高穩(wěn)定特點,滿意老師、學生、管理者正常的使用要求。數(shù)據(jù)中心基礎設施設計方案整體規(guī)劃本方案采用高校云平臺建設最成熟并最有廣泛性的架構構成整個硬件平臺的搭建。學院共有900余名教職工和接近2萬的在校學生,本次系統(tǒng)旨在滿意校內(nèi)師生各類數(shù)據(jù)業(yè)務。依據(jù)學校數(shù)字化校園業(yè)務系統(tǒng)規(guī)劃及參考其他院校建設建設閱歷,方案建議:虛機資源:至少可承載200個虛機應用;存儲資源:至少100TB可用空間(老師900人*30GB,學生20000人*3GB);I/O資源:新增服務器與存儲之間的數(shù)據(jù)流交互用16GbFC、與網(wǎng)絡之間采用10Gb,老舊服務器采用1Gb連接。具體配置方案如下:網(wǎng)絡平臺采用華為2臺S7706萬兆機敏交換機(每臺配置8個萬兆電口和48個GE電口的設備,其中,萬兆用于本次的6臺服務器接入,千兆用于老舊服務器的接入)作為服務器區(qū)的數(shù)據(jù)交換,兩臺設備之間做堆疊,增加設備牢靠性,2臺USG6650高性能防火墻確保全網(wǎng)平安;數(shù)據(jù)庫服務器采用2臺華為RH5885HV3高性能高牢靠4路服務器;RH5885HV3的RAS特性值高達53項,完全可以滿意對數(shù)據(jù)庫業(yè)務的支撐。虛擬化軟件和云平臺管理軟件用華為的FusionSphere軟件,服務器采用4臺4路服務器RH5885HV3,每臺物理服務器配置4顆14核處理器,512GBDDR4內(nèi)存,可供應224個Core和2048GB內(nèi)存空間,去除部分冗余(其上部署虛擬化軟件,實現(xiàn)硬件資源云化),可支持200個以上虛機應用,其中輕載虛機占50%(100個,配置為1C+4G)、中載虛機40%(80個,配置為2C+8G)、重載10%(20個,配置為8C+32G)??蓪F(xiàn)有計算資源統(tǒng)一納入云平臺系統(tǒng)以整合資源,統(tǒng)一管理。服務器利舊,充分利用虛擬化技術的先進性,將現(xiàn)網(wǎng)30余臺兩路x86服務器云化,與新增的服務器形成統(tǒng)一的云計算資源池,統(tǒng)一管理運維,給學校供應云化的服務。底層存儲用OceanStorV3系列的雙活存儲,采用一套用于本地雙活的陣列雙活軟件,可組成嚴格意義上RPO為零的本地雙活存儲系統(tǒng)。可將原有存儲利舊,形成存儲系統(tǒng)資源池化,在充分利舊的基礎上,實現(xiàn)數(shù)據(jù)的高牢靠。單臺存儲配置10塊600GBSSD硬盤和26塊6TB7200RPMNLSAS硬盤,組成混合型硬盤的存儲資源池,SSD硬盤可承載低時延、高IO并發(fā)的業(yè)務,NLSAS硬盤承載大容量的業(yè)務,10塊600GBSSD硬盤做RAID10(可用存儲:RAID冗余:熱備空間比例為4:4:2)可供應4TB的可用存儲空間,26塊6TBNLSAS硬盤做RAID6(可用存儲:RAID冗余:熱備空間比例為16:8:2),可供應96TB的可用存儲空間,總可用空間為100TB。上圖是本方案設計的整體架構示意圖:主機應用系統(tǒng)采用高性價比、易擴展的4路14核512GDDR4機架服務器;存儲采用SAN+NAS集群雙活存儲架構,支持異構虛擬化,實現(xiàn)系統(tǒng)數(shù)據(jù)的高效率與高牢靠性的存取,采用scale-out的架構可以做到系統(tǒng)容量與性能的線性增長,減輕業(yè)務系統(tǒng)的整體壓力,高牢靠性的磁盤陣列可以幫忙客戶的業(yè)務數(shù)據(jù)長期保存在陣列中,保護用戶數(shù)據(jù)投資;而學校的辦公系統(tǒng)需要簡潔,易用,供應親和用戶界面與智能維護管理界面,并且系統(tǒng)應具體平滑擴容的能力,良好的對系統(tǒng)的各子系統(tǒng)問題具備綜合定位分析及故障恢復能力,從而降低對業(yè)務的影響,針對本項目供應了端到端的高牢靠虛擬化解決方案級產(chǎn)品:產(chǎn)品主要部件(服務器、存儲、虛擬化平臺、用戶終端)均可供應華為自研產(chǎn)品,整體交付,專業(yè)維護團隊支撐,兼容性好。兩臺OceanStor5500V3之間既可以形成雙活存儲系統(tǒng),又可以對原有兩臺存儲進行異構虛擬接管,與新建存儲系統(tǒng)形成新的統(tǒng)一存儲資源池,可以提高資源利用率,降低客戶總體TCO。云平臺采用華為FusionManager對計算、存儲、網(wǎng)絡進行虛擬化管理,華為云平臺操作系統(tǒng)由虛擬基礎設施套件和云基礎服務套件組成,并支持將現(xiàn)有30余臺2路老舊服務虛擬化并納入統(tǒng)一資源池,同時可為桌面云供應計算、存儲資源。打造”智慧校園云平臺”開放平臺,支撐多種教學應用與創(chuàng)新統(tǒng)一平臺,園區(qū)內(nèi)教學資源協(xié)同與共享高效運行與統(tǒng)一維護跨域資源管理:多個校區(qū)共享計算與存儲資源,實現(xiàn)資源的統(tǒng)一調度;統(tǒng)一的平臺與網(wǎng)絡助力教育資源的快捷共享,各校區(qū)的學生經(jīng)過授權可訪問數(shù)據(jù)中心的資源;統(tǒng)一的管理維護最大程度降低維護成本;支持平滑擴展,保證業(yè)務快速上線;智能管控,支持軟件自動分發(fā)、故障隔離與修復本數(shù)據(jù)中心的IT業(yè)務平臺主要用于支撐業(yè)務數(shù)據(jù)計算與存儲應用系統(tǒng),它由服務器平臺、存儲平臺與云計算等幾部分組成。依據(jù)學院的業(yè)務模式可將業(yè)務分為如下若干個系統(tǒng):1OA辦公平臺2統(tǒng)一信息門戶平臺3統(tǒng)一身份認證平臺4數(shù)字化校園平臺5網(wǎng)站公開平臺……我們可將這些系統(tǒng)的應用服務器部署到云平臺上,虛擬化服務器通過FCSAN交換機與存儲系統(tǒng)連接,底層采用兩套存儲通過FCSAN交換機相連,組成主備模式的存儲系統(tǒng),保證數(shù)據(jù)零丟失。網(wǎng)絡平臺設計方案防火墻特性描述T級性能、多合一、高牢靠的網(wǎng)絡平安防護:全面一體化防護一機多能,集傳統(tǒng)防火墻、VPN、入侵防守、防病毒、數(shù)據(jù)防泄漏、帶寬管理、上網(wǎng)行為管理等功能于一身,簡化管理。精細化帶寬管理,可基于應用、網(wǎng)站分類制定QoS優(yōu)先級,確保關鍵業(yè)務帶寬并優(yōu)先轉發(fā)。聯(lián)動沙箱,高效發(fā)覺未知威逼,有效防范零日攻擊。精準的訪問把握通過應用、內(nèi)容、時間、用戶、威逼和位置六個維度的組合,感知日益增多的應用層威逼。準確識別6000+應用,精細地進行訪問把握和業(yè)務加速。豐富的報表系統(tǒng),將業(yè)務狀態(tài)、網(wǎng)絡環(huán)境、平安態(tài)勢、用戶行為全方位可視化呈現(xiàn),幫忙用戶全面掌控網(wǎng)絡平安。簡潔的平安管理內(nèi)置常用場景防護策略模板,使用者無需過多閱歷也可快速部署策略。遵循最小權限把握原則,依據(jù)網(wǎng)絡中的實際流量和應用的風險,自動生成策略優(yōu)化建議。智能發(fā)覺長期未使用的冗余、失效策略,有效把握策略規(guī)模,簡化管理。最高的性能體驗統(tǒng)一的應用識別和威逼描述語言,一次性完成報文解析。IAE單次解析引擎,感知應用信息后,多重防護并行處理。專用內(nèi)容檢測硬件加速,提升應用層防護效率,保障多重防護下的最佳性能。數(shù)據(jù)中心交換機特性描述彈性、虛擬、機敏、高品質數(shù)據(jù)中心核心交換機:高密度千兆接入,容量超群S7706供應16個全線速10GE接口、48個全線速GE接口,高密的萬兆/千兆接入滿意云時代數(shù)據(jù)中心服務器規(guī)模不斷增長的需求;S7706通過不同的板卡選型,機敏適用于不同服務器密度的機架,滿意數(shù)據(jù)中心機房的各類布線需求,本次配置16口萬兆和48口千兆板卡。CSS簡化數(shù)據(jù)中心網(wǎng)絡管理通過業(yè)界領先的CSS(ClusterSwitchSystem)技術可以把多臺物理核心交換機虛擬成一臺邏輯交換機,簡化網(wǎng)絡管理且提高牢靠性;支持專用的堆疊信令端口,把握通道和業(yè)務通道物理隔離,增加牢靠性;采用業(yè)務口集群技術,最大可支持80KM超遠距離集群;強大的業(yè)務處理能力,提升網(wǎng)絡架構擴展性背板具備良好的擴展性,可平滑擴展至更高帶寬,支持單端口速率40G、100G平滑升級,同時完善兼容現(xiàn)網(wǎng)板卡,保護初始投資。超高萬兆端口密度,支持2*100GE高密線速板卡,單臺設備最大支持480個10GE端口,24個100GE端口,充分滿意數(shù)據(jù)訪問等大帶寬應用需求。運營級高牢靠性設計,可視化故障診斷S7706具備超越5個9的高牢靠性,主控、電源、風扇框等關鍵部件采用冗余設計,全部模塊均支持熱插拔。專用的故障檢測定位子卡,供應硬件BFD,供應3.3ms高精度硬件級以太OAM功能,802.3ah、802.1ag和ITU-Y.1731標準協(xié)議,網(wǎng)絡故障發(fā)生時能夠在第一時間檢測全部終端Session聯(lián)通性,圖形化網(wǎng)管故障診斷界面,設備節(jié)點、鏈路自動遍歷,實現(xiàn)網(wǎng)絡快速故障檢測與定位。冗余把握引擎間主備無縫切換,設備優(yōu)雅重啟實現(xiàn)NSF無中斷轉發(fā)。支持ISSU業(yè)務運行中軟件升級,設備軟件升級過程中確保關鍵業(yè)務和服務不中斷。高性能IPv6業(yè)務能力,IPv4到IPv6平滑升級S7700軟硬件平臺均支持IPv6,取得工信部IPv6入網(wǎng)認證和IPv6Ready第二階段金色認證。支持IPv4/IPv6雙協(xié)議棧,支持多種隧道技術,支持IPv6靜態(tài)路由、RIPng、OSPFv3、BGP+、IS-ISv6、IPv6組播,滿意IPv6獨立組網(wǎng)和IPv4/IPv6混合組網(wǎng)要求。創(chuàng)新節(jié)能芯片,智能功耗把握創(chuàng)新節(jié)能芯片,實現(xiàn)按流量動態(tài)調整功率,支持端口休眠,無流量不耗電。支持IEEE802.3az能效以太網(wǎng)標準,線卡收發(fā)器具備低功率閑置模式,支持正常工作與低功率狀態(tài)快速轉換,低流量低功耗。服務器平臺設計方案機架服務器技術介紹信息化建設不僅需要考慮業(yè)務平臺的快速部署和持續(xù)擴展,同時也需要考慮信息化建設過程中為學校帶來的競爭成本開銷。信息化建設的成本不僅包括了設備采購的成本,還應考慮運營成本。包括:能源消耗、人力成本、管理成本等因素。信息化建設還應考慮和關注系統(tǒng)的集中管理維護、節(jié)能減排以及空間利用率等因素。結合這些因素,信息化建設中的通用服務器選型建議采用X86服務器架構。本方案推舉華為新一代高新能機架服務器RH5885HV3,該型號服務器具備如下優(yōu)勢。領先的計算性能:采用Intel?Xeon?IvyBridge-EX(E7-4800V3)高性能CPU,單處理器最大的內(nèi)核數(shù)量14個。系統(tǒng)DIMM數(shù)量最大支持48DIMM,內(nèi)存數(shù)量和容量提升50%,可以支持更大的數(shù)據(jù)庫和更多的虛擬機。系統(tǒng)高RAS特性,提高系統(tǒng)運行穩(wěn)定性及實現(xiàn)故障快速恢復:實現(xiàn)和移植了Intel安騰(小型機)的高級RAS特性,高達40幾項硬件RAS特性。風扇免開蓋熱插拔維護(業(yè)界服務器大多風扇內(nèi)置,需要開蓋維護)。LED診斷面板,故障定位信息更加全面和準確,現(xiàn)場操作,使故障得到快速定位和恢復。支持高溫40度長期穩(wěn)定運行(不配置SSD等大功耗卡時)。服務器平臺配置規(guī)劃綜上所述,在校園信息化建設中服務器平臺的設備選型和配置規(guī)劃如下:虛擬化服務器:推舉配置4臺華為TecalRH5885V3機架服務器作為虛擬化服務器,用于數(shù)字化校園業(yè)務計算應用。建議配置4路服務器,4CPU型號為E7-4850V3(14核),配置冗余電源、風扇、4端口以太網(wǎng)交換模塊;512GB以上DDR4內(nèi)存,2塊300GB10KSAS磁盤,RAID卡支持RAID0/1/10。服務器虛擬化軟件:推舉采用華為FusionSphere軟件。服務器虛擬化方案服務器虛擬化使用hypervisor的軟件應用程序來創(chuàng)建多個相互隔離的虛擬環(huán)境,稱為虛擬機(VM),每個VM可以傳統(tǒng)意義的物理服務器應用。服務器虛擬化后,服務器內(nèi)部的虛擬化軟件具有二層交換能力成為vSwitch。當前服務器虛擬化軟件許多,比如:華為FusionSphere、vmWare、Xen。虛擬機熱遷移特性是指在使用同一共享存儲的主機之間將處于運行態(tài)的虛擬機由當前所在的主機遷移到另一臺主機上,在遷移的過程中不影響虛擬機對外服務。HA(HighAvailability)指的是通過盡量縮短因硬件故障引起的非計劃性停機所導致的停機時間,以提高系統(tǒng)和應用的可用性。它與被認為是不間斷操作的容錯技術有所不同。HA系統(tǒng)是目前企業(yè)防止核心計算機系統(tǒng)因故障停機的最有效手段。虛擬防火墻一種是指將物理的防火墻,虛擬成多個獨立的防火墻,這是物理防火墻的功能;每個虛擬防火墻系統(tǒng)都可以被看成是一臺完全獨立的防火墻設備,可擁有獨立的系統(tǒng)資源、管理員、平安策略、用戶認證數(shù)據(jù)庫等。虛擬防火墻是硬件防火墻的特性,虛擬防火墻作用:防火墻通過在同一臺物理防火墻設備上劃分多個邏輯的防火墻實例來實現(xiàn)對業(yè)務或部門獨立平安策略的部署,虛擬防火墻極大的削減了用戶投入的資本。華為數(shù)據(jù)中心虛擬化解決方案在選擇硬件防火墻時,可以選擇支持此特性的硬件防火墻。華為服務器虛擬化解決方案支持基于共享存儲虛擬化方式(VIMS)的VM增量快照、全量快照和快照恢復,也支持VM的備份和恢復。VM備份支持全量備份和增量備份,需要與FusionSphereHyperDP一起協(xié)作使用。HyperDP可以供應依據(jù)指定策略:周期性,一次性的備份和恢復的策略配置。VIMS(VirtualImageManageSystem,虛擬鏡像管理系統(tǒng))是一種高性能的集群文件系統(tǒng),使用時先將數(shù)據(jù)存儲先格式化成VIMS格式,然后掛載到CNA上進行使用。存儲平臺架構設計方案存儲需求分析通過上一節(jié)對各業(yè)務系統(tǒng)的數(shù)據(jù)存儲需求分析可以看出,當前系統(tǒng)的數(shù)據(jù)存儲主要是基于數(shù)據(jù)庫應用類型的結構化數(shù)據(jù)。數(shù)據(jù)庫數(shù)據(jù)以結構化方式存儲,其數(shù)據(jù)存取類型為小I/O隨機讀寫,通常采用延時更低、存取效率更高的FCSAN存儲設備,存儲介質通常也建議采用更高性能、更高牢靠性的SSD或者NLSAS磁盤,既能夠提文件數(shù)據(jù)的正常存取,同時也能數(shù)據(jù)存儲的大容量、高擴展性存儲并降低數(shù)據(jù)存儲成本。綜上所述,在公司的信息化建設過程中,基于各業(yè)務系統(tǒng)的統(tǒng)一部署和規(guī)劃,所需的存儲平臺應具備以下幾方面的因素:能夠同時支持數(shù)據(jù)庫應用、服務器虛擬化應用、業(yè)務應用的數(shù)據(jù)存取,即同時供應FCSAN、IPSAN、NAS存儲服務的統(tǒng)一存儲設備。為保障核心業(yè)務系統(tǒng)的高可用性和業(yè)務連續(xù)性,存儲平臺應具備系統(tǒng)級冗余架構,同時保障關鍵應用的數(shù)據(jù)具備系統(tǒng)級鏡像保護。即能夠保障存儲平臺發(fā)生系統(tǒng)級單點故障時,數(shù)據(jù)無丟失、損壞,業(yè)務不中斷。做為高效率的基礎數(shù)據(jù)存儲平臺,它應具備業(yè)務高擴展能力,不僅是支持多業(yè)務差異化的存儲需求,同時從容量、性能、帶寬各方面也應具備良好的擴展性,從而滿意將來業(yè)務持續(xù)的擴展能力以及對當前的投資供應有效保護。存儲平臺規(guī)劃存儲平臺采用兩臺華為Oceanstor5500V3統(tǒng)一存儲設備(以下簡稱5500)作為雙活存儲,對于應用業(yè)務系統(tǒng)數(shù)據(jù),數(shù)據(jù)量大約在100TB左右。所以,此次5500存儲配置128GB緩存,配置10塊600GSSD硬盤,配置26塊6000GB7200KRPMNLSAS硬盤,劃分同一個存儲池,總裸容量為150TB,存儲總的可用容量大約在100TB左右。同時,為了提高整個存儲系統(tǒng)的資源利用率,采用“按需安排”的智能存儲空間安排策略。利用自動精簡配置軟件可創(chuàng)建比物理容量大的邏輯卷,客戶可為應用主機配置超出實際物理容量的虛擬存儲容量,降低客戶的初始購置成本。區(qū)別于平凡的精簡配置技術,華為自動精簡配置可實現(xiàn)更加精細化的空間管理,安排粒度低至8KB。同時支持空間回收技術,進一步提升了存儲資源利用率。當容量不足時,精簡配置LUN支持在線擴容,業(yè)務不受影響。精簡卷的創(chuàng)建過程非常簡潔。客戶只需配置精簡卷的名稱和大小,存儲系統(tǒng)可自動將存儲空間劃分成小塊,自動創(chuàng)建邏輯卷。存儲系統(tǒng)鏡像技術可以實現(xiàn)同一陣列之間的鏡像,鏡像方式下,鏡像數(shù)據(jù)嚴格保持一致,供應了數(shù)據(jù)高牢靠的保障。當一套存儲單元故障時,系統(tǒng)照舊可以對外供應業(yè)務,保證了業(yè)務的365×7×24小時持續(xù)訪問。通過文件鏡像功能,可以進一步保證業(yè)務系統(tǒng)數(shù)據(jù)的牢靠性保護。存儲系統(tǒng)動態(tài)分級存儲技術可以自動將不同活躍度的數(shù)據(jù)和不同特點的存儲介質動態(tài)匹配,提高存儲系統(tǒng)性能并降低用戶成本。應用在存儲動態(tài)分級中不會中斷現(xiàn)有業(yè)務,不會影響數(shù)據(jù)讀寫。對于數(shù)據(jù)存儲平臺建議采用雙活存儲平臺規(guī)劃,對于非關鍵業(yè)務系統(tǒng)可采用冷備或按需恢復的機制部署,而對于核心的關鍵業(yè)務則可通過雙存儲卷鏡像的機制保障核心關鍵業(yè)務系統(tǒng)的存儲平臺高可用,從而避開單系統(tǒng)失效帶來的業(yè)務中斷或數(shù)據(jù)丟失。雙存儲鏡像的解決方案既可以依靠于獨立的存儲虛擬化網(wǎng)關VIS6600T來實現(xiàn),也可以依靠存儲系統(tǒng)自身的同步鏡像或復制功能實現(xiàn),兩者的區(qū)別主要是在于故障恢復時間點目標(RTO)不完全相同。基于存儲部署雙活存儲軟件可以真正實現(xiàn)雙存儲同時在線,單系統(tǒng)故障無縫切換和恢復,業(yè)務完全不中斷,數(shù)據(jù)也不會有任何損壞,具備最嚴格意義的RTO為0的高可用雙存儲平臺。為滿意2套陣列之間關鍵業(yè)務存儲空間的同步鏡像部署要求,消退設備層面的單點故障,確保業(yè)務系統(tǒng)7*24小時在線運行,采用OceanStorV3存儲陣列雙活軟件。它可實現(xiàn)的功能包括:①異構品牌存儲設備資源整合與統(tǒng)一管理;②雙存儲或多存儲設備間數(shù)據(jù)卷同步鏡像功能;③異構品牌存儲設備統(tǒng)一遠程容災功能。存儲牢靠性設計設備層面牢靠性部件冗余系統(tǒng)的把握器、電源、風扇、電池、交換矩陣、鏈路等均通過冗余備份保證牢靠性,硬盤通過RAID保證牢靠性。單個引擎內(nèi)部,供電均采用1+1備份保證牢靠性。硬盤RAID保護支持RAID10/RAID5/RAID6等多種RAID保護方式硬盤故障重構硬盤故障后,通過重構將該盤的數(shù)據(jù)重新生成并寫入其他的多個硬盤上,當在線更換硬盤后,系統(tǒng)內(nèi)部會在存儲池范圍內(nèi)自動均衡;硬盤防誤拔硬盤被誤拔出并重新接入后,假如時間不超過2分鐘,硬盤自動恢復并供應業(yè)務,系統(tǒng)自動依據(jù)日志記錄將拔出后寫過的區(qū)域的數(shù)據(jù)重新寫入硬盤;假如超過2分鐘才接入原來的硬盤,則系統(tǒng)自動從全盤重構轉為依據(jù)日志記錄重寫,以減小重構數(shù)據(jù)量加速恢復過程;FRU在線更換引擎內(nèi)前端接口卡、后端接口卡、管理卡、把握器、風扇、電源、電池均支持熱更換;掉電保護系統(tǒng)特別掉電后,通過電池供電將Cache內(nèi)的臟數(shù)據(jù)寫入保險箱,供應永久的掉電數(shù)據(jù)保護DIF校驗供應從主機->陣列->硬盤的I/O全路徑、端到端DIF機制保證數(shù)據(jù)的正確性存儲高效率設計存儲為上層全部的業(yè)務系統(tǒng)供應數(shù)據(jù)存儲和數(shù)據(jù)管理服務,為了提高存儲系統(tǒng)的訪問效率,所以本次存儲系統(tǒng)通過采取以下技術手段可以大幅度提高整個存儲方案的使用效率:動態(tài)分級存儲:隨著大規(guī)模數(shù)據(jù)集中存儲的實現(xiàn),如何解決數(shù)據(jù)集中伴生的簡潔度增加、效率降低、管理成本上升的問題成為客戶面臨的又一大難題。動態(tài)分級存儲依據(jù)信息在不同的階段對于業(yè)務的價值是不同,通過智能的I/O熱度統(tǒng)計,可以精確發(fā)掘數(shù)據(jù)內(nèi)在價值,從而將數(shù)據(jù)進行合理的分布。將高Value的數(shù)據(jù)自動分布到高級別的存儲介質上,而將低Value的數(shù)據(jù)自動遷移到更加廉價的介質上。而這一切都在業(yè)務未曾感知的情況下自動完成。自動精簡配置:虛擬存儲精簡置備是一種通過機敏的按需安排存儲空間來優(yōu)化存儲利用率的方法。精簡置備可以為用戶虛擬出比實際物理存儲更大的虛擬存儲空間,只有寫入數(shù)據(jù)的虛擬存儲空間才會為之真正安排物理存儲,未寫入的虛擬存儲空間不占用物理存儲資源,從而提高存儲利用率。RAID2.0+技術:華為存儲系統(tǒng)采用RAID2.0+技術,將硬盤切成MB級別的塊大小(Chunk),以Chunk為粒度進行硬盤的資源管理。不同于傳統(tǒng)RAID固定成員盤盤的做法,陣列內(nèi)全部的硬盤被劃分為固定大小的CHUNK,系統(tǒng)自動隨機選擇多個硬盤的多個CHUNK依據(jù)RAID算法組成CKG,CKG被劃分為固定大小的數(shù)據(jù)塊(Extent)安排給不同的Volume使用。如下圖所示:RAID2.0+塊虛擬化技術RAID2.0+塊虛擬化技術相比傳統(tǒng)RAID,有效提升系統(tǒng)整體性能,主要性能優(yōu)勢:快速重構,每個物理硬盤的CHUNK會和多個硬盤的CHUNK組成RAID,單個硬盤故障后參與重構的硬盤比傳統(tǒng)方式多許多,可以極大提高重構速度,最快可以達到每TB重構30分鐘完成。硬盤自動負載均衡,Volume的數(shù)據(jù)被均勻分布到陣列內(nèi)全部的硬盤上,可以防止局部硬盤過熱,提升牢靠性。在參與業(yè)務讀寫過程中,陣列內(nèi)硬盤參與度高,有效提升系統(tǒng)性能;最大化硬盤資源利用率:1)性能——在RAID2.0+環(huán)境中,LUN基于資源池(Pool)創(chuàng)建,不再受限于RAID組磁盤數(shù)量,單個LUN的性能可得到大大提升;2)容量——由于資源池中的磁盤數(shù)量不受限于RAID級別,免除傳統(tǒng)卷管理技術環(huán)境下有些RAID組空間利用率高而有些RAID組空間利用率低的狀況,并借助LUN動態(tài)擴容,從而提升磁盤的容量利用率;提升存儲管理效率:無需花費過多的時間做存儲預規(guī)劃,只需簡潔地將多個硬盤組合成存儲池,設置存儲池的分層策略,從存儲池劃分空間(卷)即可;當需要擴容存儲池,只需插入新的硬盤,系統(tǒng)會自動的調整數(shù)據(jù)分布,讓數(shù)據(jù)均衡的分布到各個硬盤上;當需要擴容卷時,只需輸入想要擴容的卷大小,系統(tǒng)會自動從存儲池中劃分所需的空間,并自動調整卷的數(shù)據(jù)分布,使得卷數(shù)據(jù)更加均衡的分布到全部的硬盤上;存儲網(wǎng)絡設計結合本次建設需要,光纖交換機是必不可少的,用于備份組網(wǎng)的以太網(wǎng)交換機可以依據(jù)實際業(yè)務情況選擇性的建設,或者也可以與局域網(wǎng)交換機混合使用。為保障學院信息化持續(xù)建設和業(yè)務擴展的能力,光纖交換機采用主流16Gb端口速率的型號,同時端口數(shù)量也應具有可持續(xù)擴展的能力,建設初期應至少供應至少24個端口/臺,后續(xù)可隨業(yè)務擴展動態(tài)擴容,能夠通過堆疊的方式快速增加、擴展光纖端口的數(shù)量,達到數(shù)十個甚至上百個業(yè)務端口。結合以上業(yè)務規(guī)劃,建議采用2臺24端口的FC交換機。異構存儲的融合OceanStor5500V3融合存儲系統(tǒng)為異構設備供應豐富的異構虛擬化功能SmartVirtualization,該功能可以適用于業(yè)界主流廠商的存儲陣列,對于客戶現(xiàn)網(wǎng)老舊的存儲陣列。通過異構接管功能降低用戶管理不同異構陣列的簡潔度并提升異構LUN性能;通過供應異構LUN在線遷移實現(xiàn)在不斷業(yè)務的情況下實現(xiàn)異構LUN之間數(shù)據(jù)平滑的遷移;通過供應異構遠程復制技術實現(xiàn)異構LUN間的容災;通過供應異構快照技術實現(xiàn)異構LUN的快速備份。異構虛擬化化可以滿意各種場景的需求:異構陣列接管用戶的數(shù)據(jù)中心通過長期的建設,數(shù)據(jù)中心可能存在來自不同異構廠商的存儲陣列。如何很好的管理和應用好來自不同廠商的異構陣列給存儲管理員提出了很高的技術要求。存儲管理員可通過異構虛擬化接管功能,可大大降低對管理異構陣列的技術難度和簡潔度。存儲管理員只需要管理好華為陣列就能達到管理好全部異構陣列的目的,從而減輕了存儲管理員的工作負擔。其場景特點就是簡化用戶管理。異構數(shù)據(jù)搬遷用戶數(shù)據(jù)中心可能存在大量的存量異構設備,有些設備可能即將過保或性能不能再滿意業(yè)務要求,在購買華為OceanStorV3存儲后,客戶可能期望把存量LUN上的業(yè)務遷移到新購陣列中??蛻艨赏ㄟ^異構虛擬化LUN在線遷移功能,在線遷移異構LUN數(shù)據(jù)到新購陣列中,數(shù)據(jù)遷移過程中,主機業(yè)務正常運行,但在進行數(shù)據(jù)遷移前,需要對異構LUN進行接管。其場景特點就是異構LUN數(shù)據(jù)搬遷過程中,主機業(yè)務不中斷。異構容災假如客戶業(yè)務數(shù)據(jù)分散在不同的站點,且對業(yè)務的持續(xù)性要求較高時,需要各業(yè)務站點的數(shù)據(jù)互為備份和業(yè)務切換。當災難發(fā)生時,能夠通過互為備份的站點進行業(yè)務數(shù)據(jù)的接管和數(shù)據(jù)恢復。但是,可能由于數(shù)據(jù)站點的陣列來自于不同的異構廠商,導致異構陣列間的數(shù)據(jù)無法做到互為備份。異構虛擬化供應的異構同步和異步復制功能,可以使異構陣列間的LUN數(shù)據(jù)做到互相備份,做到站點間的數(shù)據(jù)容災。異構數(shù)據(jù)保護客戶異構陣列上的LUN數(shù)據(jù)可能受到病毒或其他緣由導致LUN數(shù)據(jù)受到破壞。異構虛擬化供應異構快照技術可為異構LUN供應快照備份,快照瞬間完成,當數(shù)據(jù)被破壞后,可通過快照飛速的回滾到指定的快照時間點的數(shù)據(jù),飛速恢復數(shù)據(jù)。存儲雙活具體設計存儲雙活作為整個系統(tǒng)的核心基礎架構平臺,主要解決以下兩個核心問題。一是如何在兩個數(shù)據(jù)中心間實現(xiàn)數(shù)據(jù)實時同步,從而保證特別情況下,零數(shù)據(jù)丟失(RPO=0)。二是如何實現(xiàn)存儲資源的虛擬化,供應可同時被兩個數(shù)據(jù)中心主機訪問的存儲共享卷,從而實現(xiàn)主機應用集群的跨站點部署,保證特別情況下,應用的自動切換(RTO≈0)。業(yè)界存儲雙活技術路線當前,存儲業(yè)務通常有多種實現(xiàn)存儲雙活方案的架構。依據(jù)物理形態(tài)分類,一種是基于存儲網(wǎng)關來實現(xiàn);一種是基于磁盤陣列來實現(xiàn);依據(jù)業(yè)務能力分類,一種是A/A模式雙活,雙活的兩端都能供應服務;一種是A/P模式雙活,只有一端供應服務,只有供應服務的一端故障時另一端才能供應服務。上述分類可以兩兩組合成不同的雙活方案,在方案牢靠性、業(yè)務連續(xù)性以及可擴展性方面都存在確定差異。存儲雙活架構對比方案牢靠性依據(jù)物理形態(tài)分類?;诖鎯W(wǎng)關的雙活方案:除了需要在每個站點部署磁盤陣列外,還需在每個站點新增一臺或多臺存儲網(wǎng)關設備,由存儲網(wǎng)關組成一個跨站點的集群,存儲網(wǎng)關導致組網(wǎng)簡潔,增加故障節(jié)點;基于磁盤陣列的雙活方案,只需要將每個站點的一臺或多臺全冗余架構的磁盤陣列組成一個跨站點的集群,實現(xiàn)自動故障切換,不需要網(wǎng)關,降低組網(wǎng)簡潔度,提高方案牢靠性。此外還要集群的架構,有些集群實際上采用的是Stretched架構,即將一臺陣列的兩個把握器部署在兩個站點,每站點內(nèi)部只有一個把握器,存在單點故障風險,牢靠性低。數(shù)據(jù)實時同步技術及性能影響依據(jù)物理形態(tài)分類。基于存儲網(wǎng)關的雙活方案除了需要在每個站點部署磁盤陣列外,還需在每個站點新增一臺或多臺存儲網(wǎng)關設備,IO路徑為主機-網(wǎng)關-磁盤陣列,相比磁盤陣列方案,因為IO路徑需要經(jīng)過額外網(wǎng)關,比磁盤陣列方案至少多0.5ms的IO處理時間。依據(jù)業(yè)務能力分類。A/A模式雙活采用卷鏡像技術實現(xiàn)兩站點間的數(shù)據(jù)實時同步。兩臺存儲設備上的LUN被虛擬化為一個虛擬的卷,主機寫操作通過卷虛擬化鏡像技術同時寫入這兩個存儲設備,保持數(shù)據(jù)實時一致。其中任何一個存儲設備故障,虛擬卷仍能供應正常的IO讀寫能力,主機業(yè)務不受影響。待存儲設備恢復正常后,存儲虛擬化設備將增量數(shù)據(jù)后臺同步到修復的存儲設備,整個過程對主機“透亮?????”,不會影響主機業(yè)務。A/A模式雙活采用de同步復制技術是通過建立主存儲設備復制到從存儲設備的同步復制關系,在從存儲設備生成一個實時一致的數(shù)據(jù)副原來實現(xiàn)的。同步復制對上層主機而言,兩個數(shù)據(jù)中心的存儲體現(xiàn)為兩個不同的LUN。由于同步復制的從存儲設備不能被主機訪問,因此,需要跨站點訪問主設備,IO處理時延增加。無論哪種類型方案,為了保證兩個數(shù)據(jù)中心存儲的數(shù)據(jù)實時一致,同步復制與虛擬化卷鏡像的寫操作都需要等待兩端存儲同時寫勝利之后再返回給主機“寫勝利”。因此,兩種架構都將對IO寫操作帶來確定的時延增加,必需供應低時延的同城網(wǎng)絡,以減小對寫時延的影響。存儲卷的雙活訪問特性A/A模式雙活:供應可供兩數(shù)據(jù)中心主機同時進行讀寫訪問的共享存儲卷。主機訪問請求由本數(shù)據(jù)中心所在的存儲網(wǎng)關或磁盤陣列響應,無需跨越同城網(wǎng)絡訪問另一數(shù)據(jù)中心的存儲網(wǎng)關或磁盤陣列。A/P模式雙活:將一臺存儲網(wǎng)關或磁盤陣列的把握器部署在兩個數(shù)據(jù)中心,且把握器處于主備模式,備把握器無法被主機訪問,只能供應一條備用的存儲路徑,不是真正的雙活。兩個數(shù)據(jù)中心的主機都只能通過訪問其中一個把握器來進行IO讀寫,不僅增長了主機IO的路徑,而且增加了主把握器的業(yè)務壓力,影響系統(tǒng)性能。依據(jù)上面的技術對比,經(jīng)過牢靠性,性能等因數(shù)評估,本方案選用磁盤陣列實現(xiàn)A/A模式雙活。存儲層雙活方案采用OceanStor系列產(chǎn)品,實現(xiàn)存儲雙活架構,為兩個數(shù)據(jù)中心存儲同時供應讀寫服務,且整個存儲系統(tǒng)架構全冗余,任意數(shù)據(jù)中心故障時,另外一個數(shù)據(jù)中心有一份存儲設備和相同數(shù)據(jù)可用,最大化提高了業(yè)務連續(xù)性??缯军c存儲集群設計本方案利用跨站點雙活集群技術供應雙活的存儲架構,最大支持32個存儲把握器,向應用服務器供應無差異的并行訪問,同時處理應用服務器的I/O請求;各把握器間互為備份,均衡負載,把握器故障后,其承接的業(yè)務自動切換到正常把握器,保證系統(tǒng)的牢靠性、業(yè)務的連續(xù)性。集群間的通信支持FC或10Ge鏈路,通信包括集群心跳和數(shù)據(jù)鏡像。此外本方案無需存儲網(wǎng)關實現(xiàn),降低組網(wǎng)簡潔度,提高系統(tǒng)牢靠性。其工作原理如下圖所示。跨站點數(shù)據(jù)鏡像設計通過HyperMetroLUN功能,保證兩個站點磁盤陣列之間數(shù)據(jù)的實時同步。兩臺存儲設備上的LUN被虛擬化為一個虛擬的卷,主機寫操作通過卷虛擬化鏡像技術同時寫入兩個數(shù)據(jù)中心的存儲設備,保持數(shù)據(jù)實時一致。具體的IO讀寫流程如下圖所示。假如數(shù)據(jù)中心A陣列收到寫I/O,處理流程如下:申請寫權限和記錄寫日志:數(shù)據(jù)中心A陣列收到主機寫請求,先申請HyperMetroLUN的寫權限;獲得寫權限后,HyperMetro將該請求記錄寫日志。日志中只記錄地址信息,不記錄具體的寫數(shù)據(jù)內(nèi)容;該日志采用具有掉電保護能力的內(nèi)存空間記錄以獲得良好的性能。執(zhí)行雙寫:將該請求拷貝2份分別寫入本地LUN和遠端LUN。通常情況下LUN是回寫狀態(tài),數(shù)據(jù)會寫入該LUN的Cache就會返回。雙寫結果處理:等待兩端LUN的寫處理結果都返回;響應主機:鏡像卷返回寫I/O操作完成。假如任何一個存儲設備故障,采用日志記錄故障期間數(shù)據(jù)的變化情況,待存儲設備恢復正常后,將增量數(shù)據(jù)后臺同步到修復的存儲設備,整個過程對主機“透亮?????”,不會影響主機業(yè)務??缯军c數(shù)據(jù)修復設計單塊磁盤可能會因為掉電等特別情況毀滅壞塊。假如是可修復錯誤而且本端無法修復,因為遠端站點有鏡像數(shù)據(jù),則會自動從遠端站點獵取數(shù)據(jù)來修復本地數(shù)據(jù)盤的壞塊,進一步提高系統(tǒng)牢靠性。假如數(shù)據(jù)中心A陣列收到寫I/O,鏡像處理流程如下:申請讀權限:陣列收到主機讀請求,先確認HyperMetro的本地讀權限。讀本地LUN。讀本地LUN結果返回,假如可修復錯誤,執(zhí)行錯誤修復。重定向遠端讀。遠端讀返回。讀結果返回。本地寫入修復。邏輯錯誤保護設計當遭受病毒攻擊或人為誤操作等特別時,數(shù)據(jù)中心的數(shù)據(jù)可能被破壞。采用虛擬快照技術,在操作前對現(xiàn)有數(shù)據(jù)卷激活快照,實現(xiàn)本地數(shù)據(jù)保護。虛擬快照采用寫前拷貝(COW)技術,僅將變化的數(shù)據(jù)拷貝至快照卷,系統(tǒng)資源占用少。當原卷數(shù)據(jù)被錯誤修改或刪除,需要進行恢復時,采用快照對原卷進行回滾,實現(xiàn)數(shù)據(jù)恢復,并且,快照卷可分別映射給主機進行數(shù)據(jù)測試和挖掘,不影響生產(chǎn)業(yè)務。結合華為容災管理軟件,激活快照前觸發(fā)數(shù)據(jù)庫完全檢查點,待數(shù)據(jù)下盤完成后,激活快照,保證快照數(shù)據(jù)完全滿意數(shù)據(jù)庫的一致性要求,快速拉起數(shù)據(jù)庫。高牢靠仲裁防腦裂設計為保證各種特別情況下,存儲雙活集群能夠進行仲裁,建議設計第三方仲裁站點,以保證極端場景下的業(yè)務連續(xù)性。極端場景包括:毀滅數(shù)據(jù)中心整體故障或中間鏈路故障等場景,存儲集群照舊可以訪問仲裁服務器進行仲裁,保證業(yè)務牢靠性和數(shù)據(jù)一致性。有仲裁站點如下圖所示,為保證任一數(shù)據(jù)中心整體故障或中間鏈路故障等極端場景下,主機業(yè)務的連續(xù)性,方案建議采用仲裁服務器。這樣,可以保證極端災難場景下,存儲集群照舊可以訪問仲裁服務器進行仲裁,保證業(yè)務牢靠性和數(shù)據(jù)一致性。第三方仲裁站點位于XX點,XX點與兩個數(shù)據(jù)中心之間通過XX線互聯(lián)。仲裁服務器可以運行在虛擬機上。當毀滅任一數(shù)據(jù)中心整體故障或中間鏈路故障等極端場景,整個集群的仲裁過程如下:數(shù)據(jù)中心之間的中間鏈路斷開,導致兩個數(shù)據(jù)中心集群發(fā)生分裂,進而兩個中心之間的存儲虛擬化平臺發(fā)生“腦裂”,存儲虛擬化平臺從一個大集群分裂為兩個小集群;依據(jù)集群“腦裂”的通用原理,當大集群分裂為兩個小集群時,每個小集群分別搶占第三方仲裁服務器,搶占勝利的小集群“獲勝”,將連續(xù)對外供應服務,為應用供應存儲訪問空間;未搶占到仲裁信息的小集群則自動退出集群,不再對外供應服務;當中間鏈路恢復時,“自動退出的小集群”檢測到中間鏈路由故障變?yōu)檎?,嘗試與“連續(xù)服務的小集群”握手通信,經(jīng)過握手通信兩個小集群再次組成一個大集群,以Active-Active模式供應服務,互相之間實現(xiàn)冗余。下圖列出了基于仲裁服務器模式,各種故障場景下雙活業(yè)務是否存活的概要。H1和H2表示組成雙活HyperMetroLUN的兩個陣列,C表示對應的仲裁服務器。無仲裁站點若無第三方仲裁站點,建議用戶在某個數(shù)據(jù)中心部署仲裁服務器,業(yè)務表現(xiàn)和上述的描述大致一致,但假如仲裁服務器所在的數(shù)據(jù)中心整體故障,雙活業(yè)務停止。若無仲裁服務器,用戶可以設置其中一端陣列為優(yōu)先站點。另一端為非優(yōu)先站點。當發(fā)生腦裂場景,或者非優(yōu)先站點故障時,優(yōu)先站點上的lun連續(xù)供應服務,非優(yōu)先站點的lun停止供應服務。不足之處在于當兩陣列之間失去聯(lián)系,可能是站點間鏈路丟失或其中一個陣列故障。系統(tǒng)不能區(qū)分這兩種情況,當優(yōu)先站點陣列故障時,非優(yōu)先站點不能接管雙活業(yè)務,雙活業(yè)務停止。華為云平臺技術方案華為云平臺簡介華為云平臺對計算、存儲、網(wǎng)絡進行虛擬化管理,華為云平臺操作系統(tǒng)由虛擬基礎設施套件和云基礎服務套件組成。華為云平臺主要有虛擬化基礎引擎FusionCompute、云管理FusionManager兩大部件組成。一套云平臺部署一對FusionManager主備節(jié)點,F(xiàn)usionManager通過自動發(fā)覺功能發(fā)覺其管轄下的物理設備資源(包括機框、服務器、刀片、存儲設備、交互機)以及他們的組網(wǎng)關系;供應虛擬資源與物理資源管理功能(統(tǒng)一拓撲、統(tǒng)一告警、統(tǒng)一監(jiān)控、容量管理、用量計費、性能報表、關聯(lián)分析,生命周期),并且對外供應統(tǒng)一的管理Portal。FusionManager還包括統(tǒng)一硬件管理UHM(UnifiedHardwareManagement)組件,UHM供應對硬件自動發(fā)覺,硬件自動配置、統(tǒng)一監(jiān)控(帶內(nèi)和帶外)、硬件統(tǒng)一告警、硬件拓撲、異構硬件支持。FusionManager可以管理多個物理集群,每個物理集群由一對主備VRM管理。FusionCompute供應基礎的虛擬化功能,供應服務器、存儲、網(wǎng)絡的虛擬化功能,并向上對FusionManager供應接口。每套FusionCompute主要由一對主備管理節(jié)點VRM組成。一對VRM管理一個物理集群。一個物理集群中可以把多臺服務器劃分成一個邏輯集群(又叫HA資源池),一個計算資源池有相同的調度策略,為了使用熱遷移相關的調度策略要求資源池主機CPU同制。計算資源池不包括網(wǎng)絡資源與存儲資源。一個物理集群中可以包含多個邏輯集群。華為虛擬化平臺支持服務器、存儲的平滑擴容。服務器、存儲設備均可依據(jù)業(yè)務依據(jù)需求,在線平滑增加服務器、服務器虛擬集群,在線擴展磁盤、磁盤框、把握框。云數(shù)據(jù)中心管理華為云管理平臺FusionManager聚焦于數(shù)據(jù)中心虛擬化資源管理、自動化運維發(fā)放、并對企業(yè)IT管理供應開放的管理接口。華為云管理系統(tǒng)將整個數(shù)據(jù)中心云化,并對系統(tǒng)中用戶可見的資源抽取出來納入統(tǒng)一的資源池管理,為用戶供應一體化的資源管理,自動資源發(fā)放,同時為用戶供應了便利的獵取資源的途徑。用戶可以通過在服務目錄自動化的獵取資源并在資源上部署用戶需要的應用。華為云管理平臺系統(tǒng)架構如下圖:服務總線(含服務框架,內(nèi)部通信總線,消息隊列)服務總線(含服務框架,內(nèi)部通信總線,消息隊列)服務目錄服務自動化用戶權限管理北向接口自動資源調度統(tǒng)一Portal和移動接入集成資源管理集成資源數(shù)據(jù)庫監(jiān)控數(shù)據(jù)倉庫關聯(lián)分析和報表統(tǒng)一設備管理虛擬化管理系統(tǒng)管理員組織管理員,業(yè)務管理員和最終用戶其他管理平臺服務器存儲交換機……發(fā)覺,配置,編排,模板,部署等資源安排策略,復用策略等計量,預警,觸發(fā)調度等插件化的連接器較標準的接口方框內(nèi)是FusionManager云管理平臺的功能模塊?!疤摂M化管理”可以是華為的虛擬化軟件FusionCompute建成的資源池,也可以管理其他廠家的虛擬化資源池,如VMware的vCenter+vSphere或Citrix的XenServer。云管理軟件從軟件層面拉通統(tǒng)一各資源管理。FusionManager云管理平臺負責全系統(tǒng)硬件和軟件資源的操作維護管理,用戶業(yè)務的自動化運維。從功能上劃分,F(xiàn)usionManager可以分為統(tǒng)一資源管理、自動化運維、用戶權限管理、開放API接口、監(jiān)控管理、告警管理、拓撲管理、日志管理、客戶二次開發(fā)幾個功能模塊。FusionManager云管理平臺,對資源進行整合管理,物理設備更換和升級、虛擬化平臺的切換,對用戶不感知,提升運維效率。通過組織管理,使多部門的云資源使用相互獨立,互不感知。FusionManager云管理的主要特點包括:(1) 統(tǒng)一資源管理:統(tǒng)一資源池,屏蔽不同硬件和虛擬化的差異,資源的更換升級對用戶零感知;虛擬化和裸機管理統(tǒng)一管理平臺,支持業(yè)界主流的虛擬化產(chǎn)品和操作系統(tǒng),可以兼容客戶現(xiàn)有IT資源;設備自動發(fā)覺,資源快速發(fā)放,縮短業(yè)務上線時間;基于資源池的統(tǒng)一編排和調度;(2) VDC快捷安排:軟件定義數(shù)據(jù)中心;網(wǎng)絡隔離,通過組織管理,不同部門可以獨立使用云資源;平安分區(qū),分權分域;(3) 應用智能管理:服務目錄,應用快速部署;機敏的模板機制,支持用戶自定義模板;資源彈性伸縮,提高設備利用率,可視化管理;(4) 機敏的異構能力 南向插件機制,快速接入新的硬件和虛擬化;(5) 被集成能力北向API可以機敏的被客戶管理服務軟件集成,使用云管理的告警監(jiān)控功能,支持HTTP和HTTPS協(xié)議??蛻粼谑褂帽毕蚪涌谥?,必需使用接入用戶名和密碼進行認證。對密碼采用了RSA2048非對稱加密。開發(fā)API支持通過AD接口登錄; 開放性:供應豐富的二次開發(fā)接口,通過應用定制,其他外圍系統(tǒng)可通過二次開發(fā)包便利的調用平臺云計算資源,與平臺軟硬件設備實時交互,實現(xiàn)豐富的系統(tǒng)集勝利能,如與高性能計算業(yè)務、程序設計系統(tǒng)等Saas應用的便捷融合(6) 平安性:網(wǎng)絡設計上采用數(shù)據(jù)、重要文件等信息對外界是隔離的;云計算中心采用的服務設備、幫忙設備等,在系統(tǒng)的設計上,采用權限管理、訪問把握等技術,保證信息平安。訪問、密碼(含數(shù)據(jù)庫密碼)等采用平安加密傳輸協(xié)議,削減產(chǎn)品受到攻擊和破解。支持自定義角色管理,對系統(tǒng)管理員、業(yè)務管理員和業(yè)務員可以配置不同的角色權限,實現(xiàn)訪問隔離。華為桌面云及應用虛擬化華為桌面云可以供應機敏的桌面形態(tài),包括完整復制桌面云,鏈接克隆桌面云,全內(nèi)存極速桌面、應用虛擬化。FusionAccess桌面虛擬化以服務器虛擬化為基礎,允許多個用戶桌面以虛擬機的形式獨立運行,同時共享CPU、內(nèi)存、網(wǎng)絡連接和存儲器等底層物理硬件資源。這種架構將虛機彼此隔離開來,同時可以實現(xiàn)精確的資源安排,并能保護用戶免受由其他用戶活動所造成的應用程序崩潰和操作系統(tǒng)故障所帶來的影響。FusionAccess采用業(yè)界領先的高清保真HDP桌面協(xié)議,并可將授權用戶平安連接至集中式虛擬桌面。它與FusionSphere協(xié)同工作,可供應一個完整的端到端桌面虛擬化解決方案,此解決方案不僅能增加把握能力和可管理性,還可以供應與PC一致的桌面體驗,F(xiàn)usionAccess能簡化虛擬桌面的管理、調配和部署。用戶能夠通過FusionAccess平安而便利地訪問虛擬桌面,升級和修補工作都從單個把握臺集中進行,因此可以有效地管理數(shù)百甚至數(shù)千個桌面,從而節(jié)省時間和資源。數(shù)據(jù)、信息和學問財產(chǎn)將保留在數(shù)據(jù)中心內(nèi),而且永久不外流。配備FusionAccess桌面虛擬化方案具備下列優(yōu)勢: 集把握能力和可管理性于一身:由于桌面在數(shù)據(jù)中心運行,因此管理員可以更輕松地對其進行部署、管理和維護。 與PC一致的體驗:用戶可以機敏訪問與平凡PC桌面功能相同的個性化虛擬桌面。 降低總體擁有成本(TCO):桌面虛擬化可以減低其管理和資源成本。 FusionAccess支持GPU直通、GPU硬件虛擬化,使用戶遠程使用圖形桌面成為可能,降低了圖形桌面的TCO。配置參數(shù)4.1.防火墻(2臺)品牌國內(nèi)外知名品牌,非OEM產(chǎn)品,與數(shù)據(jù)中心交換機同品牌硬件平臺架構采用非X86多核架構接口類型和數(shù)量端口≥4個10GE(下聯(lián)2個、上聯(lián)1個),8個GE光口,8個GE電口擴展插槽≥6個電源支持雙電源冗余防火墻吞吐量20Gbit/s最大并發(fā)連接≥750萬每秒新建連接≥28萬IPSECVPN吞吐量≥20G/sIPSecVPN并發(fā)連接數(shù)≥10000個虛擬化≥450個虛擬防火墻流量分析、報表、流量可視化工具支持整機線速流量的分析工具4.2.數(shù)據(jù)中心交換機(2臺)品牌國內(nèi)外知名品牌,非OEM產(chǎn)品端口要求≥16個10GE光口;≥48個GE電口交換容量≥25Tbps包轉發(fā)率≥12000Mpps槽位要求≥6虛擬化支持多虛一技術流量分析支持Netstream、sFlow功能VLAN支持Access、Trunk、Hybrid方式,支持defaultVLAN、QinQ、MUXVLANMAC地址表支持MAC地址自動學習和老化,靜態(tài)、動態(tài)、黑洞MAC表項,支持基于端口和VLAN的MAC地址學習限制IP路由支持RIP、OSPF、ISIS、BGP等IPv4動態(tài)路由協(xié)議;IPV6支持IPv6ND(NeighborDiscovery)、PMTU發(fā)覺、IPv6的TCP、Ping、Tracert、Socket、UDP、RawIP組播支持IGMP、PIM-SM、MSDP、MBGP等組播路由協(xié)議牢靠性支持LACP、BPDU保護、Root保護、環(huán)路保護,支持STP、RSTP和MSTP,支持VRRP、VRRP負載分擔、BFDforVRRPQoS支持基于Layer2協(xié)議頭、Layer3協(xié)議、Layer4協(xié)議優(yōu)先級等的組合流分類、流量整形配置與維護支持Console、Telnet、SSH等終端服務,支持SNMPv1/v2c/v3等網(wǎng)絡管理協(xié)議,支持通過FTP、TFTP方式上載、下載文件,支持BootROM升級和遠程在線升級平安和管理支持802.1x認證、命令行分級保護、未授權用戶無法侵入,支持端口隔離、端口平安、StickyMAC,支持IP、MAC、端口、VLAN的組合綁定,支持AAA、Radius等多種認證方式4.3.數(shù)據(jù)庫服務器(2臺)品牌國內(nèi)外知名品牌,非OEM產(chǎn)品外形規(guī)格4U4路服務器處理器≥4顆IntelXeonE7-4850V3處理器,14核,主頻2.2GHZ內(nèi)存內(nèi)存類型:ECCDDR42133MHZRDIMM或LRDIMM內(nèi)存插槽內(nèi)存配置容量:≥512GB,可支持最大內(nèi)存條數(shù)量96條存儲內(nèi)置硬盤類型:支持SAS/SATA硬盤,熱插拔,最大擴展可支持≥23塊硬盤內(nèi)置硬盤配置數(shù)目:≥2塊2.5寸;單塊要求≥300GB10krpm配置磁盤陣列卡,支持RAID0/1/10集成網(wǎng)口板載4個GE端口,不占用PCIe擴展槽萬兆網(wǎng)口配置2端口萬兆光口及2個萬兆光模塊I/O擴展PCI-EI/O插槽可擴展總數(shù):≥16個HBA卡2端口16GbHBA卡1個電源滿配冗余熱插拔電源,并供應配套的電源連接線風扇滿配冗余風扇,支持N+N冗余,支持單風扇失效管理維護功能集成帶外管理系統(tǒng),支持電源、風扇等各部件的運行狀態(tài)監(jiān)控,供應部件故障告警;支持千兆管理網(wǎng)口,具有遠程管理能力,支持Web管理界面,支持遠程KVM,虛擬光驅等功能;支持故障定位能力,當主處理器發(fā)生嚴峻故障時,帶外管理系統(tǒng)可以實現(xiàn)對故障的定位;供應臨終錄屏、錄像等高級功能幫忙故障診斷。環(huán)保與節(jié)能通過中國環(huán)境標志產(chǎn)品認證、CCC產(chǎn)品認證、能源之星認證,供應復印件;服務要求供應實際生產(chǎn)廠商三年硬件整機保修服務;4.4.虛擬化服務器(4臺)品牌國內(nèi)外知名品牌,非OEM產(chǎn)品外形規(guī)格4U4路服務器處理器≥4顆IntelXeonE7-4850V3處理器,14核,主頻2.2GHZ內(nèi)存內(nèi)存類型:ECCDDR42133MHZRDIMM或LRDIMM內(nèi)存插槽內(nèi)存配置容量:≥512GB,可支持最大內(nèi)存條數(shù)量96條存儲內(nèi)置硬盤類型:支持SAS/SATA硬盤,熱插拔,最大擴展可支持≥23塊硬盤內(nèi)置硬盤配置數(shù)目:≥2塊2.5寸;單塊要求≥300GB10krpm配置磁盤陣列卡,支持RAID0/1/10集成網(wǎng)口板載4個GE端口,不占用PCIe擴展槽萬兆網(wǎng)口配置2端口萬兆光口及2個萬兆光模塊I/O擴展PCI-EI/O插槽可擴展總數(shù):≥16個HBA卡2端口16GbHBA卡1個電源滿配冗余熱插拔電源,并供應配套的電源連接線風扇滿配冗余風扇,支持N+N冗余,支持單風扇失效管理維護功能集成帶外管理系統(tǒng),支持電源、風扇等各部件的運行狀態(tài)監(jiān)控,供應部件故障告警;支持千兆管理網(wǎng)口,具有遠程管理能力,支持Web管理界面,支持遠程KVM,虛擬光驅等功能;支持故障定位能力,當主處理器發(fā)生嚴峻故障時,帶外管理系統(tǒng)可以實現(xiàn)對故障的定位;供應臨終錄屏、錄像等高級功能幫忙故障診斷。環(huán)保與節(jié)能通過中國環(huán)境標志產(chǎn)品認證、CCC產(chǎn)品認證、能源之星認證,供應復印件;服務要求供應實際生產(chǎn)廠商三年硬件整機保修服務;4.5.雙活存儲陣列(2臺)品牌與服務器同一品牌,國內(nèi)外知名品牌,非OEM產(chǎn)品系統(tǒng)架構要求集群式統(tǒng)一架構存儲,供應統(tǒng)一管理平臺,同時供應SAN、NAS存儲管理,在一個存儲系統(tǒng)內(nèi)可以同時支持FC、iSCSI、FCoE、CIFS、NFS等訪問方式。存儲協(xié)議配置要求配置基于SAN的FC、iSCSI數(shù)據(jù)訪問協(xié)議。配置基于NAS的CIFS、NFS數(shù)據(jù)訪問協(xié)議。把握器要求配備≥2個把握器,把握器可擴展至8個把握器。緩存配置配置緩存≥128GB,可擴展至512GB。緩存不包括SSD磁盤、閃存、NAS機頭的內(nèi)存緩存數(shù)據(jù)保護供應緩存斷電保護措施,在外部電源斷電時能將緩存內(nèi)容保存到內(nèi)部磁盤或閃存盤上,保持數(shù)據(jù)的完整性且不受斷電時間限制。存儲容量配置配置≥10*600GBSSD硬盤;配置≥26*6TB7.2KrpmNLSAS硬盤,支持SSD緩存擴展以及不同類型不同大小硬盤的混插和數(shù)據(jù)流淌。磁盤可擴展性雙把握器最大磁盤數(shù)量≥750個磁盤。前端端口配置≥8個1GbpsGEIP端口,配置≥8個16GbFC主機接口,配置≥2個10GbpsGEIP端口后端端口配置≥192Gb/sSAS后端磁盤同通道接口。RAID要求同時支持RAID0、1、5、10、6及以上多種RAID方式并存使用。采用塊級虛擬化技術,有利于數(shù)據(jù)的分布均衡和硬盤故障快速重構,并且保證同時失效兩塊盤不丟數(shù)據(jù),保證數(shù)據(jù)的平安。存儲管理軟件供應基于Web的統(tǒng)一中文圖形化管理界面,可以集中管理SAN/NAS數(shù)據(jù)和存儲資源,實現(xiàn)配置、部署、監(jiān)控和分析,供應豐富的告警機制,包括聲音及email的告警機制。主機(磁盤)多路徑軟件配置主機通道多路徑故障切換與負載均衡軟件,配置磁盤多路徑軟件,保證磁盤數(shù)據(jù)訪問的雙冗余鏈路高牢靠性。數(shù)據(jù)遷移軟件配置數(shù)據(jù)遷移軟件,實現(xiàn)存儲陣列內(nèi)或者第三方陣列之間的數(shù)據(jù)遷移,實現(xiàn)數(shù)據(jù)的高牢靠性。多租戶管理軟件配置多租戶數(shù)據(jù)管理軟件,對于外部用戶資源實現(xiàn)資源的劃分與管理以及用戶域隔離。存儲Qos軟件配置存儲服務質量管理軟件,供應QOS流量把握管理功能,以及服務質量管理按優(yōu)先級把握功能。系統(tǒng)牢靠性要求存儲系統(tǒng)應具備高牢靠性,要求實現(xiàn)硬件系統(tǒng)全故障冗余和在線故障切換,并可以實現(xiàn)在線的切換和義務接管。SSD智能緩存配置SSD智能緩存功能,實現(xiàn)對熱點數(shù)據(jù)的實時智能訪問加速。數(shù)據(jù)銷毀軟件配置數(shù)據(jù)銷毀軟件,保證數(shù)據(jù)被刪除后無法恢復。智能均衡功能配置數(shù)據(jù)動態(tài)負載均衡軟件,動態(tài)調整數(shù)據(jù)分布均衡,消退熱點數(shù)據(jù)。自動精簡配置配置自動精簡配置,實現(xiàn)存儲卷的自動擴容。文件系統(tǒng)軟件配置基于文件系統(tǒng)的數(shù)據(jù)重刪壓縮功能,提高數(shù)據(jù)存儲效率;配置文件系統(tǒng)的配額管理軟件。硬盤牢靠性要求硬盤故障數(shù)據(jù)恢復速度≥1TB/30min,供應國際第三方權威機構測試證明;單硬盤閃斷重構時間≤2min,供應第三方測試證明。雙活功能配置雙活功能,實現(xiàn)兩套核心存儲數(shù)據(jù)雙活(主機能夠并發(fā)讀寫同一雙活卷),任何一套設備宕機均不影響上層業(yè)務系統(tǒng)運行。雙活架構需要具備獨立的第三方仲裁設備。仲裁設備故障時,不影響業(yè)務運行,同時雙活卷仍能保持數(shù)據(jù)實時一致;雙活引擎數(shù)據(jù)傳送必需采用FC協(xié)議和鏈路雙活(非IP協(xié)議或者IP鏈路);雙活引擎采用冗余架構,供應四壞三節(jié)點故障業(yè)務不停頓的冗余配置;支持異構虛擬化雙活能力,對于異構整合后的第三方存儲,能夠建立雙活鏡像對。存儲異構虛擬化配置存儲異構虛擬化功能,接管原有存儲系統(tǒng),需要供應與原有存儲系統(tǒng)的兼容性證明材料。高級容災管理配置≥256個連接主機的License,支持機敏的容災解決方案,能夠實現(xiàn)高中低端陣列間的容災,支持≥30:1的陣列復制比(供應容災管理軟件截圖);虛擬化管理支持業(yè)界主流虛擬化管理軟件,支持與VMware,Citrix、Hyper-V等主流虛擬化廠家的集成,供應VmwareVAAI存儲接口。兼容性支持支持AIX,Windows,Linux,VMWare,HP-UX,SunSolaris,支持主流的數(shù)據(jù)庫,郵件,文件服務等應用軟件,并供應對Vmware、Citrix的良好支持。存儲產(chǎn)品通過與MicroSoft、Oracle的操作系統(tǒng)相互兼容,并供應官方的網(wǎng)站證明與鏈接。獲得OracleDatabase11g及以上版本兼容性認證,供應Oracle官方網(wǎng)站截圖及鏈接,獲得SMI-Sv1.4或以上版本的CTP認證,供應官方網(wǎng)站截圖及鏈接。產(chǎn)品資質擁有自主學問產(chǎn)權,具有軟硬件自主研發(fā)能力,保障后續(xù)產(chǎn)品的連續(xù)性,供應國家版權局頒發(fā)的軟件著作權登記證書,存儲產(chǎn)品通過國家CCC認證,須供應中國環(huán)境標志產(chǎn)品認證證書。售后服務3年原廠硬件現(xiàn)場7×24小時保修服務,投標時供應原廠商服務承諾函(蓋章原件),存儲廠商在國內(nèi)有400熱線。4.6.光纖交換機(2臺)品牌與存儲同一品牌硬件要求24端口交換機,12端口激活,含12個16Gb短波SFP,支持級聯(lián),3年原廠保修,含12個光纖線纜服務供應軟硬件原廠技術支持與售后服務,并在當?shù)卦O有原廠服務機構;設備生產(chǎn)商需在國內(nèi)設有400技術服務熱線。4.7.服務器虛擬化軟件(將此次配置的6臺服務器做虛擬化,并確保將現(xiàn)有的2路服務器納入虛擬資源池)品牌國內(nèi)外主流品牌,非OEM產(chǎn)品,擁有自主學問產(chǎn)權系統(tǒng)規(guī)格單臺虛擬機最大須可以使用不小于64個邏輯CPU(核)的處理能力;單臺虛擬機須可以與其它虛擬機共享CPU資源。每臺虛擬機須支持1T內(nèi)存。虛擬機的單個虛擬磁盤最大容量可達64TB。單個邏輯集群(HA、動態(tài)資源均衡資源池)最多支持128個物理主機。計算虛擬化能夠將硬件設備上的資源(CPU,內(nèi)存等)虛擬化成為多個邏輯的單位(比如Vcpu等)。虛擬化支持對稱多處理器功能(VSMP:VirtualSymmetricMulti-Processing),即單臺虛擬機支持使用多個物理CPU,以便增加虛擬機的性能。支持內(nèi)存氣泡、內(nèi)存交換、內(nèi)存共享等功能,以實現(xiàn)內(nèi)存安排部署。供應系統(tǒng)運行記錄儀功能,能夠在系統(tǒng)死機時,記錄系統(tǒng)死機時的故障信息如BMC截屏、CPU傳感器信息、BMC日志等特別情況,供故障定位使用。網(wǎng)絡虛擬化能夠使用虛擬化技術實現(xiàn)網(wǎng)絡上的隔離,保護IT環(huán)境,防止來自Internet的威逼,同時使用戶能夠快速平安的訪問應用程序和數(shù)據(jù)。支持網(wǎng)卡直通,支持物理網(wǎng)卡可以關聯(lián)給特定的虛擬機,并支持物理網(wǎng)卡由某虛擬機獨占,以滿意客戶高網(wǎng)絡帶寬高的需求。支持SR-IOV、LACP端口聚合等技術提升了虛擬網(wǎng)卡IO性能力和功能。支持用戶虛擬機IP與MAC綁定,防止IP和MAC地址仿冒,防止用戶虛擬機DHCPServer仿冒。存儲虛擬化能夠將存儲資源虛擬成一個“存儲池”,并且保證虛擬化平臺使用存儲設備時,須支持本地存儲、IP-SAN、FC-SAN、NAS等不同類型的存儲設備。支持這些存儲資源的添加、刪除、查詢、掃描。支持存儲精簡配置(ThinProvisioning)功能,虛擬機磁盤只有實際寫入數(shù)據(jù)時才會為之真正安排物理存儲,未寫入的虛擬存儲空間不占用物理存儲資源。存儲精簡配置(ThinProvisioning)需支持磁盤資源回收(Shrink)功能,支持通過釋放這些已被刪除的文件占用的空間,提高了虛擬磁盤所在的數(shù)據(jù)存儲的可用空間,提高存儲資源的利用率。支持利用物理主機本地磁盤形成高牢靠的分布式虛擬存儲系統(tǒng)。分布式存儲最多支持2000塊本地硬盤、72個物理主機節(jié)點。支持全SSD盤部署兼容性與擴展性虛擬化平臺須支持主流設備廠商供應的X86服務器,支持基于業(yè)界標準的IPMI接口的管理硬件設備。虛擬機平臺須支持主流的X86架構的操作系統(tǒng),包括WindowsServer2003/2008R2及以上版本服務器操作系統(tǒng),WindowsXP、Windows7操作系統(tǒng),Redhat、SUSE、CentOS、中標普華、Ubuntu、Fedora等多個發(fā)行版本的Linux操作系統(tǒng)。支持平滑增加存儲設備、磁盤框,磁盤,并加入到統(tǒng)一管理的存儲虛擬化資源池中使用。系統(tǒng)牢靠性關鍵的管理節(jié)點/服務器支持做到主備冗余。支持管理節(jié)點的管理數(shù)據(jù)定期自動備份,以便毀滅重大事故導致管理數(shù)據(jù)丟失時,可以利用備份的數(shù)據(jù)進行恢復。支持虛擬機熱遷移VMMotion功能。在虛擬機運行期
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 國際勞務合同
- 中醫(yī)科科試題庫及答案
- 智慧港口建設規(guī)劃報告:2025年智能港口與港口智能化發(fā)展策略研究
- 中醫(yī)歷年考研試題及答案
- 中醫(yī)面色測試題及答案
- 中醫(yī)三基考試題庫及答案
- 工業(yè)廢氣催化燃燒技術在環(huán)保產(chǎn)業(yè)中的應用現(xiàn)狀及政策影響報告
- 2025年事業(yè)單位工勤技能-安徽-安徽舞臺技術工五級(初級工)歷年參考題庫含答案解析
- 2025年事業(yè)單位工勤技能-安徽-安徽農(nóng)業(yè)技術員四級(中級工)歷年參考題庫含答案解析
- Python程序設計 課件全套 李輝 第1-10章 Python與編程環(huán)境 -Pandas數(shù)據(jù)處理與分析
- 佳能相機IXUS210(PC1467)說明書
- 2024年七年級新生分班考試數(shù)學試卷(附答案)
- 2024年北京廣播電視臺招聘140人歷年高頻500題難、易錯點模擬試題附帶答案詳解
- 醫(yī)美代運營合作協(xié)議書范本
- 《希臘神話》導讀課
- 2024年幕墻工程專業(yè)分包合同協(xié)議書范本
- 廣西現(xiàn)代物流集團有限公司招聘筆試題庫2024
- 三年級語文上冊全冊教案 (含教學反思)
- 女士鞋履采購合同
- 乒乓球俱樂部管理制度
- 年產(chǎn)塑料色母粒5000噸項目可行性研究報告
評論
0/150
提交評論