集中存儲項目技術方案_第1頁
集中存儲項目技術方案_第2頁
集中存儲項目技術方案_第3頁
集中存儲項目技術方案_第4頁
集中存儲項目技術方案_第5頁
已閱讀5頁,還剩34頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、教育網網絡存儲系統(tǒng)項目項目方案科技發(fā)展有限公司二九年一月第1章 總體概述1.1 項目需求教育網因建設需要,現需增加一套網絡存儲設備。1.2 建設目標增加一套網絡存儲設備1.3 建設內容教育網網絡存儲系統(tǒng)項目下網絡存儲設備及其附件輔材的供貨(包括設備、線材和其它所有附件、附材)、現場保管、安裝(包括設備安裝、導線連接等)、調試、培訓及維護服務。1.4 建設原則技術成熟先進性:設計要符合技術發(fā)展的潮流,設備選型要充分調研、科學論證、力求技術先進、設計合理、適當超前,能滿足建成后57年內的使用需求,采用成熟的技術產品。 靈活性:方案的設計要有技術的延續(xù)性、靈活的擴展性和廣泛的適應性及良好的用戶界面,

2、注意分布實施的可操作性,保證前期投資的有效和后期投入的接續(xù),最大限度的保證其繼承性和經濟性。 實用性:根據系統(tǒng)需求出發(fā),按照系統(tǒng)投入結合具體運用和實際來設計系統(tǒng),最大限度的滿足各項功能要求,確保實用性,系統(tǒng)應具有良好的性能價格比。開放性:系統(tǒng)設計采用的各項設備(軟、硬件)均應符合國際通用標準,符合開放性原則,組網使用的技術要與技術發(fā)展的潮流吻合,保證系統(tǒng)的開放性和技術延伸性,與日后的技術應具有良好的親和性。能夠有效地保護已有的各類應用體系和數據資源??煽啃裕罕仨毐WC系統(tǒng)的高可靠性,對重要系統(tǒng)、設備、部件采用冗余、容錯、備份等技術設計,以保證局部的失效或錯誤不影響整個系統(tǒng)的運行。環(huán)保和環(huán)境協(xié)調性

3、:采用低噪聲、低功耗、無污染的技術和產品,色彩柔和與工作環(huán)境協(xié)調。經濟合理性:不設計作用甚少的系統(tǒng);不選用繁雜無大用的功能,操控性簡易可靠,節(jié)省投資。維護性:系統(tǒng)的管理、維護和維修應具有簡易性和可操作性。1.5 設計依據本方案所遵守的技術標準但不限于以下標準:有線網絡建設技術規(guī)范 DG/TJ 08-2009-2006計算機信息系統(tǒng)安全等級保護網絡技術要求 GA/T 387-2002信息安全技術 網絡基礎安全技術要求 GB/T 20270-2006國家電子政務網絡技術和運行管理規(guī)范GB/T 21061-2007基于網絡的企業(yè)信息集成規(guī)范GB/Z 18729-2002網絡信息分類系統(tǒng)SJ/T 11

4、268-2002IP網絡技術要求-網絡總體YD/T 1170-2001IP網絡技術要求網絡性能測量方法 YD/T 1381-2005公眾IP網絡安全要求-安全框架 YD/T 1613-2007系統(tǒng)設計方案建議書信息技術互連國際標準(ISO/IEC11801-95);信息技術、軟件包質量要求和測試(GB/T 17544-1998);軟件工程標準分類法(GB/T 15538-1995);軟件開發(fā)規(guī)范(GB 8566-88);軟件維護指南(GB/T 14079-93);計算機軟件可靠性和可維護性管理(GB/T 12394-93)。第2章 技術方案設計2.1 存儲系統(tǒng)2.1.1 存儲技術發(fā)展

5、趨勢信息或數據在IT系統(tǒng)中,總是必然處于“計算”、“存儲”、“傳輸”三個狀態(tài)之一。這三個方面也正好對應于整個IT技術的三個基礎架構單元計算、存儲和網絡。1、DAS系統(tǒng)傳統(tǒng)上,主機系統(tǒng)既負責數據的計算,也在通過文件系統(tǒng)、數據庫系統(tǒng)等手段對數據進行邏輯和物理層面的管理,而存儲設備,則是以直連存儲(DAS)方式連接在主機系統(tǒng)中。然而,由于歷史發(fā)展的原因,各種標準和各種版本的操作系統(tǒng)、文件系統(tǒng)擁擠在用戶的系統(tǒng)環(huán)境中,使數據被分割成雜亂分散的“數據孤島” (data island),無法在系統(tǒng)間自由流動,自然也就談不上設備的充分利用和資源共享。有鑒于此,人們開始尋找存儲網絡化和智能化的方法,希望通過提高

6、存儲自身的數據管理能力,獨立于主機系統(tǒng)之外,以網絡方式連接主機和存儲系統(tǒng),以設備資源透明的方式為計算提供數據服務。從而將數據管理的職能,從標準混亂、應用負荷沉重的主機中分離出來。在網絡存儲的發(fā)展過程中,SAN(存儲區(qū)域網絡)和NAS(網絡附加存儲)得到了迅速的發(fā)展。2、NAS(網絡附加存儲)NAS是一種直接利用局域網,基于文件的存儲架構,存儲數據的傳輸也是基于局域網。NAS的最大優(yōu)點是可以很容易實現異構平臺的文件共享,NAS的另一個優(yōu)點在于其擴展性,因為存儲單元可以比較容易地加入到網絡中。然而,NAS存儲在數據備份或存儲過程中會占用網絡的帶寬,可擴展性有限,并且訪問需要經過文件系統(tǒng)格式轉換,所

7、以是以文件一級來訪問,不適合Block級的應用,尤其是要求使用裸設備的數據庫系統(tǒng)。而SAN存儲架構的出現彌補了NAS的不足,為存儲系統(tǒng)的發(fā)展產生了巨大的推動力。3、SAN(存儲區(qū)域網絡)SAN(Storage Area Network)存儲區(qū)域網絡,是一種通過網絡方式連接存儲設備和應用服務器的存儲架構,這個網絡專用于主機和存儲設備之間的訪問。當有數據的存取需求時,數據可以通過存儲區(qū)域網絡在服務器和后臺存儲設備之間高速傳輸。A、SAN的組成SAN由服務器、后端存儲系統(tǒng)和SAN連接設備組成;后端存儲系統(tǒng)為SAN解決方案提供了存儲空間。 B、SAN的優(yōu)點:設備整合:多臺服務器可以通過存儲網絡同時訪問

8、后端存儲系統(tǒng),不必為每臺服務器單獨購買存儲設備,減輕維護工作量和維護費用;數據集中:不同應用和服務器的數據實現了物理上的集中,大大提高了存儲資源利用率;高擴展性:存儲網絡架構使得后續(xù)服務器可以方便的接入現有SAN環(huán)境,很好的適應了應用變化的需求;總體擁有成本低:存儲設備的整合和數據集中管理,大大降低了重復投資率和長期管理維護成本。C、FC SAN和IP SAN的比較目前業(yè)界主流的存儲技術包括FC SAN和IP SAN二種形式1、FC SAN的問題:l 兼容性差:FC協(xié)議發(fā)展時間短,開發(fā)和產品化的大廠商較少,而且廠商之間各自遵循內部標準,導致不同廠商的FC產品之間兼容性和互操作差,即使同一廠商的

9、不同版本不同型號的FC產品也存在類似的問題;l 成本高昂:FC SAN的成本包括先期設備成本和長期維護成本,由于兼容性差,導致了用戶無法自己維護FC設備,每年花在FC-SAN的系統(tǒng)保修服務的費用占當年采購成本的15%左右。如果再算上系統(tǒng)安裝部署階段的專業(yè)服務費用支出,以5年計算,整個服務費用支出與系統(tǒng)采購達到1:1!l 擴展能力差:FC-SAN高昂的成本和協(xié)議封閉,使得產品的開發(fā)、升級、擴容代價高昂。l 異構化嚴重:不同廠商FC SAN存儲設備之間功能無法互通,重復投資嚴重。SAN的出現,從根本上是要建立一個開放、高性能、高可靠、高可擴展性的存儲資源平臺,從而能夠應對快速的業(yè)務變化和數據增長,

10、然而以上問題使得用戶使用網絡存儲的目標產生了嚴重的偏離。2、IP SAN分析IP技術至今已經成為整個IT行業(yè)中最成熟、最開放、發(fā)展最迅速、成本最低、管理最方便的數據通訊方式。成熟可靠、成本更低的IP技術,將更適應廣域網數據應用、大規(guī)模服務器數據集中、海量數據存儲等應用對新一代存儲系統(tǒng)的要求。l IP網是國際互連網,企業(yè)內部網絡的主要形式。經過多年發(fā)展,IP網絡實現了最高的可管理性和互操作性。l TCP/IP協(xié)議彈性強,適應網絡的各種變化,無需停止服務即可實網絡變更。l 1G的以太網已經普及,2006年已擴展到10G。FC在2008年才能到4G。l 不同廠家的IP網設備兼容性好。網絡設備采購成本

11、低廉。l 以太網知識普及,以太網多年的發(fā)展培養(yǎng)了無數的網絡管理人員。IP SAN是通過高速以太網絡連接服務器和后端存儲系統(tǒng)。將SCSI指令和數據塊經過高速以太網傳輸,繼承以太網的優(yōu)點,實現建立一個開放、高性能、高可靠性,高可擴展的存儲資源平臺。IP SAN繼承了IP網絡的優(yōu)點:l 實現彈性擴展的存儲網絡,能自適應應用的改變;l 已經驗證的傳輸設備保證運行的可靠性;l 以太網從1G向10G及更高速過渡,只需通過簡單的升級便可得到極大的性能提升,并保護投資;l IP跨長距離擴展能力,輕松實現遠程數據復制和災難恢復;l 大量熟悉的網絡技術和管理的人才減少培訓和人力成本將以太網的經濟性引入存儲 降低用

12、戶總體擁有成本。2.1.2 需求分析及架構選擇2.1.2.1 存儲架構構建原則在信息日益膨脹的今天,存儲系統(tǒng)應該得到和主機、網絡、應用一樣的重視。未來的信息系統(tǒng)規(guī)劃和建設,必須從主機、存儲和網絡這三個方面入手,取得最佳的均衡,從而得到功能強大、擴展性強、易于管理、高投入產出的信息系統(tǒng)。在數據中心信息系統(tǒng)建設過程中,需要針對存儲系統(tǒng)做整體規(guī)劃。需要關注以下方面:1、 存儲容量擴展能力;2、 存儲系統(tǒng)擴展能力:磁盤陣列必須具備性能、功能上的擴展能力。如存儲容量能夠滿足未來幾年的發(fā)展需求,存儲系統(tǒng)能夠從本地存儲擴展為遠程容災。3、 提高設備和存儲空間利用率:采用SAN聯(lián)結方式,提高設備和存儲資源的共

13、享能力。4、 簡化管理:選用標準的技術搭建存儲環(huán)境,降低管理和維護工作的難度;2.1.2.2 信息中心存儲系統(tǒng)技術及架構選擇為了滿足應用系統(tǒng)對于存儲的需求,并考慮到性能、擴展性、可靠性等因素。在數據中心的建設存儲區(qū)域網絡(SAN),統(tǒng)一為應用系統(tǒng)提供存儲服務。這樣即可以有效的提高整套系統(tǒng)的存儲利用率,簡化管理和維護的工作量,并且有利于實現數據的集中備份;同時利用SAN存儲局域網的融合性和可擴展性,實現“服務器群SAN網絡存儲池”新一代IT架構,保護系統(tǒng)投資,降低系統(tǒng)的總擁有成本(TCO,Total Cost of Ownership)。構建集中的SAN存儲,優(yōu)點如下:l 設備整合:多臺服務器可

14、以通過存儲網絡同時訪問后端存儲系統(tǒng),不必為每臺服務器單獨購買存儲設備,減輕維護工作量和維護費用;l 數據集中:不同應用和服務器的數據實現了物理上的集中,大大提高了存儲資源利用率;l 高擴展性:存儲網絡架構使得后續(xù)服務器可以方便的接入現有SAN環(huán)境,很好的適應了應用變化的需求;l 總體擁有成本低:存儲設備的整合和數據集中管理,大大降低了重復投資率和長期管理維護成本。在架構選擇上,采用先進的IP-SAN存儲設備來增加存儲系統(tǒng)容量,并按照業(yè)務發(fā)展的需要,建立災難備份系統(tǒng),能獲得更好的系統(tǒng)性價比。采用IP SAN技術有如下優(yōu)點:l 符合存儲發(fā)展的趨勢:標準化、IP化,與各種系統(tǒng)整合和共享能力l 操作維

15、護簡便:對IP存儲網絡的管理,就是對以太網的管理,實現網絡架構的統(tǒng)一l 擴充性強:增加服務器和擴充網絡簡單易行l(wèi) 帶寬和性能提升迅速:千兆以太網已經到桌面、萬兆以太網也打規(guī)模部署,而且下一代100G標準已經確定,預計2011年商用。l 跨地域部署簡便:突破距離限制,IP可達,數據可達。l 總體成本低:初期采購總成本、管理維護成本、人員成本、升級擴容成本等都具有很大優(yōu)勢。2.1.3 存儲架構規(guī)劃及設計2.1.3.1 服務器集中存儲方案設計根據教育局數據信息的分布,在IP-SAN的方案規(guī)劃中,可分為兩個部分,分別是服務器集中存儲和遠程容災備份,系統(tǒng)首先實現的是集中存儲。集中存儲方案說明: 服務器通

16、過IP SAN網絡(GE)與主存儲鏈接; IP SAN網絡是普通千兆以太網,采用雙機可以增強可靠性; 主存設備為高性能(萬兆架構)、高可靠(雙控制器、冗余電源等)的IX3040(8 GE、最大224塊硬盤),實現對服務器群的集中存儲; 存儲組建RAID10、RAID5等邏輯卷,提高陣列IO性能以及可靠性; 在集中存儲的基礎上,可選配利用時間點快照等技術,實現在線CDP(連續(xù)數據保護),解決誤刪除、病毒等引起的數據軟故障; IX3040還能支持遠程復制、鏡像、快照等技術,可進一步組建基于存儲的遠程災備系統(tǒng),實現異地容災; 所有需要連接IX3040的服務器,如數據庫服務器,只要安裝千兆網卡,并安裝

17、軟件的iSCSI Initiator,就可以通過以太網獲得存儲設備,從而不需要購置價格昂貴的HBA卡。如果有一些CPU負荷比較重的服務器,可以安裝通過iSCSI的HBA卡的方式連接到系統(tǒng),將部分存儲運算交給HBA卡完成,從而減輕主機CPU的負荷。IX3000能夠利用多種集群軟件實現雙機熱備。例如IBM集群軟件HACMP,ROSE等,保證Oracle數據庫等系統(tǒng)的高可用性。IX3040還可為應用主機提供多鏈路負載均衡和故障切換功能。為了實現多鏈路冗余,數據庫服務器需要在原有2塊網口的基礎上,增加新的網卡。日后如果需要擴展應用服務器的存儲,可以隨時安裝操作系統(tǒng)所對應的iSCSI Initiator

18、,配合以太網卡連接到存儲系統(tǒng)。IX3000通過劃分不同的卷,以保證各個應用系統(tǒng)互不干擾。2.1.4 集中存儲方案產品技術說明2.1.4.1 集中存儲設備組成在集中存儲中,以IX3000為核心存儲系統(tǒng),配置2個存儲控制模塊的IX3620能夠提供優(yōu)異的存儲性能,滿足多臺服務器的讀寫需求。系統(tǒng)支持采用多塊網卡的高可靠性設計,滿足數據庫服務器等關鍵業(yè)務對于存儲區(qū)域網絡的性能和可靠性的要求。IX3000支持高速SAS盤與高性價比SATA盤的混插,對于一些對IO要求高的業(yè)務可以配置SAS磁盤提供高性能訪問;對于需要大容量的的業(yè)務應用(如圖像、視頻等),可以采用高性價比的SATA磁盤提供存儲空間。并根據需要

19、,可以配置時間點連續(xù)保護功能,提供數據的本地持續(xù)保護,為數據的軟故障(病毒、誤操作等)提供更加安全的保護功能。2.1.4.2 集中存儲設備技術說明Neocean IX3000系列是H3C公司推出的全新中高端網絡存儲產品,定位于性能要求高、業(yè)務需求豐富的各種數據應用,是高性能、高品質、高智能的IP存儲系統(tǒng)。IX3000系列采用先進的設計理念和體系架構,融入SAS、多核處理器、緩存鏡像等多項先進的數據處理和傳輸技術,保證了系統(tǒng)的高可靠性、高性能和強大的擴展能力。IX3000系列還提供豐富的軟件功能,提供從在線到近線、從本地到遠程的全面可靠的數據保護,輕松實現存儲容量動態(tài)擴展、連續(xù)數據保護、遠程數據

20、災備和海量數據遷移,與Neocean全系列存儲產品配合,為用戶提供多層次、跨地域的存儲解決方案,滿足用戶對于數據管理的各種需求。 IX3000包括IX3040和IX3080兩個型號。其中,IX3040具有8個前端千兆網口,支持224塊磁盤,滿足較重負荷的電子郵件/即時消息、大中型數據庫、WEB服務等應用的存儲需要;IX3080具有16個前端千兆網口,支持336塊磁盤,滿足高性能應用、IO操作頻繁的OLTP 或電子郵件以及其他高要求應用領域的存儲需求。Neocean IX3040 Neocean IX30802.1.4.2.1. 產品特點(一)先進的體系架構,高性能的存儲平臺Ø “10

21、G+”磁盤訪問通道后端磁盤訪問帶寬的限制,往往成為整個存儲系統(tǒng)的瓶頸,IX3000采用先進的SAS總線技術,每條SAS總線能夠提供超過萬兆(12Gb)的訪問帶寬,大幅度提高了后端磁盤訪問通道的性能。72Gb磁盤訪問帶寬:SAS是一種先進總線技術,以串行通訊為協(xié)議基礎架構,采用SCSI-3擴展指令集,綜合了現有并行SCSI和串行連接技術的優(yōu)勢,并能兼容SATA設備。此外,SAS特有的寬端口技術,可以在一條鏈路上整合多條物理通道,使傳輸帶寬得到成倍的提升。IX3000后端采用SAS通道作為控制器和磁盤的數據交換鏈路,提供高達72Gb的數據交換帶寬。相比傳統(tǒng)光纖環(huán)路結構,從傳輸帶寬、效率、可靠性方面

22、,都帶來巨大的提升。n 超高交換帶寬:控制器和磁盤柜之間的SAS通道均采用4路寬端口設計,單條通道可提供12Gb的數據交換帶寬,遠遠超過了光纖的4Gb帶寬。整個系統(tǒng)最多采用了6條SAS寬端口鏈路,共提供72Gb的數據傳輸帶寬,使控制器和磁盤的數據交換能力得到飛躍。n 多通道并發(fā)訪問:在光纖環(huán)路的結構中,存儲控制器在同一時間只能與一塊硬盤進行數據交換,通道的帶寬往往得不到有效的利用。SAS特有的多端口多通道設計和點對點傳輸機制,允許存儲控制器在同一時間可以與多塊硬盤進行數據傳輸,不僅大大提高了數據的傳輸速度,而且使通道的帶寬得到了有效的利用。n 冗余和負載均衡:一條光纖環(huán)路只有一條通道,如果該通

23、道發(fā)生故障,那么整個環(huán)路的傳輸將會中斷。一條SAS鏈路的多個通道之間具備冗余和負載均衡功能,在4路寬端口設計中,在3條傳輸通道發(fā)生故障的情況下,仍然可以進行數據傳輸,大大提高了鏈路的可靠性。全交換智能磁盤柜:IX3000磁盤柜采用SAS交換技術,其內部交換吞吐量高達72Gb。每個磁盤都有獨立的數據訪問鏈路,不受其它磁盤的干擾,完全避免環(huán)形架構下多塊磁盤共享帶寬導致性能下降的問題。Ø 領先的磁盤技術IX3000支持SAS磁盤和SATA磁盤混插,其中SAS磁盤采用雙端口、全雙工的串行傳輸,不僅繼承了傳統(tǒng)SCSI磁盤的高可靠性和易管理性,而且進一步提高了數據的傳輸能力。IX3000使用的S

24、AS磁盤轉速15000轉,平均無故障時間(MTBF)高達140萬小時,適合對性能尤其是隨機讀寫性能要求極高、訪問密集的高性能業(yè)務應用。IX3000使用的企業(yè)級SATA磁盤,平均無故障時間(MTBF)也高達120萬小時,在保證用戶業(yè)務高可靠性的同時能夠有效的降低用戶的投入和使用成本。Ø 高性能多核存儲控制器IX3000存儲控制器在設計上融入多核處理器、PCI-E總線、FBD內存等多項業(yè)界領先的數據處理技術,保證了控制器的高I/O性能和業(yè)務擴展能力。多核處理器:IX3000選用Intel高性能多核處理器,該處理器基于65nm工藝,采用“雙獨立總線”,支持新一代的處理器虛擬化(VT)技術,

25、處理性能比同頻率Intel至強單核處理器提升300以上。IX3000集成4個雙核處理器,提供更快更可靠的存儲能力、更強的虛擬化能力和更快的IO處理能力。PCI-E高速總線:在控制器的內部互聯(lián)上,IX3000選用PCI-E總線接口標準。PCI-E采用業(yè)界領先的點對點串行傳輸,每個設備都有自己的專用連接,不需要向整個總線請求帶寬,從而大大提高了數據傳輸率。存儲控制器內部采用的多條高速PCI-E總線,為多核處理器、多主機通道、SAS磁盤通道之間提供了萬兆數據交換的紐帶,保證了端到端無阻塞的數據傳輸能力。此外,IX3000的存儲控制器采用新一代串行傳輸FBD內存,支持內存多通道同時讀寫,提供比DDR更

26、快的內存訪問速度和更好的擴展能力;采用獨立的硬件RAID處理模塊,在提供高效的磁盤訪問的同時,大幅度減輕了處理器的計算負擔。(二)全方位的高可用設計,確保數據可靠Neocean IX3000采用多項高可用技術,提供全面的系統(tǒng)故障保護,最大限度的保證用戶數據的可用性和安全性。Ø 多路徑冗余和控制器負載均衡IX3000存儲控制器集成路徑冗余和智能負載均衡功能,提供從應用服務器到存儲陣列的端到端的業(yè)務分擔和冗余保護。在主機訪問鏈路、磁盤訪問通道、存儲控制器出現故障時,能夠避免單點故障,保證存儲業(yè)務的連續(xù)性。更重要的是,不管是路徑切換還是控制器切換,整個過程都不需要應用主機的參與,最大限度的

27、減少了對應用的影響。Ø 寫緩存鏡像和數據保護IX3000采用寫緩存鏡像技術,同一份數據被同時寫入到兩個控制器的緩存當中,避免了由于單個控制器失效所導致的緩存數據丟失。此外,系統(tǒng)為寫緩存配置了后備電池保護,能夠提供長達100小時的斷電數據保護。Ø 冗余電源保護IX3000的主要部件全部采用冗余電源設計,當其中一路電源發(fā)生故障時,另一路電源仍可支持正常工作。對于處于核心位置的存儲控制器,專門采用了2+2的冗余電源保護,提供了更高的可靠性。此外,電源支持熱插拔和在線更換,并提供完善的保護功能,能夠在輸出過流、輸出短路、輸出過壓等異常情況下保證設備的安全性。(三)豐富的軟件功能,多

28、樣化的解決方案IX3000提供豐富的數據管理功能,比如全自動連續(xù)數據快照、網絡復制、快照代理、DiskSafe等,實現了從在線到近線、從本地到遠程的數據保護,為用戶輕松提供多層次、跨地域的存儲解決方案。全自動連續(xù)快照:IX3000支持TimeMark全自動連續(xù)快照功能,可以按策略為數據卷自動創(chuàng)建基于增量的多時間點標記(可達255個)。創(chuàng)建時間點標記策略可隨需制定,比如每天晚上12點創(chuàng)建,每隔1個小時或每隔10分鐘創(chuàng)建等等。當發(fā)生軟件程序導致的數據損壞、病毒破壞、意外刪除及其它人為誤操作引起的數據丟失或錯誤時,可以通過對合適的時間點標記進行“回滾”來快速恢復數據。該功能特別適用于關鍵性業(yè)務的連續(xù)

29、數據保護。TimeView(與TimeMark同時提供):TimeView可將數據卷的任意時間點狀態(tài)抓取出來,作為一個獨立的數據卷提供給主機,用于數據測試、數據分析和數據備份。TimeView是在生產卷出現故障時查找正確時間點數據的重要工具,每一個TimeMark標記的時間點,都可以作為這樣的數據卷提取出來進行分析。數據快照拷貝(與TimeMark同時提供):IX3000系列還支持數據快照拷貝(也稱數據卷克隆或者卷拷貝)功能??煺湛截愂菍υ磾祿韽奈锢砩稀翱寺 背鲆粋€數據完全一致的卷,這個克隆卷與原數據卷是物理上完全獨立的兩個卷,原數據卷的損壞不會影響克隆卷。網絡復制:IX3000基于IP的網

30、絡復制可以為用戶數據實現異地的備份,在發(fā)生意外災難時能夠對數據進行快速恢復,確保用戶的業(yè)務持續(xù)性。IX3000的內部系統(tǒng)會智能地將指定卷虛擬劃分為最小以512字節(jié)為單位的數據塊,在應用系統(tǒng)不斷修改數據時,IX3000會智能地識別出那些被更改的數據塊,只將這些數據塊復制出去,而不是整個文件、整個表或者整個目錄。這樣就保證了復制在最短時間、最低帶寬連接要求情況下高效實現。IX3000的遠程復制功能支持基于時間間隔、數據增量和設定時間點三種策略復制模式,可根據應用需求進行靈活的設置。IX3000的復制技術同時還能提供加密和壓縮可選項,能夠對特殊業(yè)務數據進行特殊處理,保證數據的安全性和帶寬利用的最大化

31、。此外,IX3000還支持自適應復制功能,可將寫入主資源的每一個IO實時復制到副本資源上,最大限度的降低災難發(fā)生時的數據丟失量。主機數據一致性(快照代理):當主機應用程序正常運行時,部分數據并未寫到后端磁盤上,而是駐留在主機內存中。如果僅僅是對磁盤中的數據進行快照操作,就往往會發(fā)現快照出來的數據“不對”,與預期中的數據不一致。IX3000為用戶提供了快照代理功能,保證了用戶在設定了TimeMark、復制策略后,IX3000在按照指令執(zhí)行這些操作時會自動與主機端的快照代理聯(lián)動,自動通知快照代理將應用程序暫留在內存中的數據“刷”到磁盤上,由此保證了快照或復制出來的數據保持嚴格的數據一致性和數據完整

32、性。快照代理提供對各種平臺的支持,包括運行在Windows/Linux/IBM AIX/HP-UX/Solaris上的SQL Server/Oracle /Sybase/DB2/Informix /Exchange/Domino等應用系統(tǒng)和各種操作系統(tǒng)自帶的文件系統(tǒng)??煺沾砟軌虮WC當用戶使用以上主流系統(tǒng),均能獲得數據一致性和完整性保證。操作系統(tǒng)保護與恢復(DiskSafe):通過選配IX3000系列的客戶端軟件DiskSafe,還可以將Windows主機上的操作系統(tǒng)或數據實時復制同步到后端的IX3000上,實現對操作系統(tǒng)和數據的持續(xù)保護。當Windows操作系統(tǒng)損壞或出現主機硬盤故障時,可以

33、通過隨機提供的恢復光盤啟動主機,連接到IX3000系列上進行快速數據恢復。如果用戶在Windows主機上配置iSCSI HBA卡,還能夠直接從IX3000系列中遠程啟動Windows主機,保障業(yè)務快速恢復和連續(xù)運行。IX3000系列強大的數據管理功能,為用戶豐富多彩的應用提供了無限的可能。無論用戶需要進行什么樣的數據調度、數據分發(fā)、數據保護工作,都可以在IX3000上輕松實現。(四)管理方便快捷,維護簡單輕松IX3000的操作和管理非常簡單,極具人性化。用戶只需將應用服務器插上網線與IX3000系列產品通過網絡相連,并進行簡單的軟件配置就可以像訪問本地磁盤一樣訪問連接到網絡上的IX3000存儲

34、資源,無需添加任何其它專用設備。IX3000可視化的圖形管理界面可以使用戶可以所見即所得地對磁盤、RAID組等進行配置和監(jiān)控,操作方便,使用簡單。IX3000的配置管理能夠與H3C iMC系統(tǒng)融合,用戶可以像管理其它網絡設備一樣,輕松管理IX3000。IX3000還提供X-Ray檢測工具,可將特定時間的系統(tǒng)完整狀態(tài)和參數記錄下來形成標準格式文件,通過文件分析就可以準確掌握系統(tǒng)運行狀態(tài)。2.1.4.2.2. 產品規(guī)格項目描述Neocean IX3040存儲控制器雙控制器結構,每控制器采用1個 Intel雙核至強處理器緩存擴展能力標配4GB,可擴展到16GB緩存保護機制l 支持寫緩存鏡像l 寫緩存

35、后備電池提供100小時斷電數據保護主機訪問接口8個千兆以太網接口,支持iSCSI協(xié)議(RJ45連接器)后端磁盤通道4個12Gb SAS磁盤訪問接口,每接口含4個磁盤訪問通道磁盤標準與容量l 146/300GB 15000轉SAS磁盤l 500/750/1000GB 7200轉企業(yè)級SATA II磁盤擴展磁盤柜每磁盤柜支持16個磁盤驅動器,支持SAS、SATA磁盤混插最大磁盤驅動器數目224RAID級別支持RAID 0、1、10、5最大帶寬800MB/s最大LUN數目1024最大主機連接數256操作系統(tǒng)支持Windows、Linux、AIX、HP-UX、Solaris、Netware等管理軟件存

36、儲系統(tǒng)管理平臺軟件可選數據管理功能l 卷鏡像(同步/異步)功能l 基于IP的網絡復制功能(1)基于時間點、數據變化量的策略性復制(2)基于IP的自適應數據復制(3)復制壓縮功能:通過壓縮數據流使復制帶寬的利用達到最佳(4)復制加密功能:通過對數據流加密確保端到端的安全與保密l 全自動連續(xù)快照,提供連續(xù)數據保護功能l 主機數據庫快照代理(數據一致性插件)l 操作系統(tǒng)備份及遠程系統(tǒng)啟動IX3040 物理特性項目描述Neocean IX3040外形尺寸(mm) 機柜 控制器磁盤柜高(U)×寬×長(mm) 2200(42U)×600×1000(可容納10個磁盤柜

37、)175(4U)×442×750131(3U)×431×736重量控制器:46kg滿配置磁盤柜:40kg主機柜滿配置:664kg電源輸入100V127V/200V240V AC;60Hz/50Hz最大功耗控制器功耗:600W滿配置磁盤柜功耗:480W溫度10-35°C濕度20%-80%,無凝結2.1.4.2.3. 方案特點及優(yōu)勢2.1.4.2.3.1. 方案特點IX3000在產品技術架構上具有四大特點:高帶寬存儲交換平臺IX3000從結構上基于先進的SAS總線技術,在12Gb/s的SAS總線上,具備高性能低延遲、數據管理、設備管理等特點,從而突

38、破了傳統(tǒng)控制器到磁盤的環(huán)路瓶頸,單臺設備最大支持48-72Gb/s的背板交換帶寬。高性能存儲控制模塊集群IX3000的存儲控制模塊采用了最新的數據流集群技術(Cluster)、多核計算技術、IOAT和存儲控制負載均衡技術,X3040的存儲控制模塊能夠充分發(fā)揮控制器集群的高性能和高可靠性,實現業(yè)務不間斷的控制器添加和減少,大大提高了存儲作為IT基礎平臺對應用的性能和業(yè)務連續(xù)性的支撐。多端口匯聚主機接口為提高存儲系統(tǒng)的主機連接能力,降低用戶在布署存儲系統(tǒng)時的集成和管理成本,IX3000對存儲控制模塊出口進行了匯聚和統(tǒng)一管理,共提供32*GE主機接口。在不增加其他交換機的情況下,可支持32臺主機直接

39、接入IX3000,是服務器集中和數據集中的理想選擇。2.1.4.2.3.2. 方案優(yōu)勢由于IX3000在充分利用IP技術的高性能、低成本、標準化的特性基礎上進行構建,使IX3000大大超越了傳統(tǒng)存儲產品的各種結構局限和應用困境,在應用上體現出卓然超群的特性:成熟標準高可靠IP技術是迄今為止IT世界中應用最廣泛、支持最普遍、成本最低、成熟度最高的數據傳輸標準。IX3000的豐富特點,完全是基于H3C全球領先的IP技術構建的。因此,IX3000先天具備了IP技術成熟、通用的特征,在設計上充分運用了控制器負載均衡、IRF存儲交換平臺、基于IP的網絡鏡像、2+1高功率冗余UPS等產品和技術,完全克服了

40、傳統(tǒng)存儲產品磁盤、電源、控制器三大主要故障源容錯設計不足的缺陷,大大提高了IX3000的系統(tǒng)可靠性,達到99.999%的可靠性。IX3000應用IP技術的標準性,徹底消除了用戶采購傳統(tǒng)存儲系統(tǒng)帶來的兼容性和集成管理問題,帶來了靈活、方便、標準化和低成本的系統(tǒng)部署和管理體驗。結構開放,無限擴展IX3000基于IP的存儲交換平臺打開了存儲功能和性能擴展的大門,使數據的流動和管理不再受到傳統(tǒng)存儲系統(tǒng)僵化結構的制約,無論從性能、功能、容量上都獲得了近乎無限的擴展能力。例如在性能擴展方面:IX3000超群的擴展能力,使“保護用戶投資”真正成為一個堅實的承諾,讓“按需使用”成為現實。用戶完全可以根據最迫切

41、的需求購買產品,并隨著業(yè)務發(fā)展的要求不斷地、持續(xù)地擴展下去。不再擔心標準的升級、更換和過時!全面提供各種數據管理功能IX3000性能卓越、靈活可靠的硬件平臺,為用戶提供了豐富多彩的數據管理功能。硬件能力的釋放,使得用戶不用再擔心功能附加對存儲系統(tǒng)數據處理能力的影響,數據管理功能效率也大幅度提升?;跇藴驶疘P的存儲交換平臺使得各種數據管理功能能夠像電器插入電源插座一樣,輕易地進行部署應用。標準化平臺,使得用戶徹底擺脫只能在單一廠商產品間應用數據功能的尷尬局面。IP技術中的端口鏡像、組播、路由、VLAN、IPSEC等應用于存儲數據管理,使IX3000在數據的安全性、數據管理能力和功能性方面產生了

42、質的飛躍。全面整合FC/SCSI/NAS等其他存儲資源。提供主機系統(tǒng)平臺無關(即兼容各種系統(tǒng))和系統(tǒng)現有存儲產品無關(即兼容各種存儲產品)的整合能力。IP存儲從IP網絡獲得的一個巨大能量源,就是使存儲獲得了廣域運用的能力。IX3000突破的傳統(tǒng)存儲僅能在局域環(huán)境使用和管理的困境,為數據管理和數據服務插上了Internet的翅膀。對于各種廣域文件分發(fā)、遠程數據集中、遠程復制/容災、加密/壓縮數據傳輸、遠程數據共享、WAN Cache應用、WAFS應用等提供直接支持,無須任何昂貴的協(xié)議轉換設備或專用光纖進行鋪設。真正的信息生命周期管理信息生命周期的原理,是用戶針對不同數據的價值,采用不同的存儲手段

43、進行存儲和管理,并能夠在各種存儲“容器”間透明自由流動。傳統(tǒng)存儲系統(tǒng)因為平臺的限制,往往需要多臺不同規(guī)格和不同架構的產品才能夠實現以上功能,同時缺乏對其他廠商產品和廣域功能的支持。IX3000在先進的IP存儲交換平臺支持下,既能夠在同一平臺中支持不同的存儲介質,還能夠通過超強的擴展和整合能力支持不同帶寬、不同存儲處理能力、不同應用功能、甚至不同地理位置的存儲資源調配與數據管理!例如,IX3000可以在統(tǒng)一的平臺上,集中整合SATA/SAS介質,整合在線、VTL近線、遠程存儲三種資源為一體,整合FC/SCSI/GE/10GE等不同架構的存儲平臺資源。使用簡單易于管理傳統(tǒng)存儲系統(tǒng)的管理難題來自于專

44、用協(xié)議、專用設備、廠商私有規(guī)格標準造成的混亂和人為造成的管理障礙。同時,由于缺乏專門人才,使用戶在采購傳統(tǒng)存儲系統(tǒng)后,往往都要面對維護乏力、管理成本高昂,還不得不一再向廠商購買各種存儲服務。IX3000完全基于設備和系統(tǒng)可視化、IP標準化進行管理。只要具備基礎IP網絡管理知識的人員,都幾乎可以無須培訓即掌握IX3000的管理和維護。從使用上,由于省去了各種特殊交換設備、特殊連接卡設備,使得IX3000的安裝、使用和部署非常簡單方便。同時,IX3000的系統(tǒng)管理已完全與H3C著名的IMC網絡管理系統(tǒng)集成,通過統(tǒng)一的管理界面,IMC能夠對分布在遍及廣域的多臺IX3000進行集中統(tǒng)一的管理和維護。2

45、.1.4.2.4. CDP連續(xù)數據保護方案(選項)出于對數據的保護和恢復的要求,在數據中心的建設中,可以選擇配置CDP(持續(xù)數據保護)方案來取代傳統(tǒng)的磁帶備份方式,獲得更好的RTO和RPO,并在避免硬故障的同時,也可以避免軟故障(病毒、誤操作等)對數據造成的破壞。H3C的 IX系列存儲設備都支持CDP連續(xù)數據保護解決方案選項功能。CDP(Continuous Data Protection)連續(xù)數據保護是一種有別于傳統(tǒng)利用快照、復制和鏡像等手段來進行數據保護的前沿技術,可在數據發(fā)生任何變化時將所有數據很好地保護起來。CDP既不完全是備份技術,也不完全是歸檔技術,它是一種集備份和歸檔為一體的技術

46、,CDP將傳統(tǒng)著眼于“備份”的備份技術,推進到著眼于快速恢復、最少數據丟失的數據保護新階段。其最大的技術優(yōu)勢就在于可進行任意時間點的數據恢復。當數據丟失的損失以分鐘(或更小的時間單位)來計算時,部署CDP方案就顯得十分必要。同時,對于系統(tǒng)的企業(yè)來說,CDP技術能減少從災難發(fā)生到數據恢復所需要的時間,滿足系統(tǒng)可靠性需達到99.999%的嚴苛要求。通過使用存儲設備的TimeMark功能選項,可對在線存儲的重要數據進行持續(xù)數據保護。連續(xù)數據保護CDP解決方案特點:l 通過CDP連續(xù)數據保護方案徹底解決傳統(tǒng)備份方式的弊端,節(jié)省備份投資l 快速恢復,10分鐘內可以恢復。RP0、RTO最少可達到零損失l

47、實現了最全面的數據容災,對各種災難都有有效的恢復措施l 基于網絡層的數據容災,支持異構設備、對主機零干擾,能確保數據的完整性l 信息系統(tǒng)能夠實現一定時間間隔下的各版本數據保存,解決軟錯誤(人為故障、病毒等)的故障難題第3章 項目管理3.1 項目組織為保證本次項目順利實施,我們和最終用戶一起組建適于本項目實施和管理的全套組織和領導機構。解決項目實施過程中的技術實現、規(guī)劃管理和決策控制三方面的問題,并明確各方職責及組間協(xié)調關系。為項目成功打下堅實的組織保障基礎。3.1.1 項目組織結構建議項目組采取如下結構。l 項目規(guī)劃管理由項目經理負責,下設項目管理組、項目支持組、顧問咨詢組、方案總體組和標準化

48、組構成;l 項目決策控制層由項目業(yè)主高層領導和公司高層領導組成的項目執(zhí)行委員會構成,負責項目重大決策。3.1.2 項目小組職責3.1.2.1 項目執(zhí)行委員會1)項目執(zhí)行委員會人員構成l 項目業(yè)主和公司雙方高層領導各1-2人,公司總經理作為項目執(zhí)行委員會成員;l 項目業(yè)主與公司雙方項目總負責人(雙方接口人),雙方各一人;l 領導小組的組長由項目業(yè)主方面擔任,副組長由公司方面擔任。2)項目執(zhí)行委員會職責項目執(zhí)行委員會具體職責如下:l 負責項目實施過程中的重大事件的決策;l 根據項目的進度、質量、技術、資源、風險等實行宏觀監(jiān)控;l 負責組建驗收小組,主持驗收工作;l 協(xié)調最終用戶、公司公司各方工作關

49、系;3.1.2.2 項目總監(jiān)項目總監(jiān)職責:協(xié)調解決重要工程項目所必需的專業(yè)技術隊伍的組織,在公司內協(xié)調解決主要工程項目的經費及其他資源配置,并通過對項目經理的組織、管理,確??身樌瓿芍匾こ添椖康母黜椆こ倘蝿?。具體職責為: l 系統(tǒng)總體設計指導;l 對各分系統(tǒng)深化設計進行審核并提出優(yōu)化建議;l 對各分系統(tǒng)進行技術協(xié)調;l 協(xié)助客戶對各分系統(tǒng)的設備配置予以確認;l 協(xié)助客戶完成各分系統(tǒng)設備到貨驗收工作;l 對現場設備安裝、調試提供必要的技術支持服務;l 文檔審核;l 系統(tǒng)最終測試驗收。3.1.2.3 項目經理項目經理職責:作為項目經理,從項目實施隊伍組建之日起,就承擔起將合同范圍內的各項項目任

50、務全面完成的重要職責。項目經理須做好日常資源管理工作,并直接控制項目管理計劃的各個要素,具體說來主要包括以下幾個方面:l 制定項目計劃:牽頭制定項目計劃。l 項目執(zhí)行:對以下幾方面工作提供指導:總體方案設計及工程設計;設備配置確認;工程質量保證;設備安裝、調試、集成及測試;系統(tǒng)驗收,培訓。l 項目檢查:通過其下屬各工作組提供的工程進展匯報,將項目進展狀態(tài)與項目計劃進度進行比較,發(fā)現過程誤差,提出整改措施。l 項目控制:審核項目進展狀態(tài),必要時調集各種備用資源,確保項目按計劃進度實施。l 項目協(xié)調:與客戶、各分系統(tǒng)建設部門進行協(xié)調,解決工程組織接口及技術接口問題;定期主持系統(tǒng)建設協(xié)調會,及時解決

51、各系統(tǒng)間出現的相關問題。3.1.2.4 項目管理組質量保證職責在本項目中,除了各項目組內的質量保證工作以外,還需要在整個項目級上進行質量保證。它的職責包括:l 在項目經理的授權下,制訂整個項目的質量保證計劃;l 在整個項目的執(zhí)行過程中,監(jiān)督質量保證工作的執(zhí)行情況,協(xié)調組織間的質量保證工作;l 在項目經理的授權下,制訂整個項目的集成測試計劃;l 組織進行集成測試活動;l 組織技術評審工作。3.1.2.5 項目支持組1)配置管理職責在整個項目級別上從事配置管理工作,包括版本控制、變更控制。2)后勤保障職責為項目提供全面的后勤保障支持3.1.2.6 顧問咨詢組公司技術專家人員若干名,把握項目重大方向

52、與關鍵需求。 3.1.2.7 方案總體組協(xié)助項目經理,把握項目技術方向與項目需求,檢查和落實相關標準和規(guī)范。3.1.3 公司實施團隊角色責任PM 項目經理負責項目的總體規(guī)劃,控制,資源協(xié)調TM 技術經理掌握系統(tǒng)設計方向,總體架構TE測試工程師編寫測試用例,執(zhí)行具體測試任務UE 用戶教育準備各種用戶手冊,對客戶進行培訓,參與測試系統(tǒng)集成工程師負責產品的安裝、調試主機工程師負責主機系統(tǒng)的安裝、調試項目運作主管負責項目運做、協(xié)調第三方支持協(xié)調管理產品供應商支持工程師,協(xié)助進行實施以上人員根據需要,形成不同的小組,某些角色可以由同一個人承擔。人員職責清晰,分工合作,共同完成項目實施任務。3.2 項目管

53、理3.2.1 整體項目管理公司將根據公司項目管理實施辦法,依托公司項目管理平臺,并結合本項目特點建立一套適合項目要求的全過程項目管理機制,保障項目高效、有序、穩(wěn)定、健康的發(fā)展,確保項目成功。以下闡述本項目的系統(tǒng)集成的管理模式。3.2.2 系統(tǒng)集成管理制定嚴格有效的項目實施管理措施,確保項目的質量和品質。主要包括制訂詳細的項目技術指導書、項目實施計劃、項目進度管理、資源調配與管理,必要的項目協(xié)調會議、項目和技術文檔管理等。3.2.2.1 建立健全項目組織機構健全有效的組織機構是貫徹項目意圖和順利進行項目實施的重要條件和保證。在項目實施中,由于分工責任不明確造成項目管理混亂,將嚴重影響項目質量的好

54、壞。為確保項目實施的規(guī)范化,在項目啟動階段,首要工作就是提出并組建適于特定項目實施和管理的全套組織和領導機構,采用項目總監(jiān)領導下的項目經理負責制,明確各組人員的職責及組間協(xié)調關系,分工到人、責任落實。3.2.2.2 制訂切實可行的項目指導書由于IT項目所用技術的多樣性,不確定因素比較多,在多年項目實施積累的基礎上,逐步形成了適合不同類型項目的項目實施指南。項目經理和技術專家根據對項目細節(jié)的分析與研究,形成適合該項目的詳細、切實的項目指導書,并形成關鍵性技術文件。項目技術指導書將始終貫徹于整個項目實施過程之中,是整個項目實施的指導性技術文件。具體項目實施時,按照該指導書的精神和具體內容對整個項目

55、中各個具體項目細節(jié)進行微調,以確保整個項目能夠順利、按時完成。3.2.2.3 制訂項目實施計劃根據實際安裝條件、設備到貨周期、各種資源狀況、傳輸系統(tǒng)狀況和其他現實因素,要求項目經理必須要全面規(guī)劃出一個符合實際的整個項目進度計劃,其中包括:l 項目進度總時間表和人力資源表;l 各階段的具體工作內容、工作周期以及相應的負責人員;l 項目里程碑的定義及完工標準;項目經理將按照制訂的項目進度計劃對項目實施進行協(xié)調、監(jiān)督與管理,定期向用戶項目負責人做進度報告。對于計劃調整的部分,必須及時向用戶提交變更申請,在得到用戶有關方面的批準后,及時調整項目進度計劃,并在保證工期和質量的前提下,協(xié)調各種資源,監(jiān)督項

56、目實施。3.2.2.4 嚴格的項目進度管理項目經理作為項目的總接口人及項目總負責人,負責項目實施的全面工作,包括收集有關產品到貨、運輸、開箱、現場準備、安裝進展、用戶技術人員反應等有關項目信息。在項目實施過程中,將嚴格按照項目實施計劃,全權負責項目進度的管理與監(jiān)督。定時向用戶項目實施負責人匯報項目進度,在處理突發(fā)事件和項目變更時,要及時調整人員和計劃以保證項目正常進行;在項目進度受阻時,要及時申請增加人員和技術力量,確保項目進度;在遇到導致項目進展的因素發(fā)生時,項目經理將負責采取必要的措施。此外,項目經理要審查技術實施后的項目質量,以確保整個項目順利、高質量的完成。3.2.2.5 資源調配與管

57、理在項目管理中,由項目經理負責協(xié)調所有的內部與外部資源,并根據任務分解情況,明確各項目小組的權限和責任,以及相關人員的素質要求和具體人員配備。在必要的時候,項目經理將根據具體情況按照最高效的方法統(tǒng)一調配人力資源、設備資源。3.2.2.6 必要的項目協(xié)調會由于項目工期時間緊、技術復雜,確保項目順利實施的一個重要因素協(xié)調、調動項目各方面的積極性與創(chuàng)造性,項目各參與方的密切合作和理解是項目實施成功的一個重要基石。定期的項目協(xié)調會可為項目的各參與單位提供面對面交流各自負責工作進展狀況和項目中遇到問題的機會,以便各相關方面了解最新的項目動態(tài),以確保整個項目的順利實施。3.2.2.7 項目和技術文檔的管理建立標準化的項目技術文檔體系是項目管理規(guī)范化、程序化的重要手段。通過項目文檔體系可以實現對整個項目的計劃與預算、定期報告、特別報

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論