PAGE69PAGE南充市商業(yè)銀行技術(shù)文件

第一部分NetApp公司簡介

創(chuàng)新是我們的DNA幫助客戶成功是我們的文化我們是云計算、大數(shù)據(jù)的領(lǐng)導(dǎo)者我們的FAS統(tǒng)一存儲全球銷量第一我們是《財富》“全球最佳跨國公司”第三我們是NetApp我們發(fā)明了統(tǒng)一存儲我們引領(lǐng)了存儲發(fā)展潮流NetApp公司介紹NetApp是全球領(lǐng)先的存儲與數(shù)據(jù)管理廠商，由DaveHitz和JamesLau(劉冠新)于1992年在美國加州陽光谷(Sunnyvale)創(chuàng)立。經(jīng)過二十多年的發(fā)展，今天的NetApp已經(jīng)是一家擁有13000名員工，年營業(yè)額達(dá)到63億美金的跨國公司。雖然是一家年輕的公司，但在截止到2013年全球外部存儲系統(tǒng)市場占有率上，NetApp公司已經(jīng)穩(wěn)居第二的市場地位。從創(chuàng)立之初，NetApp就確立了兩大宗旨，也是我們賴以成功的企業(yè)文化。首先是“幫助客戶成功”。NetApp重視每一個客戶，而且提出“GoBeyond”的原則，即不僅僅只是做好自己分內(nèi)的事，要進(jìn)一步、更深入地為客戶服務(wù)。例如，在項目中，我們不但會做好存儲設(shè)計、規(guī)劃和實(shí)施，也會對基礎(chǔ)架構(gòu)、應(yīng)用部署提出最佳實(shí)踐的建議，使整個系統(tǒng)成為更加協(xié)調(diào)的有機(jī)體。其次是創(chuàng)新。從成立以來，NetApp就不斷地進(jìn)行技術(shù)創(chuàng)新，引領(lǐng)著世界存儲技術(shù)的發(fā)展方向。NetApp認(rèn)為，優(yōu)秀的存儲是業(yè)務(wù)系統(tǒng)更加可靠的基石，更快運(yùn)行的推進(jìn)劑，業(yè)務(wù)整合的黏合劑，降低成本提升效率的魔術(shù)棒。拿設(shè)計汽車類比，過去傳統(tǒng)存儲廠家只是一代又一代地擴(kuò)大氣缸尺寸，提升馬力，雖然載貨量和性能提升了，但油耗也上去了，同時駕駛?cè)藛T得到的只是一輛更難開的車。而NetApp一方面通過高效技術(shù)，減小氣缸尺寸、降低油耗，同時還提升了動力；另一方面，NetApp豐富了很多安全、人性化方面的功能，駕駛?cè)藛T開起來更加輕松、更安全，也獲得了更好的駕駛體驗(yàn)。這是一個典型的“雙贏”：在數(shù)據(jù)急劇膨脹、應(yīng)用日趨復(fù)雜、業(yè)務(wù)要求越來越高的今天，NetApp的技術(shù)創(chuàng)新則幫助客戶降本增效：節(jié)省成本開支，提升運(yùn)行效率；反過來，客戶也幫助NetApp獲得了成功。根據(jù)IDC統(tǒng)計，NetAppFAS系列是全球銷量第一的單一存儲系統(tǒng)。業(yè)界榮譽(yù)近年來NetApp獲得的業(yè)界榮譽(yù)包括：連續(xù)11年取得《財富》雜志“全美最佳公司”前十，其中2009年擊敗Google獲得第一。2013年《財富》雜志“全球最佳跨國公司”第三連續(xù)6年在Gartner中高端SAN和NAS存儲魔力象限中，獲得“領(lǐng)導(dǎo)者”評價。微軟“最佳存儲解決方案”、“最佳私有云解決方案”大獎DCIG2013年“最佳統(tǒng)一存儲”、“最佳云存儲”評比，囊括前三存儲標(biāo)準(zhǔn)化組織SNIA成立的云存儲標(biāo)準(zhǔn)化小組中，6個領(lǐng)導(dǎo)席位，NetApp占據(jù)3席IDC99.999%可用性認(rèn)證連續(xù)4年獲得美國《存儲》最佳企業(yè)級存儲大獎NetApp的技術(shù)優(yōu)勢及在中國地區(qū)案例這兩年來，大數(shù)據(jù)行業(yè)的應(yīng)用有以下發(fā)展：一是數(shù)據(jù)量越來越大，數(shù)據(jù)類型也呈多樣化。由于大數(shù)據(jù)和云技術(shù)的應(yīng)用發(fā)展，各行業(yè)的沉淀數(shù)據(jù)量呈幾何級增長。我們估計，在不久的將來，很多行業(yè)的數(shù)據(jù)量將達(dá)到PB級別。同時，非結(jié)構(gòu)數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)在各應(yīng)用中將并存，而且數(shù)據(jù)增長方向主要在非結(jié)構(gòu)化數(shù)據(jù)。如何管理海量的數(shù)據(jù)，對傳統(tǒng)存儲來說，是巨大的挑戰(zhàn)。二是應(yīng)用要求越來越高。這既體現(xiàn)在應(yīng)用對“不中斷運(yùn)行”的要求上，同時也對應(yīng)用系統(tǒng)性能的需求。兩者其實(shí)可以歸為一個目的，保證應(yīng)用正常運(yùn)行，減少宕機(jī)時間。三是應(yīng)用種類越來越多，對管理維護(hù)也提出更高要求。新需求不斷地提出，也會產(chǎn)生新的應(yīng)用。那么對于存儲系統(tǒng)最大的挑戰(zhàn)是，如何滿足新應(yīng)用需求的同時，降低管理維護(hù)的復(fù)雜度。四是突破不同系統(tǒng)、不同行業(yè)、不同地域之間的信息壁壘，實(shí)現(xiàn)充分的信息資源共享、互備。利用傳統(tǒng)的存儲技術(shù)，要實(shí)現(xiàn)以上目標(biāo)，必須付出很大的代價。而NetApp的創(chuàng)新技術(shù)可以幫助用戶輕松實(shí)現(xiàn)，而且這些技術(shù)全部“統(tǒng)一”到一個平臺上了：統(tǒng)一存儲NetApp發(fā)明了統(tǒng)一存儲，它可以同時整合不同類型的數(shù)據(jù)，統(tǒng)一管理。同時，單套NetAppFAS存儲可以管理超過50PB的數(shù)據(jù)量，輕松應(yīng)對新的業(yè)務(wù)帶來的海量數(shù)據(jù)––這正是我們擅長的。彈性擴(kuò)展從較小的型號起步，后期也可以靈活地對性能和容量進(jìn)行擴(kuò)展和升級，沒有數(shù)據(jù)遷移的陣痛，而且可以保護(hù)原有投資。業(yè)務(wù)連續(xù)性NetApp存儲內(nèi)置了豐富的數(shù)據(jù)保護(hù)措施，足以應(yīng)對各類故障。如“雙活”、容災(zāi)、秒級快照備份、D2D備份…這些功能全部內(nèi)置于存儲本身，不需要額外購買軟件。高效率存儲技術(shù)，應(yīng)對海量數(shù)據(jù)針對日益膨脹的數(shù)據(jù)量，NetApp免費(fèi)提供了壓縮、消重等技術(shù)，可以大幅降低磁盤購買量。NetApp還提供性能加速技術(shù)，各項性能測試表明，相同硬件配置下，NetApp可以提供最好的性能，保證核心業(yè)務(wù)的最低延時目標(biāo)。面向虛擬化、云計算的共享式架構(gòu)NetApp最初設(shè)計就是按照共享式的IT架構(gòu)來做的。共享式架構(gòu)，也是虛擬化和云計算的基礎(chǔ)。不但可以打破應(yīng)用、地域之間的信息壁壘，同時還可以提升硬件資源利用率，降低維護(hù)復(fù)雜度。更重要的是，面對新的應(yīng)用需求時，可以做出更快的反應(yīng)和調(diào)整。NetApp在中國金融行業(yè)的部分成功案例NETAPP在金融行業(yè)部分成功案例客戶名稱產(chǎn)品型號及臺數(shù)應(yīng)用SnapMirror災(zāi)備距離是否為MetroClusterSAN/NAS中國銀行FAS6040A*2CallCenterY同城NSAN/NASFAS3240A*2分行級核心應(yīng)用Y同機(jī)房NNAS中國建設(shè)銀行總行數(shù)據(jù)中心FAS6280AMC*1數(shù)據(jù)交換平臺N同城YNASFAS6280*42+FAS3200*6虛擬化云平臺+非結(jié)構(gòu)化數(shù)據(jù)云平臺N

同機(jī)房YFCSAN+NAS招商銀行總行數(shù)據(jù)中心FAS3040A*2郵件系統(tǒng)Y深圳-南京NFCSANFAS3040A*2DB2/MSSQL數(shù)據(jù)庫,通用系統(tǒng)Y深圳-南京NFCSANFAS3040A*2網(wǎng)銀日志Y深圳-南京NNAS招商銀行總行數(shù)據(jù)中心FAS6040AMC*2VMwareY深圳-南京YFCSANFAS3040AMC*1VMwareN同城YFCSANFAS6240AMC*1招商銀行信用卡中心FAS6240AMC*1WindowsSQL，一卡通網(wǎng)關(guān)，第三方支持平臺N同機(jī)房YFCSAN深圳發(fā)展銀行總行（現(xiàn)平安銀行）FAS3240AMC*1VMware/OAN同機(jī)房YiSCSI/NASFAS3240AMC*1ODS應(yīng)用系統(tǒng)，IBM小機(jī)＋OracleN同機(jī)房YFCSANFAS3240AMC*1Oracle報表系統(tǒng)N同機(jī)房YFCSANIBMAIX+OracleRAC內(nèi)蒙古銀行FAS3140*1，F(xiàn)AS3040*2核心系統(tǒng)，兩地三中心Y兩地三中心NFCSAN烏魯木齊商行FAS6220（V）*2前置整合，儲蓄，國債，支票影像，OA，城商聯(lián)盟，黃金系統(tǒng)，信貸，基金，銀聯(lián)，VM虛擬化Y同城（10KM）NFCSAN四川省農(nóng)村信用社FAS2040*16后督系統(tǒng)N無NNAS成都銀行FAS6240*1，F(xiàn)AS3220*5流程銀行Y同城NFCSAN南充銀行FAS6220*1流程銀行，數(shù)據(jù)倉庫N無NFCSAN/NAS上海農(nóng)商銀行FAS6240*2虛擬化平臺部署及容災(zāi)Y同城YFCSAN/NAS曲靖商行FAS3240MC*2核心業(yè)務(wù)系統(tǒng)Y同機(jī)房+曲靖/昆明雙中心YFC浦發(fā)銀行信用卡中心FAS3040*2文件服務(wù)Y同城NFC浦發(fā)銀行數(shù)據(jù)中心FAS3020*2文件服務(wù)Y同城NNAS交通銀行數(shù)據(jù)中心FAS6240AMC*1VMwareN同機(jī)房YFCSAN交通銀行數(shù)據(jù)中心FAS6030A*2VMwareY同城NNAS文件服務(wù)民生銀行外匯交易中心FAS6280AMC*1SAPN同城YNASFAS3270AMC*1VMwareN同機(jī)房YFCSAN柳州銀行1xFAS3020C銀行核心，OracleRACY200公里NFCSAN2xFAS270C1xFAS2040A桂林銀行1xFAS3160A銀行核心，OracleRACY同城NFCSAN1xV3140A南海農(nóng)信FAS3140/FAS2050VMwareY同城NFCSAN/NAS影像/日志恒生銀行FAS2040*2文件服務(wù)Y同城NNAS匯豐銀行FAS3240*2文件服務(wù)Y同城NNAS瑞穗銀行FAS3140*2文件服務(wù)Y同城NNAS存儲虛擬化光大銀行FAS3140/FAS2040備份Y北京-上海NNAS中登北京FAS3270A*2文件存儲/服務(wù)器虛擬化Y同城/北京-上海NSAN/NAS中登上海FAS3170A*2桌面虛擬化Y同城/上海-北京NSAN/NAS/iSCSIOA服務(wù)器虛擬化報文上海證券交易所FAS3210*4文件服務(wù)Y同城NNAS信誠基金FAS3210*2核心應(yīng)用Y上海-北京NSAN/NAS安誠保險FAS3250*1（MC），F(xiàn)AS2240*2全部核心應(yīng)用+虛擬化Y兩地三中心（重慶-北京）YFCSAN、NAS太平洋保險FAS3210A*2文件服務(wù)Y同城NNAS太平洋保險FAS3160AMC*1VMwareN同機(jī)房YNASNetApp在中國電力行業(yè)的部分成功案例NETAPP在電力行業(yè)部分成功案例客戶名稱應(yīng)用產(chǎn)品型號及臺數(shù)國家電網(wǎng)集團(tuán)總部集中存儲項目R2001套國家電網(wǎng)集團(tuán)總部信通公司郵件系統(tǒng)FAS3140A系統(tǒng)2套安徽省電力公司集中存儲項目一期FAS3050A2套安徽省電力公司集中存儲項目二期FAS3020A20套安徽省電力公司營銷系統(tǒng)存儲及容災(zāi)備份FAS3140A2套四川省電力公司營銷系統(tǒng)存儲及容災(zāi)備份FAS3140A1套四川省電力公司集中存儲項目一期FAS3020A1套四川省電力公司集中存儲項目二期FAS3020A1套江蘇省電力公司集中存儲項目FAS3050A13套（IBMN5300OEM)江蘇省電力公司集中存儲項目R2002套浙江省電力公司營銷系統(tǒng)FAS31401套浙江省電力公司集中存儲項目FAS3040A1套湖北省電力公司湖北電力郵件系統(tǒng)存儲項目FAS3040A1套湖南株洲市電力公司湖南株洲市電力公司營銷系統(tǒng)項目FAS3040A1套湖南衡陽市電力公司湖南衡陽市電力公司營銷系統(tǒng)存儲項目FAS3040A1套南方電網(wǎng)海南分公司集中存儲項目FAS31701套南方電網(wǎng)海南分公司營銷系統(tǒng)存儲及容災(zāi)備份1*FAS3160A、1*V3140A第二部分配置清單

雙活存儲平臺配置清單數(shù)量：2套雙活存儲為兩套完全相同的配置，對稱部署，可以部署在同機(jī)房不同機(jī)柜、同一大樓不同機(jī)房，或者最遠(yuǎn)至相距200KM的兩個機(jī)房。每套描述如下：項目部件名稱配置說明數(shù)量企業(yè)級SAN存儲（統(tǒng)一存儲)平臺FAS8040主控制器統(tǒng)一集群存儲架構(gòu)，最大可支持8個SAN控制器；配置雙活雙控，64GB高速緩存，1TBFlashCache二級緩存；8個16GbFC端口，4個萬兆端口；1存儲協(xié)議配置FCP、NFS協(xié)議1SSD盤200GBSSD8性能硬盤10KRPM600GBSAS硬盤60高級功能標(biāo)配RAID-DP功能，提供高可靠、高性能的磁盤保護(hù)1標(biāo)配SnapShot數(shù)據(jù)保護(hù)套件，實(shí)現(xiàn)存儲數(shù)據(jù)的快速備份1標(biāo)配FlexVol自動精簡調(diào)用軟件，支持動態(tài)卷擴(kuò)展和縮減，增強(qiáng)虛擬存儲池功能1標(biāo)配MetroCluster和SyncMirror雙活鏡像功能1標(biāo)配SVM存儲虛擬機(jī)，每個虛機(jī)即為一個獨(dú)立管理的存儲系統(tǒng)，實(shí)現(xiàn)應(yīng)用的安全隔離和獨(dú)立管理1標(biāo)配FlexShare存儲性能優(yōu)化軟件，可根據(jù)應(yīng)用優(yōu)先級實(shí)現(xiàn)不同應(yīng)用級別的存儲性能管理和動態(tài)調(diào)整1標(biāo)配SystemManager企業(yè)級存儲管理套件，實(shí)現(xiàn)存儲系統(tǒng)硬件以及軟件功能的統(tǒng)一管理和監(jiān)控，支持中文界面1配置OracleEnterpriseManager管理插件，允許DBA對存儲進(jìn)行性能分析和故障監(jiān)控1雙活架構(gòu)配件專用雙活光通信設(shè)備2其他原廠機(jī)柜1售后服務(wù)專業(yè)設(shè)計和實(shí)施服務(wù)3年原廠7*24小時硬件和軟件售后服務(wù)1第三部分存儲系統(tǒng)建議方案

目錄第1章概述和方案亮點(diǎn) 17第2章需求分析和設(shè)計思路 242.1需求分析 242.1.1當(dāng)前系統(tǒng)現(xiàn)狀 242.1.2同城容災(zāi)系統(tǒng)的挑戰(zhàn) 242.2建設(shè)目標(biāo)和設(shè)計思路 262.2.1主備數(shù)據(jù)中心升級為雙活數(shù)據(jù)中心 272.2.2利用先進(jìn)數(shù)據(jù)保護(hù)技術(shù)，全面提升邏輯故障防范能力 292.2.3異地容災(zāi)系統(tǒng)升級為應(yīng)用級 312.2.4“兩地三中心”建設(shè)目標(biāo)小結(jié) 312.2.5整合服務(wù)器虛擬化 32第3章設(shè)計方案 333.1方案總體描述 333.2第一階段，建立雙活數(shù)據(jù)中心 343.2.1可行性分析 343.2.2風(fēng)險和影響分析 373.2.3雙活建設(shè)方案 383.3第二階段，完善異地容災(zāi)，實(shí)現(xiàn)完整的“兩地三中心”架構(gòu) 413.3.1容災(zāi)驗(yàn)證和演練 423.4第三階段，完善數(shù)據(jù)保護(hù)機(jī)制 433.4.1邏輯故障防范–秒級備份和恢復(fù) 443.4.2D2D備份設(shè)計規(guī)劃 453.4.3優(yōu)化管理 473.5第四階段，建立高效的研發(fā)測試機(jī)制 48第4章整合服務(wù)器虛擬化 494.1虛擬化環(huán)境中的性能提速技術(shù) 504.2虛擬化環(huán)境中的數(shù)據(jù)保護(hù)和災(zāi)備 524.3NetAppFAS和VMware的深度集成 534.4內(nèi)置消重功能，降本增效 56概述和方案亮點(diǎn)隨著金融改革的逐步深化，對城市商業(yè)銀行而言，挑戰(zhàn)和機(jī)遇并存。例如，根據(jù)麥肯錫剛剛完成的一項調(diào)查，四大國有銀行在快速發(fā)展的零售銀行業(yè)務(wù)上損失大量市場份額，儲戶加速流失。調(diào)查顯示，客戶青睞更加精細(xì)化的金融產(chǎn)品和方便快捷的電子銀行，是他們選擇其他中小型銀行的重要原因。一方面，客戶非常注重“安全感”，另一方面，客戶也喜歡創(chuàng)新的金融服務(wù)所帶來的收益、靈活和便利。無疑，金融創(chuàng)新是城市商業(yè)銀行保持活力、加速增長的根本，是在競爭中取得優(yōu)勢的法寶。而信息化部門不但是銀行業(yè)務(wù)正常開展的保障，更是金融創(chuàng)新、推動業(yè)務(wù)發(fā)展的催化劑。因此，我們認(rèn)為銀行數(shù)據(jù)中心基礎(chǔ)架構(gòu)的建設(shè)要點(diǎn)，體現(xiàn)在以下三個方面：增強(qiáng)風(fēng)險防范能力，保障業(yè)務(wù)連續(xù)運(yùn)行加速新產(chǎn)品上市進(jìn)程，推動金融創(chuàng)新提供快速靈活的IT服務(wù)和響應(yīng)，降本增效作為銀行最核心的數(shù)字資產(chǎn)的承載和管理平臺，存儲系統(tǒng)的重要性不言而喻。NetApp是業(yè)界領(lǐng)先的存儲廠家，在金融行業(yè)擁有廣泛的應(yīng)用基礎(chǔ)，與大部分全球性銀行、國有銀行和區(qū)域性中小銀行都建立了長期的合作伙伴關(guān)系，共同成長，并取得了豐富的設(shè)計建設(shè)和運(yùn)維管理經(jīng)驗(yàn)。針對南充市商業(yè)銀行的應(yīng)用、系統(tǒng)現(xiàn)狀和發(fā)展愿景，我們還特別參考和借鑒了幾家城市商業(yè)銀行的建設(shè)經(jīng)驗(yàn)，都已體現(xiàn)在本方案中，目的在于避免“摸著石頭過河”：有清晰的演進(jìn)發(fā)展路線，分階段實(shí)施，規(guī)避建設(shè)風(fēng)險，合理化投資。綜合來講，NetApp為南充市商業(yè)銀行定制的方案有以下特點(diǎn)和優(yōu)勢：大幅提升可靠性和故障防范能力，為業(yè)務(wù)連續(xù)性運(yùn)行提供保障存儲平臺采用業(yè)界銷量第一的FAS系列企業(yè)級集群式統(tǒng)一存儲系統(tǒng)，是可靠性的保證。經(jīng)IDC對NetApp用戶的長期跟蹤和驗(yàn)證，F(xiàn)AS8000系列實(shí)際使用中達(dá)到99.9999%（6個9可用性，IDC2014年9月報告）可用性，領(lǐng)先于業(yè)界大部分存儲產(chǎn)品（5個9）。FAS8000可靈活配置，從最小規(guī)模入手，可隨需擴(kuò)展到24個控制器，70PB容量和400萬IOPS的強(qiáng)大數(shù)據(jù)管理和處理能力。成熟“兩地三中心”解決方案：同城雙活，異地容災(zāi)兩地三中心一般為同城雙中心+異地容災(zāi)中心。同城雙中心采用“雙活數(shù)據(jù)中心”方案，不但故障恢復(fù)速度（可做到RTO=0）上大幅優(yōu)于現(xiàn)有的同城容災(zāi)方案，而且在數(shù)據(jù)中心之間可平衡負(fù)載，優(yōu)化資源利用率。實(shí)現(xiàn)“雙活數(shù)據(jù)中心”一般有兩種思路：基于軟件復(fù)制，或者基于存儲設(shè)備。基于軟件復(fù)制：可采用數(shù)據(jù)庫的雙活/容災(zāi)技術(shù)，可實(shí)現(xiàn)很好的效果，但應(yīng)用面窄，對其他品牌數(shù)據(jù)庫或者其他數(shù)據(jù)（如文件和虛擬化平臺數(shù)據(jù)）無能為力。基于存儲設(shè)備：部分廠家采用專門的雙活設(shè)備，可滿足不同數(shù)據(jù)庫的要求。但功能單一，不具備容災(zāi)、備份等功能，因此必須組合多種平臺（如遠(yuǎn)程復(fù)制平臺、備份平臺或CDP平臺）來實(shí)現(xiàn)以上功能，大大增加了系統(tǒng)復(fù)雜度和排錯難度。同時，它也不具備NAS雙活功能。NetAppFAS8000內(nèi)置雙活功能，也屬于基于存儲設(shè)備的解決方案。FAS8000支持不同數(shù)據(jù)庫和應(yīng)用的雙活，也可同時提供SAN和NAS的雙活，技術(shù)先進(jìn)，且全球擁有11000個以上的案例（基于存儲雙活技術(shù)中案例最多），成熟度高。FAS8000同時還具備容災(zāi)、備份等功能。雙活、容災(zāi)、備份等功能實(shí)際上具有很大關(guān)聯(lián)度，統(tǒng)一到一個平臺下管理，不但簡化整個系統(tǒng)架構(gòu)，也減少很多不必要的系統(tǒng)開銷，提升了整體系統(tǒng)的運(yùn)行效率。NetAppFAS8000雙活解決方案，已經(jīng)通過了南充商行嚴(yán)密而詳盡的系統(tǒng)化測試。多重數(shù)據(jù)保護(hù)，快速數(shù)據(jù)恢復(fù)能力雙活和容災(zāi)對物理故障防范能力好，但不能防范邏輯故障。NetAppFAS8000內(nèi)置秒級快照備份和恢復(fù)功能，以及磁盤到磁盤的備份功能。出現(xiàn)嚴(yán)重數(shù)據(jù)損壞時，可迅速調(diào)用快照備份和日志，將應(yīng)用數(shù)據(jù)恢復(fù)到故障前。重要的是，NetApp提供的多重數(shù)據(jù)保護(hù)不會影響生產(chǎn)，也不會增加管理復(fù)雜度。NetApp這種秒級備份和恢復(fù)能力也可應(yīng)用于批前備份和批處理失敗后的恢復(fù)。批前僅需要1秒備份數(shù)據(jù)，批處理異常，可以在一分鐘內(nèi)恢復(fù)到批前數(shù)據(jù)，重新進(jìn)行檢查和處理。這樣也優(yōu)化了批處理的異常處理流程。另一種思路是采用CDP技術(shù)保護(hù)數(shù)據(jù)，可恢復(fù)到任一時間點(diǎn)。但CDP產(chǎn)品對生產(chǎn)性能有一定影響，而且不能做到應(yīng)用一致性的保護(hù)（只能做到Crash-Consistency級別），恢復(fù)時間較長。同時，CDP是一個獨(dú)立的平臺，增加了管理的復(fù)雜度。預(yù)計項目實(shí)施完成后，可實(shí)現(xiàn)的業(yè)務(wù)連續(xù)性量化指標(biāo)如下：情景解決方案業(yè)務(wù)系統(tǒng)運(yùn)行情況單一組件故障全冗余系統(tǒng)架構(gòu)零影響單一生產(chǎn)存儲故障雙活數(shù)據(jù)中心RPO=RTO=0，零影響數(shù)據(jù)中心癱瘓雙活數(shù)據(jù)中心RPO=RTO=0，零影響生產(chǎn)數(shù)據(jù)邏輯故障快照結(jié)合日志恢復(fù)RPO~0（恢復(fù)到出現(xiàn)故障前）RTO<30分鐘區(qū)域性災(zāi)難異地災(zāi)備系統(tǒng)RPO<5分鐘極大優(yōu)化新應(yīng)用的研發(fā)測試流程，加速新應(yīng)用上市進(jìn)程N(yùn)etApp具有獨(dú)到的技術(shù)，可以大幅縮短新應(yīng)用的開發(fā)測試周期。在研發(fā)和測試階段，經(jīng)常需要快速準(zhǔn)備多個數(shù)據(jù)副本，實(shí)現(xiàn)研發(fā)和測試的并行化。一般存儲廠家面對這個要求，往往需要大量時間和存儲空間，時間成本和設(shè)備成本都大大增加了。而NetApp精簡克隆技術(shù)，可以秒級生成多個數(shù)據(jù)克隆，完全消除了應(yīng)用團(tuán)隊的等待時間。同時，這些克隆僅僅占用極少空間。更快生成更多的數(shù)據(jù)副本，更短的研發(fā)周期，更低的成本。因此，很多著名的企業(yè)，其研發(fā)系統(tǒng)和測試平臺都選擇NetApp。在本方案中，我們巧妙地利用備份存儲來滿足研發(fā)測試的要求，實(shí)現(xiàn)了硬件資源的充分利用。支持與虛擬化、私有云平臺垂直整合，簡化管理提升效率當(dāng)前IT部門面臨的一類挑戰(zhàn)是，日益龐大的應(yīng)用系統(tǒng)使IT基礎(chǔ)架構(gòu)的管理越來越復(fù)雜，而稍縱即逝的市場商機(jī)又要求IT基礎(chǔ)具備快速應(yīng)變能力。這就要求對IT基礎(chǔ)架構(gòu)有縱向的整合管理能力，同時能夠?qū)崿F(xiàn)自動化的工作流程管理。NetApp與虛擬化、私有云軟件廠家深度合作，實(shí)現(xiàn)了管理上的深度集成，使虛擬化平臺或私有云平臺可直接調(diào)用NetApp的數(shù)據(jù)管理功能，從而實(shí)現(xiàn)統(tǒng)一的IT基礎(chǔ)架構(gòu)的管理。管理人員不必懂存儲，也可快速分配和調(diào)用存儲資源，自助恢復(fù)數(shù)據(jù)，自動化容災(zāi)切換等。因此，NetApp可以幫助IT部門，從過去繁瑣的基礎(chǔ)架構(gòu)管理中解脫出來，把更多的資源投入到應(yīng)用服務(wù)上。虛擬化環(huán)境下最佳的存儲平臺NetAppFAS存儲平臺為虛擬化環(huán)境進(jìn)行了專門的優(yōu)化，以VMware為例，體現(xiàn)在以下幾個方面：統(tǒng)一存儲，支持VMware三種不同的部署協(xié)議NetApp的智能二級緩存技術(shù)，針對虛擬化環(huán)境中常見的I/O熱點(diǎn)數(shù)據(jù)，提供了實(shí)時加速能力,效果明顯優(yōu)于其他廠家的自動分層技術(shù)（有業(yè)界標(biāo)準(zhǔn)的SAN性能測試SPC-1報告為證）最緊密的特性和管理集成。VMware和存儲相關(guān)的白皮書，包括雙活架構(gòu)（vSphereMetroStorageCluster），容災(zāi)（SRM）和存儲集成（VAAI），采用的唯一范例都是NetApp。此外，NetApp還提供了進(jìn)一步的管理集成：VSC插件允許VMware管理員在權(quán)限范圍內(nèi)自由地調(diào)配和管理存儲資源，從而大幅簡化了運(yùn)維模式。針對虛擬化環(huán)境下常見的備份難題，NetApp存儲內(nèi)置的備份功能提供了最好的解決手段。例如成都一個央企（DEC），部署了130個虛機(jī)，過去采用VAAI+傳統(tǒng)備份軟件備份方式，日備時間為6小時，而采用NetApp方案，僅需12分鐘?？偨Y(jié)起來，實(shí)現(xiàn)本次項目的基本目標(biāo)和系統(tǒng)優(yōu)化目標(biāo)，前面提到大致有三種方法。簡單比較如下：基于數(shù)據(jù)庫的解決方案基于專門的雙活存儲網(wǎng)關(guān)的解決方案NetAppFAS8000核心業(yè)務(wù)數(shù)據(jù)庫的同城雙活很好，但有數(shù)據(jù)庫品牌的限制很好很好文件服務(wù)雙活不提供不支持支持異地災(zāi)備很好，但有數(shù)據(jù)庫品牌的限制需要增加CDP平臺支持?jǐn)?shù)據(jù)備份慢，應(yīng)用一致性實(shí)時，但非應(yīng)用一致性很快，應(yīng)用一致性數(shù)據(jù)恢復(fù)速度慢一般快系統(tǒng)擴(kuò)展性依賴于底層硬件網(wǎng)關(guān)和后端盤陣必須同時擴(kuò)展，投資較大很好，支持橫向擴(kuò)展和縱向升級優(yōu)化運(yùn)維管理N/A本身由雙活網(wǎng)關(guān)、盤陣、CDP三個產(chǎn)品組合而成，管理復(fù)雜度增加大幅簡化管理。僅一種平臺，且提供豐富的自動化管理手段，與應(yīng)用和虛擬化平臺實(shí)現(xiàn)深度的集成加速應(yīng)用研發(fā)無無精簡克隆，極低空間，生成多個數(shù)據(jù)副本，支持并發(fā)測試原有存儲利舊支持支持VMware環(huán)境多協(xié)議支持僅FCSAN全部協(xié)議VMware環(huán)境熱點(diǎn)數(shù)據(jù)加速雙活網(wǎng)關(guān)無法提供二級緩存自動識別加速熱點(diǎn)數(shù)據(jù)VMware雙活架構(gòu)支持支持VMware備份不支持必須引入備份軟件內(nèi)置，且優(yōu)于備份軟件VMware遠(yuǎn)程容災(zāi)不支持必須依賴CDP平臺內(nèi)置由此可見，基于數(shù)據(jù)庫的方案限制較大。而專門的雙活存儲網(wǎng)關(guān)功能單一（因?yàn)椴⒎谴鎯S家的最核心產(chǎn)品），必須引入CDP、備份等不同的平臺組合在一起，不但會增加系統(tǒng)復(fù)雜度，也給后期運(yùn)維和管理帶來很大的困難。而NetApp，將至繁歸于至簡，一個存儲平臺，也是我們最核心的產(chǎn)品FAS8000，可以很好地滿足以上所有需求，同時也保持了架構(gòu)的簡潔和管理的便利。下文是具體的方案設(shè)計。

需求分析和設(shè)計思路需求分析當(dāng)前系統(tǒng)現(xiàn)狀當(dāng)前，南充商行核心業(yè)務(wù)系統(tǒng)目前已經(jīng)實(shí)現(xiàn)了兩地三中心。其中，生產(chǎn)存儲采用一套EMCVNX5500，同城災(zāi)備存儲為CX4-480，異地為CX3-40。同城利用MirrorView實(shí)現(xiàn)容災(zāi)復(fù)制，數(shù)據(jù)實(shí)時更新；異地則利用SANCopy復(fù)制技術(shù)，數(shù)據(jù)每天更新一次。服務(wù)器為IBMPower小型機(jī)，也有部分X86服務(wù)器（采用VMware虛擬化平臺），核心業(yè)務(wù)數(shù)據(jù)庫為Oracle11g?？梢园l(fā)現(xiàn)，在業(yè)務(wù)迅速發(fā)展的今天，生產(chǎn)存儲在性能和功能上，都難以滿足業(yè)務(wù)發(fā)展的需求；而且，如出現(xiàn)部件故障，使存儲性能下降，必將嚴(yán)重影響聯(lián)機(jī)交易的速度。而兩個災(zāi)備中心存儲設(shè)備非常老舊，基本是EMC兩代以前的產(chǎn)品。除此之外，我們建議將同城容災(zāi)系統(tǒng)升級為同城雙活系統(tǒng)。原因如下。同城容災(zāi)系統(tǒng)的挑戰(zhàn)在同城這一環(huán)節(jié)，雙活技術(shù)是優(yōu)于傳統(tǒng)同步容災(zāi)技術(shù)。傳統(tǒng)容災(zāi)技術(shù)有以下局限：故障后切換時間太長，對業(yè)務(wù)影響很大目前同城災(zāi)備模式一般為“主備”模式，雖然同步容災(zāi)技術(shù)可以實(shí)現(xiàn)RPO=0的目標(biāo)，即零數(shù)據(jù)丟失，但是由于同步復(fù)制的原理，導(dǎo)致容災(zāi)庫數(shù)據(jù)平時完全不能夠被主機(jī)訪問和使用。即下圖中，源端存儲實(shí)時地將生產(chǎn)庫的變化，復(fù)制并更新到目標(biāo)端的容災(zāi)庫。因?yàn)檫@個更新是底層存儲發(fā)起的，并非通過上層的數(shù)據(jù)庫軟件完成，所以容災(zāi)端的數(shù)據(jù)庫必須保持關(guān)閉狀態(tài)。只有斷開容災(zāi)復(fù)制關(guān)系，才能在容災(zāi)主機(jī)端重新設(shè)備和導(dǎo)入存儲設(shè)備，掛接和打開數(shù)據(jù)庫。再加上災(zāi)難后的網(wǎng)絡(luò)切換、數(shù)據(jù)檢驗(yàn)時間，導(dǎo)致整個容災(zāi)切換過程通常以小時來計算。具體的過程一般如下：同城容災(zāi)中心斷開容災(zāi)復(fù)制關(guān)系容災(zāi)庫掛接到災(zāi)備主機(jī)上，啟動容災(zāi)庫檢驗(yàn)容災(zāi)庫數(shù)據(jù)有效性將業(yè)務(wù)請求重定向到容災(zāi)中心，接管生產(chǎn)主備關(guān)系的容災(zāi)模式，容災(zāi)中心設(shè)備閑置率高由于前面提到的技術(shù)原因，容災(zāi)庫實(shí)際上一直只能夠處于關(guān)閉狀態(tài)，因此所有的業(yè)務(wù)全部在生產(chǎn)中心處理，而容災(zāi)中心設(shè)備利用率很低，無法分擔(dān)生產(chǎn)任務(wù)。邏輯故障應(yīng)對能力較弱由于生產(chǎn)庫和容災(zāi)庫為實(shí)時同步，因此當(dāng)生產(chǎn)端出現(xiàn)邏輯故障，如誤刪除一張表、誤刪除一個數(shù)據(jù)文件（OracleDatafile）、Oracle出現(xiàn)bug導(dǎo)致無法啟動，容災(zāi)端也會出現(xiàn)同樣的故障。目前應(yīng)對此類故障主要依賴于備份軟件。但恢復(fù)數(shù)據(jù)和業(yè)務(wù)時間通常都是以小時來計算，對業(yè)務(wù)影響較大。管理復(fù)雜度較高由于容災(zāi)庫平時都是關(guān)閉狀態(tài)，如何保證其數(shù)據(jù)的有效性和可用性？而且容災(zāi)切換大部分都是人工操作，如何確保應(yīng)急預(yù)案可以順利地執(zhí)行？因此在容災(zāi)系統(tǒng)建設(shè)中，都存在以下的制度和規(guī)定：常態(tài)化的數(shù)據(jù)驗(yàn)證和定期的容災(zāi)演練。這樣無疑給運(yùn)維帶來巨大的管理和人力成本。對于以上的情況，雙活數(shù)據(jù)中心具有更好的技術(shù)和解決手段。接下來，我們將對這些技術(shù)進(jìn)行介紹和分析。建設(shè)目標(biāo)和設(shè)計思路為解決前面提到的問題和挑戰(zhàn)，本方案提出以下幾點(diǎn)建設(shè)目標(biāo)：同城災(zāi)備升級為同城雙活，消除嚴(yán)重故障對業(yè)務(wù)的影響全面提升業(yè)務(wù)連續(xù)服務(wù)能力均衡負(fù)載，資源利用更充分和合理優(yōu)化管理，降低運(yùn)維成本為實(shí)現(xiàn)以上建設(shè)目標(biāo)，可按照以下設(shè)計思路，逐步建設(shè)和完善。主備數(shù)據(jù)中心升級為雙活數(shù)據(jù)中心國內(nèi)金融行業(yè)數(shù)據(jù)中心主要經(jīng)歷了以下幾個階段：第一階段，從2000年左右開始，逐步實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)的集中整合。在運(yùn)營模式上，采用區(qū)域化集中再到總行集中。從基礎(chǔ)架構(gòu)上，實(shí)現(xiàn)了數(shù)據(jù)的集中整合管理，利用存儲區(qū)域網(wǎng)絡(luò)實(shí)現(xiàn)了業(yè)務(wù)主機(jī)到后端存儲的互聯(lián)互通。數(shù)據(jù)大集中，不但有利于銀行增強(qiáng)業(yè)務(wù)和資金頭寸的統(tǒng)一化管理，而且通過專業(yè)的數(shù)據(jù)中心建設(shè)，大幅提升了IT管理水平。然而，實(shí)現(xiàn)數(shù)據(jù)集中后，雖然通過主機(jī)雙機(jī)集群技術(shù)，實(shí)現(xiàn)了一定程度的高可用，但是單數(shù)據(jù)中心模式相當(dāng)于把所有雞蛋都放到了一個籃子里面，因此，第二階段建設(shè)勢在必行。第二階段，大致從2003、2004年左右開始，開始災(zāi)備系統(tǒng)的建設(shè)。對于全國性的銀行，異地災(zāi)備是必然的選擇；而對于地區(qū)性銀行，城域距離的災(zāi)備中心是更加普遍的選擇。生產(chǎn)、災(zāi)備中心通常都采用“主備”模式，即所有的業(yè)務(wù)都在生產(chǎn)中心運(yùn)行，災(zāi)備中心只是保持實(shí)時的數(shù)據(jù)更新，一旦發(fā)生故障，才緊急啟用。這種模式雖然解決了第一階段帶來的風(fēng)險問題，但是不足也很明顯，正如2.1.2節(jié)中分析過的。后來，很多銀行將“主備”數(shù)據(jù)中心升級為“生產(chǎn)–查詢”中心，利用災(zāi)備中心的容災(zāi)庫數(shù)據(jù)（前面已經(jīng)提到過，不能直接使用和訪問），通過克隆等手段，得到一份可以使用的副本（但是和生產(chǎn)數(shù)據(jù)有一定的時間差異），用于報表、開發(fā)等用途。這在一定程度上分擔(dān)了生產(chǎn)中心的負(fù)載，同時也使閑置的災(zāi)備中心資源得到了部分利用。然而前一節(jié)提到的多數(shù)問題，并沒有得到有效的解決，尤其是生產(chǎn)中心故障后，業(yè)務(wù)影響時間還是過長。為有效地解決以上問題，唯有將主備數(shù)據(jù)中心，升級為雙活數(shù)據(jù)中心，類似于Oracle數(shù)據(jù)庫，從90年代的主備模式，升級到RAC雙活模式。兩個數(shù)據(jù)中心運(yùn)行同一個業(yè)務(wù)、同一個數(shù)據(jù)庫，不但負(fù)載均衡，而且當(dāng)一邊數(shù)據(jù)中心故障后，對應(yīng)用無影響。下圖清楚地展現(xiàn)了數(shù)據(jù)中心高可用模式的發(fā)展路線圖：業(yè)界對于雙活數(shù)據(jù)中心解決方案進(jìn)行了深入的研究和發(fā)展。2006年開始，主機(jī)廠商、存儲廠商和數(shù)據(jù)庫廠商逐漸將該技術(shù)推向市場。目前，雙活數(shù)據(jù)中心已經(jīng)非常成熟，而且得到了廣泛的應(yīng)用。因此，國內(nèi)部分銀行開始了第三階段的發(fā)展：主備數(shù)據(jù)中心升級為雙活數(shù)據(jù)中心，并在此基礎(chǔ)上進(jìn)一步完善為“兩地三中心”模式。這個階段始于2012年。雙活數(shù)據(jù)中心實(shí)現(xiàn)后，可以達(dá)到以下目標(biāo)：極大提升業(yè)務(wù)連續(xù)服務(wù)能力發(fā)生重大故障后，業(yè)務(wù)運(yùn)行不受影響，消除了現(xiàn)有環(huán)境中“容災(zāi)切換”帶來的停機(jī)時間。核心業(yè)務(wù)系統(tǒng)得到最完善和最充分的保護(hù)。我們預(yù)計，對于物理故障，雙活數(shù)據(jù)中心可以實(shí)現(xiàn)RPO=0和RTO=0的理想目標(biāo)。業(yè)務(wù)負(fù)載分?jǐn)偟絻蓚€數(shù)據(jù)中心，避免了資源閑置故障后可實(shí)現(xiàn)自我修復(fù)，大幅降低了人為因素?zé)o需常態(tài)化的容災(zāi)數(shù)據(jù)檢驗(yàn)和容災(zāi)演練，降低運(yùn)維壓力和成本利用先進(jìn)數(shù)據(jù)保護(hù)技術(shù)，全面提升邏輯故障防范能力容災(zāi)技術(shù)和雙活技術(shù)都無法解決邏輯故障，因?yàn)閮芍行牡臄?shù)據(jù)完全是鏡像關(guān)系，一損俱損。目前解決此類故障主要依賴于備份軟件，通過定期的備份來保護(hù)數(shù)據(jù)。恢復(fù)方面，可以通過恢復(fù)最近的備份點(diǎn)，再加上數(shù)據(jù)日志重做來恢復(fù)到故障前的數(shù)據(jù)。然而備份軟件的恢復(fù)速度基本上需要耗費(fèi)數(shù)小時，對業(yè)務(wù)影響極大。尤其是在業(yè)務(wù)數(shù)據(jù)日益增長的今天，這個缺點(diǎn)尤其突出。如何解決這個問題呢？目前業(yè)界提供的解決方法包括：基于存儲的快照備份和恢復(fù)技術(shù)采用存儲快照技術(shù)，有著備份快和恢復(fù)快的優(yōu)勢。對于任意大小的生產(chǎn)庫，可以實(shí)現(xiàn)秒級的數(shù)據(jù)備份和恢復(fù)?？煺諅浞荩腔跁r間點(diǎn)的備份技術(shù)(PointInTime)，因此要恢復(fù)到故障前的狀態(tài)，還需要結(jié)合數(shù)據(jù)庫和應(yīng)用的日志恢復(fù)技術(shù)。根據(jù)我們的了解，由于快照不影響生產(chǎn)性能，而且恢復(fù)速度快，因此快照技術(shù)被廣泛地應(yīng)用于國內(nèi)外銀行生產(chǎn)系統(tǒng)的數(shù)據(jù)保護(hù)。連續(xù)數(shù)據(jù)保護(hù)軟件(CDP)CDP技術(shù)的應(yīng)用范圍較少，尤其在大規(guī)模的核心應(yīng)用這一塊，難覓蹤跡。CDP的特點(diǎn)在于，該軟件會忠實(shí)記錄每一個寫操作到一個單獨(dú)的存儲空間，因此可以反向回退到任何任何時間點(diǎn)。部署方式有主機(jī)agent、存儲網(wǎng)絡(luò)附加設(shè)備和存儲控制器三種。CDP的缺點(diǎn)在于：由于CDP的實(shí)現(xiàn)原理，對應(yīng)用性能有一定影響恢復(fù)大量數(shù)據(jù)速度較慢。如果大量數(shù)據(jù)已經(jīng)重新修改，則恢復(fù)時間很長。另外一種情況，如果批處理失敗，需要快速恢復(fù)到批前數(shù)據(jù)，CDP的恢復(fù)速度遠(yuǎn)遠(yuǎn)低于快照恢復(fù)速度。以上的分析可以簡單總結(jié)為：快照優(yōu)點(diǎn)是備份恢復(fù)快，不影響性能；缺點(diǎn)是需要結(jié)合數(shù)據(jù)庫日志技術(shù)。而CDP雖然可以方便地恢復(fù)到任一時間點(diǎn)，但對生產(chǎn)性能有一定影響，而且恢復(fù)時間會因數(shù)據(jù)改變量而異。綜合起來，快照技術(shù)對現(xiàn)有生產(chǎn)影響更小，實(shí)施風(fēng)險也較小，而且完全能夠滿足RPO和RTO的要求，更適合銀行業(yè)務(wù)需求。異地容災(zāi)系統(tǒng)升級為應(yīng)用級雖然同城雙活數(shù)據(jù)中心實(shí)現(xiàn)了數(shù)據(jù)中心的冗余配置，并構(gòu)成了一個高可用集群，但是對于要求7×24×356提供服務(wù)的金融系統(tǒng)來說，一旦出現(xiàn)區(qū)域性災(zāi)難，如地震、洪水、電網(wǎng)癱瘓等極端情況時，將導(dǎo)致全行業(yè)務(wù)的癱瘓，甚至數(shù)據(jù)丟失。因此，有必要在雙活數(shù)據(jù)中心的基礎(chǔ)上，建立一個異地的應(yīng)用級災(zāi)難備份數(shù)據(jù)中心，實(shí)現(xiàn)應(yīng)用和數(shù)據(jù)的三重保險，使得銀行能夠?yàn)橛脩籼峁﹥?yōu)質(zhì)、高可靠的服務(wù)。由于同城雙活數(shù)據(jù)中心可以應(yīng)對絕大多數(shù)的故障和災(zāi)難，因此考慮到投資的合理化分配，異地災(zāi)備中心設(shè)備能夠支持低于生產(chǎn)系統(tǒng)的降級配置。目前南充商行已經(jīng)建設(shè)了數(shù)據(jù)級異地容災(zāi)，可考慮將利舊設(shè)備搬遷至容災(zāi)中心，升級為應(yīng)用級容災(zāi)。一方面提升了業(yè)務(wù)系統(tǒng)對災(zāi)難的防范能力，另一方面也有效利用了現(xiàn)有生產(chǎn)資源。異地災(zāi)備系統(tǒng)的目標(biāo)是在有限的硬件資源和網(wǎng)絡(luò)條件下，實(shí)現(xiàn)RPO<5分鐘，RTO<60分鐘?！皟傻厝行摹苯ㄔO(shè)目標(biāo)小結(jié)按照以上設(shè)計思路，可實(shí)現(xiàn)的建設(shè)目標(biāo)具體量化如下表所示：情景解決方案業(yè)務(wù)系統(tǒng)運(yùn)行情況單一組件故障（較高概率）全冗余系統(tǒng)架構(gòu)零影響單一生產(chǎn)存儲故障（低概率）雙活數(shù)據(jù)中心RPO=RTO=0數(shù)據(jù)中心癱瘓（低概率）雙活數(shù)據(jù)中心RPO=RTO=0生產(chǎn)數(shù)據(jù)邏輯故障(低概率)快照結(jié)合日志恢復(fù)RPO~0（恢復(fù)到出現(xiàn)故障前）RTO<20分鐘區(qū)域性災(zāi)難（極低概率）異地災(zāi)備系統(tǒng)RPO<5分鐘RTO<1小時整合服務(wù)器虛擬化未來可以考慮在此架構(gòu)上，統(tǒng)一整合服務(wù)器虛擬化數(shù)據(jù)，原因如下：當(dāng)前銀行IT發(fā)展的方向是，越來越多的重要業(yè)務(wù)系統(tǒng)遷移到虛擬化平臺上。因此這部分業(yè)務(wù)的連續(xù)運(yùn)行，也需要得到保證。由于業(yè)務(wù)系統(tǒng)之間關(guān)聯(lián)度較大，將核心業(yè)務(wù)和重要業(yè)務(wù)數(shù)據(jù)整合到一套“兩地三中心”平臺上，有利于統(tǒng)一管理，而且易于實(shí)現(xiàn)不同應(yīng)用交易一致性的備份。與其分散資源構(gòu)建多個平臺，不如集中資源，統(tǒng)一建立一套更高標(biāo)準(zhǔn)的基礎(chǔ)架構(gòu)，在不同應(yīng)用之間共享資源和靈活調(diào)配，更加符合城市商業(yè)銀行靈活、快速的定位。當(dāng)前最先進(jìn)的存儲技術(shù)，如NetAppFAS8000系列，可以同時滿足數(shù)據(jù)庫、虛擬化平臺在雙活、容災(zāi)架構(gòu)上的部署。設(shè)計方案方案總體描述為實(shí)現(xiàn)上述的建設(shè)目標(biāo)，我們設(shè)計的系統(tǒng)拓?fù)涫疽鈭D如下：為實(shí)現(xiàn)在整個建設(shè)過程中進(jìn)度、風(fēng)險可控，建議可分階段來實(shí)施：現(xiàn)有同城容災(zāi)系統(tǒng)升級為同城雙活實(shí)現(xiàn)兩地三中心，升級異地災(zāi)備系統(tǒng)為應(yīng)用級建立完善的數(shù)據(jù)保護(hù)機(jī)制，并優(yōu)化數(shù)據(jù)中心管理建立靈活高效的研發(fā)測試系統(tǒng)第一階段，建立雙活數(shù)據(jù)中心前面已經(jīng)討論過，雙活數(shù)據(jù)中心是當(dāng)前成熟的部署方式，相對于傳統(tǒng)主備容災(zāi)，有很多優(yōu)點(diǎn)。但首先需要分析的是，雙活數(shù)據(jù)中心如何落地？可行性分析完整的雙活數(shù)據(jù)中心需要以下幾個層面的支持：雙活的存儲架構(gòu)。支持一個數(shù)據(jù)庫實(shí)例在兩個數(shù)據(jù)中心之間互為鏡像，任一損壞都不會影響應(yīng)用運(yùn)行?？鐢?shù)據(jù)中心的存儲網(wǎng)絡(luò)互連（ExtendedFabric），Oracle官方建議RAC之間的鏈路延遲低于1ms（Round-Trip）。跨數(shù)據(jù)中心的主機(jī)高可用跨數(shù)據(jù)中心的應(yīng)用雙活跨數(shù)據(jù)中心的應(yīng)用網(wǎng)絡(luò)互連，要求延遲低于1ms（同樣是OracleRAC的要求）因此，首先需要確認(rèn)可以獲得低延遲的裸光纖鏈路，用于存儲的最低要求是4對裸光纖：用途連接設(shè)備光纖(對)服務(wù)器到存儲原有SAN交換機(jī)互聯(lián)2雙活存儲互聯(lián)(心跳)MC內(nèi)部SAN交換機(jī)互聯(lián)4（建議）主機(jī)高可用方面，無論是IBMPowerHA、HPServiceGuard、MSCS、VCS等都支持長距離的高可用集群。因此這個條件也是具備的。應(yīng)用方面，主要應(yīng)用是OracleRAC。OracleRAC在這種遠(yuǎn)距離距離的實(shí)施，早在2006年就有大量的安裝案例了?？蓞⒖糘racle白皮書《OracleRealApplicationClustersonExtendedDistanceClusters–UpdatedforOracleRAC10gRelease2》，發(fā)布日期是2006年10月。OracleRAC在NetAppMetroCluster上的應(yīng)用是非常成熟和可靠的，早在2008年，Oracle官網(wǎng)就介紹了RAC和NetAppMetroCluster的案例，見：/us/solutions/custstory-rac-gottwald-177716.pdf下圖描述了OracleRACExtendedCluster基于NetAppMetroCluster技術(shù)上的實(shí)現(xiàn)(兩地三中心)：值得指出的是，當(dāng)前其他應(yīng)用平臺都能夠支持雙活技術(shù)了，如DB2、vSphere等。VMware的白皮書“VMwarevSphereMetroStorageClusterCaseStudy”就以NetAppMetroCluster為例，闡述了VMware如何實(shí)現(xiàn)雙活數(shù)據(jù)中心。綜上所述，現(xiàn)有生產(chǎn)環(huán)境升級到雙活數(shù)據(jù)中心完全是可行的。升級之后，同一個應(yīng)用可以同時跑在兩個數(shù)據(jù)中心，兩個數(shù)據(jù)中心對客戶端提供統(tǒng)一的接入接口?？梢赃@樣講，邏輯上的一個應(yīng)用，物理上分布到兩個數(shù)據(jù)中心，均衡負(fù)載，互為備份。發(fā)生任一單點(diǎn)故障，均不會影響應(yīng)用運(yùn)行。請參見下圖：風(fēng)險和影響分析由于雙活數(shù)據(jù)中心的各個組成方面，或者是已經(jīng)具備條件，或者采用成熟解決方案，如果實(shí)施計劃周密，風(fēng)險完全可控。兩個數(shù)據(jù)中心之間采用可采用運(yùn)營商裸光纖，同時也可利用xWDM設(shè)備實(shí)現(xiàn)線路復(fù)用（南充商行將部署DWDM設(shè)備），滿足雙活的基本要求。如有將來有條件，可考慮增加不同的運(yùn)營商或者物理路徑，從而實(shí)現(xiàn)鏈路的物理冗余。另外一個需要考慮的因素是長距離OracleRAC的性能是否會降低。根據(jù)Oracle官方文檔的評估，在20KM距離下，OracleRAC在兩個數(shù)據(jù)中心上運(yùn)行的性能，比所有設(shè)備在同一數(shù)據(jù)中心運(yùn)行的性能，性能低了不到5%：雙活建設(shè)方案存儲方案建議選擇NetAppFAS8040統(tǒng)一存儲設(shè)備作為核心應(yīng)用持續(xù)高可用存儲。核心應(yīng)用存儲由兩套FAS8040統(tǒng)一存儲構(gòu)成，兩套FAS8040之間通過同城DWDM光纖連接，采用光纖鏈路實(shí)現(xiàn)互相的心跳檢測及數(shù)據(jù)傳輸，存儲系統(tǒng)采用物理磁盤組成兩份物理鏡像通過SyncMirror軟件實(shí)現(xiàn)磁盤數(shù)據(jù)同步，利用MetroCluster技術(shù)實(shí)現(xiàn)存儲遠(yuǎn)程雙活集群。借助第三地的Tiebreaker仲裁節(jié)點(diǎn)，可以有效地防范雙活架構(gòu)中的“腦裂”（SplitBrain）現(xiàn)象，并實(shí)現(xiàn)自動化的故障恢復(fù)。NetAppFAS8040磁盤陣列作為是NetApp公司的最新一代的統(tǒng)一存儲架構(gòu)的磁盤陣列產(chǎn)品，能夠?yàn)橛脩籼峁└咝阅?、大容量存儲系統(tǒng)。NetAppFAS8040不論從性能、可靠性和擴(kuò)展能力都可以滿足用戶對當(dāng)前和未來的數(shù)據(jù)存儲系統(tǒng)的要求。FAS8040是一款中高端的企業(yè)級存儲設(shè)備，SAN平臺下最大支持8個控制器、256GB一級緩存和16TB二級緩存，最大容量為2880塊磁盤、11.5PB，可以支持最多96個16Gb光纖通道口。建議南充商行核心業(yè)務(wù)系統(tǒng)和虛擬化平臺運(yùn)行在NetAppFAS8040雙活存儲集群上。每個數(shù)據(jù)中心配置FAS8040雙控，64GB一級緩存，1TB二級緩存（原有VNX5500僅有24GB一級緩存），8塊SSD和60塊SAS盤。雙活部署以后，更是達(dá)到4個控制器，128GB一級緩存、2TB二級緩存，16塊SSD和120塊SAS盤的規(guī)模。FAS8040雙控，配置192塊SAS盤，SPC-1測試結(jié)果超過86000SPC-1IOPS。根據(jù)類似規(guī)模銀行客戶的應(yīng)用經(jīng)驗(yàn)，F(xiàn)AS8040完全可以滿足南充銀行數(shù)據(jù)中心核心雙活存儲的性能需求。綜合業(yè)務(wù)平臺數(shù)據(jù)基本上為結(jié)構(gòu)化數(shù)據(jù)，可以考慮采用高性能、低延遲的FCSAN網(wǎng)絡(luò)部署。每個數(shù)據(jù)數(shù)據(jù)中心需部署兩臺SAN交換機(jī)，形成冗余的存儲網(wǎng)絡(luò)。而文件類非結(jié)構(gòu)化數(shù)據(jù)，可以采用NAS方式進(jìn)行部署，網(wǎng)絡(luò)為IP網(wǎng)絡(luò)，同樣需要建立冗余的訪問路徑。對于虛擬化平臺，可選擇部署在NAS的大文件系統(tǒng)上，通過NFS協(xié)議訪問，非常有利于管理和擴(kuò)展，也可選擇FCSAN方式，利用其高性能、低時延的特點(diǎn)?？偨Y(jié)起來，本階段雙活數(shù)據(jù)中心達(dá)到的目標(biāo)是：針對各類物理故障（故障場景分析可見5.1節(jié)）可實(shí)現(xiàn)零數(shù)據(jù)丟失和零應(yīng)用影響。所需要具備的條件和設(shè)備如下：6對裸光纖鏈路（其中4對用于存儲互聯(lián)，2對用于主機(jī)端SAN網(wǎng)絡(luò)互聯(lián)）。南充商行已部署DWDM設(shè)備實(shí)現(xiàn)鏈路復(fù)用，可以大幅節(jié)省費(fèi)用。對稱部署的NetAppFAS8040雙活存儲NetAppTiebreaker軟件NetApp專業(yè)實(shí)施服務(wù)第二階段，完善異地容災(zāi)，實(shí)現(xiàn)完整的“兩地三中心”架構(gòu)第一階段雙活完成后，可總結(jié)第一階段的經(jīng)驗(yàn)，并著手第二階段的實(shí)施。在異地災(zāi)備中心，可以利用一臺NetAppFAS8000，虛擬化利舊的EMC存儲，與生產(chǎn)中心的FAS8040MetroCluster雙活存儲實(shí)現(xiàn)遠(yuǎn)程容災(zāi)復(fù)制。采用的復(fù)制技術(shù)是FAS8000內(nèi)置的SnapMirror遠(yuǎn)程容災(zāi)功能，可直接支持IP鏈路，支持鏈路壓縮。SnapMirror允許客戶選擇適當(dāng)?shù)耐郊墑e（同步、半同步和異步），從而實(shí)現(xiàn)了較高的災(zāi)難恢復(fù)保護(hù)級別。其中異步模式復(fù)制間隔最低為1分鐘。SnapMirror支持?jǐn)?shù)據(jù)的增量反向遠(yuǎn)程復(fù)制：在正常情況下，業(yè)務(wù)數(shù)據(jù)從主磁盤陣列復(fù)制到容災(zāi)磁盤陣列上。在主磁盤陣列發(fā)生故障無法正常運(yùn)行的時候，前端主機(jī)可以直接訪問容災(zāi)磁盤陣列上的數(shù)據(jù)，當(dāng)主磁盤陣列恢復(fù)正常運(yùn)行的時候，這時可以利用SnapMirror增量反向遠(yuǎn)程復(fù)制功能以增量的方式把容災(zāi)磁盤陣列上那些變化的數(shù)據(jù)復(fù)制到主磁盤陣列上，大大縮短了系統(tǒng)恢復(fù)到原有狀態(tài)所需的時間，使得兩邊的數(shù)據(jù)再次保持一致，然后就可以恢復(fù)SnapMirror的正常數(shù)據(jù)復(fù)制。服務(wù)器方面，可利舊原有服務(wù)器，應(yīng)用級容災(zāi)。雙活系統(tǒng)所需的Tiebreaker，可部署在容災(zāi)中心。容災(zāi)驗(yàn)證和演練容災(zāi)數(shù)據(jù)的驗(yàn)證和測試，以及定期的容災(zāi)演練，是容災(zāi)系統(tǒng)建設(shè)不可缺少的部分。通過容災(zāi)數(shù)據(jù)的驗(yàn)證測試，以確保容災(zāi)中心的數(shù)據(jù)完整性和可用性；而定期的容災(zāi)演練，有利于讓維護(hù)人員熟悉容災(zāi)流程，完善應(yīng)急預(yù)案。使用NetApp獨(dú)有的精簡克隆技術(shù)，可利用任一快照，秒級生成克隆，極低空間占用。利用這些克隆可方便地進(jìn)行容災(zāi)系統(tǒng)中必須定期完成的容災(zāi)演練、數(shù)據(jù)驗(yàn)證。請參見下圖：第三階段，完善數(shù)據(jù)保護(hù)機(jī)制隨著數(shù)據(jù)量的增加，同時希望故障后對業(yè)務(wù)的影響降到最低，因此有必要建立多重數(shù)據(jù)保護(hù)機(jī)制。前面提到，對于邏輯故障，現(xiàn)有解決方案是采用傳統(tǒng)備份軟件。但是在恢復(fù)速度上滿足不了新的要求。解決辦法是：使用雙活存儲設(shè)備自身的快照備份功能，實(shí)現(xiàn)秒級數(shù)據(jù)備份和恢復(fù)優(yōu)化原有備份方式，例如采用D2D2T的備份方案，備份和恢復(fù)速度上得到一定的提升，同時也可以保留離線歸檔備份。未來災(zāi)備存儲也需要建立快照歷史備份，有效應(yīng)對邏輯故障傳遞建設(shè)完成之后，可以達(dá)到的效果是：恢復(fù)最近的數(shù)據(jù)，可利用雙活存儲自身的快照備份，秒級數(shù)據(jù)恢復(fù)，分鐘級恢復(fù)應(yīng)用恢復(fù)較長時間前的數(shù)據(jù)，從近線存儲（可考慮未來部署一套）恢復(fù)，可實(shí)現(xiàn)分鐘級的數(shù)據(jù)恢復(fù)邏輯故障防范–秒級備份和恢復(fù)NetAppFAS8000內(nèi)置快照功能，提供秒級備份和恢復(fù)功能，有效防范邏輯故障(海量文件、數(shù)據(jù)庫和虛擬機(jī)的最有效備份恢復(fù)方式)利用NetApp卓越的快照技術(shù)，對Oracle、DB2、SQLServer以及海量文件系統(tǒng)進(jìn)行數(shù)據(jù)一致性的秒級快照備份。備份窗口從原來的幾個小時縮短為1~2分鐘，僅僅為數(shù)據(jù)進(jìn)入熱備模式時間+1秒。對于同一個數(shù)據(jù)庫，NetApp支持多達(dá)255個時間點(diǎn)的歷史備份。如數(shù)據(jù)庫（Oracle、DB2、SQLServer）或文件系統(tǒng)發(fā)生邏輯數(shù)據(jù)錯誤，可使用SnapRestore進(jìn)行快速的恢復(fù)。數(shù)據(jù)恢復(fù)時間為數(shù)秒，再加上日志重做的時間，應(yīng)用恢復(fù)可控制在十幾分鐘至數(shù)十分鐘內(nèi)，遠(yuǎn)低于其他方案的數(shù)個小時。虛擬化平臺（如VMware）下，因?yàn)閭浞荽翱谶^長,傳統(tǒng)的備份技術(shù)更加難以適應(yīng)。而NetApp的快照技術(shù)，不但可以通過秒級備份和恢復(fù)解決這一問題，而且還可以實(shí)現(xiàn)與VMware在管理上的集成。即備份恢復(fù)數(shù)據(jù)，僅僅需要在vCenter內(nèi)部調(diào)用NetApp的功能即可，無需掌握備份軟件、無需掌握存儲管理技術(shù)，提升應(yīng)用在線能力的同時，大幅降低了管理的復(fù)雜度。D2D備份設(shè)計規(guī)劃在未來，還可利用現(xiàn)有一套NetAppFAS6220(或另外增加)作為近線存儲，利用高效的SnapVaultD2D備份，提升應(yīng)用的可用性。和傳統(tǒng)備份模式相比，NetAppSnapVault是Server-Free方式，備份流不通過主機(jī)，因此不會影響主機(jī)性能；而傳統(tǒng)方式為LAN或者LANFree方式，對主機(jī)性能有一定的影響。除此之外，NetAppSnapVault和傳統(tǒng)備份模式相比，還有如下優(yōu)點(diǎn)：項目NetAppSnapVault傳統(tǒng)D2D備份數(shù)據(jù)備份很快，秒級更多的備份點(diǎn)很慢，小時級一天一個備份點(diǎn)對生產(chǎn)的影響無較大，且時間較長數(shù)據(jù)恢復(fù)很快，秒級很慢，小時級空間效率高，僅一次全備的方式，加上消重技術(shù)較高，僅虛擬帶庫的消重技術(shù)備份驗(yàn)證方便，且不需要空間–降低人力、硬件成本復(fù)雜，且需要額外空間–額外人力和硬件成本備份數(shù)據(jù)利用備份數(shù)據(jù)為主機(jī)可以直接識別和掛接的格式；可方便用于開發(fā)、培訓(xùn)以及生產(chǎn)應(yīng)急，提升投資回報率只能用于數(shù)據(jù)恢復(fù)許可證方式總體很低：僅一次性購買，再多的主機(jī)接入、再多的數(shù)據(jù)量，均不會增加成本總體很高：按主機(jī)數(shù)量收費(fèi)，每增加業(yè)務(wù)主機(jī)，需要額外購買備份軟許可SnapVault的工作原理可參見5.2節(jié)。備份策略制定建議：數(shù)據(jù)類型本地快照備份SnapVaultD2D備份關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫每小時，保留最近30份最近2天每小時一次；一周內(nèi)每天2次；一個月內(nèi)每天一次；一年內(nèi)每周一次；非關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫每半天，保留最近10份一周內(nèi)每天2次；一個月內(nèi)每天一次；一年內(nèi)每月一次；虛機(jī)系統(tǒng)數(shù)據(jù)每半天，保留最近10份一周內(nèi)每天2次；一個月內(nèi)每天一次；一年內(nèi)每月一次；優(yōu)化管理NetApp提供自動化存儲服務(wù)定制，支持與客戶數(shù)據(jù)中心業(yè)務(wù)流程管理軟件的集成：可利用NetApp管理工具實(shí)現(xiàn)存儲服務(wù)自動化。也可和第三方管理軟件進(jìn)行無縫集成，同時NetApp也開放API和SDK，支持用戶自定義云管理平臺。通過定制化的自助服務(wù)環(huán)境，使內(nèi)部客戶在幾乎沒有或是根本沒有管理人員介入的情況下請求和獲得適當(dāng)配置的IT資源，是實(shí)現(xiàn)整體業(yè)務(wù)靈活性和服務(wù)快捷性的一個重要步驟。這樣一來，可輕松實(shí)現(xiàn)：持續(xù)滿足服務(wù)級別快速擴(kuò)展和添加新應(yīng)用和IT服務(wù)以最少的投入滿足不斷變化的業(yè)務(wù)需求高效利用IT資源，最大限度地提高硬件利用率通過自動執(zhí)行重復(fù)性活動來提高生產(chǎn)率借助集成工具和自動化配置流程來簡化管理第四階段，建立高效的研發(fā)測試機(jī)制在產(chǎn)品和研發(fā)階段，未來加快把新產(chǎn)品推向市場，縮短研發(fā)周期，往往需要進(jìn)行并行化的產(chǎn)品測試。然而，不同的測試小組之間，以及測試和開發(fā)人員之間，都希望數(shù)據(jù)使用的獨(dú)立性，以避免相互干擾。這就意味著需要多個數(shù)據(jù)副本。傳統(tǒng)的存儲技術(shù)，每份克隆都要占用一份空間。這樣，存儲資源消耗嚴(yán)重：NetAppFAS8000具有專利的精簡克隆技術(shù)，相同的數(shù)據(jù)，共享底層物理存儲，因此占用空間極少，完全可以生成更多的數(shù)據(jù)副本，進(jìn)一步并行化加速測試流程。這是降本增效的一個典范，也使NetApp存儲作為大部分知名企業(yè)研發(fā)部門的首選。整合服務(wù)器虛擬化目前，越來越多的銀行將重要業(yè)務(wù)系統(tǒng)部署于虛擬化平臺上，以獲得更加靈活和彈性的資源管理和供給。我們建議南充商行將服務(wù)器虛擬化平臺部署在NetAppFAS存儲上。NetAppFAS存儲平臺為虛擬化環(huán)境進(jìn)行了專門的優(yōu)化，以VMware為例，體現(xiàn)在以下幾個方面：統(tǒng)一存儲，支持VMware三種不同的部署協(xié)議NetApp的智能二級緩存技術(shù)，針對虛擬化環(huán)境中常見的I/O熱點(diǎn)數(shù)據(jù)，提供了實(shí)時加速能力,效果明顯優(yōu)于其他廠家的自動分層技術(shù)（有SAN標(biāo)準(zhǔn)性能測試SPC-1報告為證）最緊密的特性和管理集成。VMware和存儲相關(guān)的白皮書，包括雙活架構(gòu)（vSphereMetroStorageCluster），容災(zāi)（SRM）和存儲集成（VAAI），采用的唯一范例都是NetApp。此外，NetApp還提供了進(jìn)一步的管理集成：VSC插件允許VMware管理員在權(quán)限范圍內(nèi)自由地調(diào)配和管理存儲資源，從而大幅簡化了運(yùn)維模式針對虛擬化環(huán)境下常見的備份難題，NetApp存儲內(nèi)置的備份功能提供了最好的解決手段。例如成都一個央企（東方電氣），部署了130個虛機(jī)，過去采用VAAI+傳統(tǒng)備份軟件備份方式，日備時間為6小時，而采用NetApp方案，僅需12分鐘。降本增效。NetAppFAS內(nèi)置消重功能，針對VMware環(huán)境中，大量冗余的虛機(jī)映像，能夠節(jié)省90%以上的存儲空間。虛擬化環(huán)境中的性能提速技術(shù)虛擬化平臺對存儲性能的要求非常苛刻，已成為業(yè)界的共識。存儲性能的高低，將決定著應(yīng)用性能的快慢，也決定著用戶交易的體驗(yàn)。如何衡量不同存儲性能的高低？業(yè)界公認(rèn)的方法是通過第三方的公開性能測試，如代表FCSAN性能的SPC-1，代表NAS性能的SPECSFS2008。值得指出的是，SPC-1性能結(jié)果高低，雖然不能代表真實(shí)業(yè)務(wù)環(huán)境的存儲性能，但是至少提供了一個公平公開公正的比較手段。性能測試結(jié)果往往以IOPS的形式展現(xiàn)。但必須注意的是，這個數(shù)字和用戶購買的存儲的性能IOPS，完全是兩回事。因?yàn)橛脩糍徺I的存儲，和性能測試的存儲，在配置上差別很大。性能測試往往都采用滿配，以達(dá)到最好的結(jié)果。但用戶配置，往往受容量需求和經(jīng)費(fèi)限制，遠(yuǎn)低于測試配置。因此，我們建議用性能效率來進(jìn)行衡量，即通過測試IOPS/測試配置，來得到單位硬件能夠提供的性能，以比較不同存儲之間的性能差異。在相同配置的情況下，性能效率高的存儲系統(tǒng)，可以提供更高的性能。提升性能效率的方法，在保證性價比的前提下，除了不同的存儲操作系統(tǒng)的算法差異以外，主要有兩種：二級緩存技術(shù)，如NetAppFlashCache和FlashPool，EMCFastCache。是以閃存作為存儲的二級緩存。這種技術(shù)不做任何數(shù)據(jù)遷移，因此對于性能提升的反應(yīng)速度和效果都非常好。自動分層技術(shù)，如EMCFast、IBMEasyTier，HDSDynamicTier，需要在不同的性能層之間遷移數(shù)據(jù)。對性能提升的反應(yīng)速度較慢。但如果應(yīng)用的熱點(diǎn)數(shù)據(jù)分布變化本身較慢，這種技術(shù)也有不錯的效果。NetApp采用先進(jìn)的控制器技術(shù)，存儲具有最領(lǐng)先的性能效率。下圖對比了幾種主流的SAN存儲產(chǎn)品，包括IBM最新的DS8870、HP最高端的P10000(即收購自3PAR的產(chǎn)品)、HDS的VSP(HPOEM的型號是p9500，即XP24000的下一代)，而EMC沒有參加SAN性能測試。(數(shù)據(jù)來源：SPC-1標(biāo)準(zhǔn)FCSAN性能測試。圖中反映的是，在SPC-1測試中，單個磁盤可以提供的IOPS性能。顯然，更好的技術(shù)，可以讓同樣的磁盤發(fā)揮更好的性能)。這意味著，相同的磁盤配置下，NetApp可以為業(yè)務(wù)提供更多的IOPS性能。例如，在測試中，NetAppFAS6240僅僅需要432塊普通SAS磁盤，采用RAID6，可獲得25萬SPC-1IOPS，而HDS最高端VSP使用了1152塊SAS盤，采用RAID10，取得26.9萬SPC-1IOPS。試想如果應(yīng)用容量需求僅僅需要100塊SAS盤，那么NetAppFAS6240仍然可以提供6萬左右的SPC-1IOPS，而VSP卻不到3萬SPC-1IOPS。這里面最關(guān)鍵的技術(shù)之一就是NetApp領(lǐng)先的虛擬分層和大容量二級緩存技術(shù)。其他廠家也具有自動分層，多級緩存技術(shù)，但從未經(jīng)過標(biāo)準(zhǔn)性能測試檢驗(yàn)。虛擬化環(huán)境中的數(shù)據(jù)保護(hù)和災(zāi)備前文已經(jīng)提及，VMware雙活架構(gòu)vSphereMetroStorageCluster支持NetAppMetroCluster，而且其技術(shù)白皮書正是以NetAppMetroCluster為范例。此外，在虛擬化環(huán)境中的數(shù)據(jù)保護(hù)具有如下特點(diǎn)：NetApp的快照技術(shù)可集成于VMware環(huán)境中，提供秒級的數(shù)據(jù)備份和恢復(fù)。NetApp可以提供VM中單個文件的恢復(fù)NetApp全面支持VMwareSRM容災(zāi)軟件NetApp專利的快照技術(shù)可輕易地集成到VMware環(huán)境中，可實(shí)現(xiàn)虛擬主機(jī)的恢復(fù)、完整的虛擬主機(jī)克隆，或者站點(diǎn)復(fù)制以及冗災(zāi)等。這種解決方案的優(yōu)點(diǎn)在于它是存儲界唯一對系統(tǒng)性能沒有負(fù)面影響的快照技術(shù)。VMware也聲明為了達(dá)到最佳的性能和擴(kuò)展性，建議使用給予硬件的快照解決方案而不是軟件的快照解決方案。在基于磁盤的備份方案中，包含了從生產(chǎn)系統(tǒng)拷貝虛擬磁盤文件到備份的磁盤系統(tǒng)。盡管和直接將生產(chǎn)系統(tǒng)的數(shù)據(jù)備份到磁帶相比，這種方式提供了非?？焖俚膫浞莘桨?，但是每次備份都需要100%的額外空間。某些友商提供了Copy-Out的快照技術(shù)，但是Copy-Out快照技術(shù)所帶來的性能問題，嚴(yán)重地影響了生產(chǎn)，使得這些快照技術(shù)也不能被用戶所接受。而NetApp的專利的快照技術(shù)完全沒有傳統(tǒng)的基于磁盤備份的固有的問題。而和Copy-Out的快照技術(shù)相比，NetApp的快照技術(shù)由于不移動數(shù)據(jù)，從而不會產(chǎn)生對性能的負(fù)面影響。同時，NetApp快照技術(shù)的開銷只是變化的數(shù)據(jù)塊，占用空間更少。NetAppFAS和VMware的深度集成NetAppFAS系列存儲和Vmware虛擬化軟件實(shí)現(xiàn)了深度的集成，可以最大化提升運(yùn)行效率，簡化管理。VMwarevCenter通過調(diào)用FAS設(shè)備插件，可以驅(qū)動FAS執(zhí)行一系列任務(wù)。比如備份、災(zāi)備功能，菜單化部署單元功能。FAS存儲分別通過VMware的四個插件實(shí)現(xiàn)不同的功能。以下是詳細(xì)的調(diào)用關(guān)系如下圖所示。VSC存儲管理插件在云計算架構(gòu)下，管理不再是存儲、服務(wù)器、網(wǎng)絡(luò)等分離式管理，統(tǒng)一的、集成的管理平臺是云存儲的最佳實(shí)踐。vCenter是虛擬化平臺的管理平臺，在vCenter上集中對存儲進(jìn)行配置、監(jiān)控等是虛擬化平臺與云存儲結(jié)合的一種推薦方式。為此，F(xiàn)AS系統(tǒng)存儲擁有專門的vCenter上的存儲管理插件VirtualStorageConsole（VSC）。它主要有以下功能：虛擬存儲控制臺配置和克隆備份與恢復(fù)NFSPlug-in插件ESXServer通過NAS的NFSPlug-in插件，可以將NAS文件系統(tǒng)掛載到ESXServer，作為NFSDataStore。通過NFSPlug-in插件，還可以定義虛擬機(jī)IO的優(yōu)先級，保證關(guān)鍵業(yè)務(wù)的IO的優(yōu)先級，不受其它業(yè)務(wù)IO性能影響。SRA插件SRA插件由NetApp提供，部署在SRMServer上，與SRM軟件實(shí)現(xiàn)無縫連接。在SRM界面，通過SRA插件可以直接調(diào)用的SnapMirror（存儲復(fù)制功能）和FlexClone（虛擬克隆工具），實(shí)現(xiàn)災(zāi)備功能和虛擬機(jī)克隆功能。VAAI插件VAAI（vStorageAPIsforArrayIntegration）是VMware提供存儲管理接口，主流的NAS和SAN存儲都支持這個接口，并針對VAAI提供專用的插件，部署在vCenterServer。NetApp存儲提供的VAAI插件，可以實(shí)現(xiàn)虛擬機(jī)和存儲空間的快照和恢復(fù)功能、NFSDatastorge參數(shù)調(diào)整和配置功能。VASA插件VASA的目的是加強(qiáng)存儲資源在VMware的可視化，可以通過vCenter和CapacityIQ工具獲得對物理存儲陣列的一些細(xì)節(jié)信息，如RAID信息，磁盤數(shù)量等等。內(nèi)置消重功能，降本增效在VMware環(huán)境中，非常流行的部署方式是從預(yù)先創(chuàng)建的虛機(jī)的模板來快速創(chuàng)建新的虛機(jī)。一個虛機(jī)的模板通常包含了虛機(jī)的配置文件(.vmx)以及一個或多個虛擬磁盤文件(.vmdk)，包含了操作系統(tǒng)，公共應(yīng)用程序，以及補(bǔ)丁文件或系統(tǒng)更新。從模板來創(chuàng)建新的虛機(jī)，通過拷貝配置文件以及虛擬磁盤文件，并注冊成為獨(dú)立的虛機(jī)，大大減少了管理上的時間開銷。但是，在這種方式下，造成了大量的重復(fù)數(shù)據(jù)。下圖說明了在VMware環(huán)境下的典型存儲開銷。NetApp提供了一種重復(fù)數(shù)據(jù)刪除的技術(shù)，稱為FASDedup。通過FASDedup技術(shù)，我們能夠消除在VMware環(huán)境中的重復(fù)數(shù)據(jù)，大大提供存儲的總體利用率。FASDedup提供了一種虛擬化的技術(shù)，使得多個虛機(jī)可以共享在NetApp主存儲上的相同的物理數(shù)據(jù)塊。FASDedup無縫的集成到VMware的環(huán)境中，而不需要在VMware的配置和管理中進(jìn)行任何的改變。下圖說明了VMware環(huán)境中啟用FASDedup后對存儲開銷的影響。在實(shí)際環(huán)境中，可以節(jié)省90%的系統(tǒng)空間。目前，F(xiàn)ASDedup是Volume級別的，它消除在同一個Volume中的重復(fù)數(shù)據(jù)。因此，為了更好地提高存儲利用率，我們建議盡量將相同操作系統(tǒng)、相同應(yīng)用的虛機(jī)部署在同一個datastore中，從而部署在啟用FASDedup功能的FlexVol中。第四部分NetApp服務(wù)體系介紹

服務(wù)體系1.技術(shù)支持中心TSC(TechnicalSupportCenter)TSC是一個分布在美洲、歐洲、亞洲，包含多個支持中心的支持網(wǎng)絡(luò)，能夠在全球的任何地方為您的運(yùn)營提供服務(wù)，從而保證最高水平的全天候支持。每個支持中心采用follow-the-sun模式為其鄰近地區(qū)提供服務(wù)。該中心時間范圍以外的呼叫將自動路由到一個開放著的支持中心，有效地讓您的IT人員能夠始終即時獲得專業(yè)NetApp工程師的支持。TSC接受全球范圍內(nèi)包括電子郵件、電話和web的服務(wù)請求，同時自動處理經(jīng)在線連接NetApp設(shè)備發(fā)回的自動支持（AutoSupport）請求，由支持中心專家組會同全球各地的現(xiàn)場支持隊伍和合作伙伴，提供最快速的響應(yīng)和有力的支持。目前，TSC支持中心分別位于加利福尼亞州桑尼維爾市（Sunnyvale）、北卡羅萊納州Raleigh市、荷蘭Amsterdam、德國Munich、印度班加羅爾（Bangalore）、大連以及日本東京等。技術(shù)支持中心（TSC）提供24x7x365全天候支持。在中國大連市，主要服務(wù)于大中華及北亞地區(qū)的NetApp全球第六個技術(shù)支持中心已于2007年九9月加入到全球支持中心的網(wǎng)絡(luò)中，從而能為中國本地客戶提供更加及時全面的技術(shù)支持服務(wù)。全球支持中心提供多種語種電話支持服務(wù)，包括英語、漢語普通話、韓語、日語、法語、德語、荷蘭語等。全國統(tǒng)一的7x24服務(wù)熱線:400-6566-577(中國普通話服務(wù))2.TSC人員組成技術(shù)支持工程師（TSE）：是專職技術(shù)支持人員。TSE是具有熟練技能的工程師，負(fù)責(zé)日常與客戶共同解決技術(shù)問題?？蛻舴?wù)代表（CSR）：為需要協(xié)助的客戶提供第一線即時支持。CSR根據(jù)客戶需要和實(shí)際情況，在線啟動支持案例（SupportCase）和ReturnMaterialRequests（RMA）、處理備件訂單、分派現(xiàn)場服務(wù)、處理AutoSupport訊息，并管理其它非技術(shù)領(lǐng)域的支持。全球支持中心經(jīng)理：負(fù)責(zé)確保GSC的平穩(wěn)運(yùn)行和客戶問題的及時解決。3.備件保障NetApp負(fù)責(zé)提供所有在服務(wù)范圍內(nèi)的損壞硬件的更換件。通過NetAppAutoSupport或NOW在線發(fā)出的故障通知將自動啟動更換故障部件的流程，在其它情況下可由全球支持中心的NetApp客戶服務(wù)代表啟動該流程。他們將為您提供備件，以更換故障部件。故障部件將被換下，并需在10天之內(nèi)返回NetApp。您還將從NetApp客戶服務(wù)代表那里得到一個RMA編號，用于對您的返還備件進(jìn)行跟蹤。對于在購買產(chǎn)品時選擇了Non-ReturnableSystemDisk計劃的客戶而言，您無需返還任何故障硬盤驅(qū)動器。更換上的部件保修期為90天，或原產(chǎn)品有效的剩余保修期（取時間較長者）。NetApp在全球擁有200余個部件倉庫。每個倉庫存放有NetApp產(chǎn)品的更換部件（備件包、主板、風(fēng)扇、擋板、支架、電源等）。具體的倉庫位置和交付速度信息可通過查詢?nèi)蛑С种行墨@得，或者咨詢NetApp銷售代表。中國范圍內(nèi)有北京、上海、廣州、成都、南京、深圳、濟(jì)南、大連等城市建有備件配送中心，可提供2小時、4小時或第二個工作日的遞送服務(wù)。其他地區(qū)目前提供第二個工作日的備件配送4.中國分公司和支持團(tuán)隊NetApp在中國北京、上海、成都、深圳和廣州設(shè)立了分公司，并在南京、西安、杭州及合肥等城市設(shè)有常駐工程師。這些有著經(jīng)驗(yàn)豐富、技術(shù)高超的服務(wù)工程師，包括：客戶服務(wù)經(jīng)理（SAM）：對指定的用戶進(jìn)行case管理，風(fēng)險提示等；并協(xié)調(diào)各種資源，并保持與客戶的溝通，實(shí)現(xiàn)售后服務(wù)按時保質(zhì)地完成、提升設(shè)備高可用性，高持續(xù)性，減輕用戶運(yùn)維壓力。授權(quán)技術(shù)支持工程師（TPM）:提供本地化的售后服務(wù)和支持，將在用戶現(xiàn)場解決問題。現(xiàn)場工程師（FSE）：提供本地化的售后服務(wù)和支持，將在用戶現(xiàn)場解決問題。專業(yè)服務(wù)工程師（PSE）：提供本地化的安裝和實(shí)施服務(wù)。專業(yè)服務(wù)顧問（PSC）：深入客戶現(xiàn)場提供咨詢服務(wù)和增值服務(wù)，包括客戶需求確認(rèn)、解決方案設(shè)計與咨詢、工作文檔和實(shí)施。他們貼近客戶，可以根據(jù)需要和實(shí)際情況迅速到達(dá)用戶現(xiàn)場，與客戶進(jìn)行充分交流，快速了解用戶的實(shí)際應(yīng)用，判斷問題所在，最直接地加以調(diào)整和維護(hù)，力爭使發(fā)生的問題給用戶系統(tǒng)運(yùn)行的所帶來影響最小。同時，這些服務(wù)工程師遵循NetApp全球一致的服務(wù)流程和規(guī)范，保證中國用戶同樣得到NetApp全球統(tǒng)一的高品質(zhì)服務(wù)。二．服務(wù)內(nèi)容NetApp為了滿足不同用戶對于數(shù)據(jù)的安全性和服務(wù)能力的需要，制定了極其靈活的售后服務(wù)內(nèi)容。在正常的保修期服務(wù)基礎(chǔ)之上，對于關(guān)鍵性業(yè)務(wù)系統(tǒng)和不能有須臾停頓的企業(yè)級客戶，我們提供SupportEdgePremium，能夠遠(yuǎn)程地進(jìn)行即時系統(tǒng)監(jiān)控和維護(hù)；對于非關(guān)鍵性業(yè)務(wù)系統(tǒng)且有能力進(jìn)行