云網融合解決方案目錄云計算發(fā)展趨勢云網融合架構XX云的實踐云計算發(fā)展趨勢企業(yè)IT系統(tǒng)的發(fā)展方向企業(yè)IT系統(tǒng)及部門會向三個方向演進IT服務完全依托公有云服務器，適用于大部分中小型或Startup型企業(yè)IT服務以公有云為主，自建IT系統(tǒng)為輔，適用于大部分中小型或Startup型企業(yè)企業(yè)傳統(tǒng)IT基礎架構向私有云演進，公有云托管部分IT服務，適用于大中型或巨型企業(yè)案例：案例：案例：123用戶公有云企業(yè)IT用戶公有云企業(yè)IT租用企業(yè)IT公有云企業(yè)VPC企業(yè)私有云租用技術升級變革的起始—虛擬化/資源池化物理資源構成資源池化(虛擬化)資源調度組合以網絡組織計算和存儲計算存儲網絡網絡控制器/網絡虛擬化計算計算資源池網絡存儲網絡資源池存儲資源池應用系統(tǒng)A應用系統(tǒng)B應用系統(tǒng)CWebLayerAppLayerDBLayerWebLayerAppLayerDBLayerWebLayerAppLayerDBLayer存儲卷存儲卷存儲卷VMVMVM存儲卷存儲卷存儲卷VMVMVM計算控制器網絡控制器存儲控制器網絡控制器作為網絡資源池的唯一控制點，通過網絡節(jié)點虛擬化，自動為接入網絡的計算資源、存儲資源、用戶提供接入策略、接入控制等服務，同時提供網絡動態(tài)調整的能力，滿足動態(tài)的網絡容量規(guī)劃要求資源抽象層跨資源統(tǒng)一管理計算計算資源池網絡存儲網絡資源池存儲資源池應用系統(tǒng)A應用系統(tǒng)B應用系統(tǒng)CWebLayerAppLayerDBLayerWebLayerAppLayerDBLayerWebLayerAppLayerDBLayer存儲卷存儲卷存儲卷VMVMVM存儲卷存儲卷存儲卷VMVMVM計算控制器網絡控制器存儲控制器跨領域的資源管理Orchestrator應用的部署不再僅僅限于單個領域資源的申請和使用，而是會跨越多個領域，使用計算、存儲、網絡、安全、LB、DNS等各個領域的資源，通過引入跨領域的統(tǒng)一資源管理，能夠更有效的利用資源，更快速的響應資源生命周期管理計算計算資源池網絡存儲網絡資源池存儲資源池應用系統(tǒng)A應用系統(tǒng)B應用系統(tǒng)CWebLayerAppLayerDBLayerWebLayerAppLayerDBLayerWebLayerAppLayerDBLayer存儲卷存儲卷存儲卷VMVMVM存儲卷存儲卷存儲卷VMVMVM計算控制器網絡控制器存儲控制器跨領域的資源管理Orchestrator自服務門戶Portal跨領域的資源管理解決的是資源的綜合利用和資源統(tǒng)一管理問題，勢必涉及到資源生命周期管理，包括資源申請、分配、回收、監(jiān)控等，需要全新的交付模式和交付手段，自服務門戶會逐漸成為虛擬資源管理的主要形式目錄云計算發(fā)展趨勢云網融合架構XX云的實踐資源統(tǒng)一管理InfrastructureResourceManagement領域控制器DomainController物理設備PhysicalDevice虛擬設備VirtualDeviceVCFArchitectureinDC交付件VCFArchitectureinDCS125002013vSwitchOpenFlow+NetconfOpenFlow+OVS-DBFlareVxLANVTEP、GW統(tǒng)一管理業(yè)務系統(tǒng)北向接口管理主要交付S6800VMCASL5000（硬件LB）DBServeriMC-CSMiMCVFM組件：VxLANManageriMCCSM（CloudServiceManagement）組件iMC計算和存儲資源調度OpenStackEmbeddedStorageServerM9010（硬件FW）VCFArchitecture功能模塊

iMC-CSMSelf-ServicePortalResourceOrchestratorAppAppAppAppAppVCFControllerServervSwitchVCFCAgentRuntimeTopology/LogicalUnitManagerVirtualDevicesPhysicalDevicesForwardingPolicy/ControlManagerServiceChainAppMultiTenantAppVMMAgentAppCASVMVMServerHypervisorCICAgentVMVMServerHypervisorCICAgentVMVMvDeviceinVMVCFCAgentControlPlaneDataPlanePhysicalDeviceVCFCAgentControlPlaneDataPlaneMulti-HypervisorManagerVM/Host/StorageManagerResourceandConfigurationVMProfileUser/OperationHA/DRSOpenStackEmbeddedNeutronNetworkAPINovaComputerAPICinderStorageAPIVCFControllerPlug-inVCF-CICPlug-inVCF-CICPlug-inVCFController定位網絡控制和服務鏈定義對下統(tǒng)一控制軟硬件網絡設備對上提供網絡單元抽象，實現(xiàn)虛擬網絡和物理網絡的統(tǒng)一拓撲呈現(xiàn)與配置支持基于應用的服務功能鏈定義支持自定義App開發(fā)及部署提供北向接口支持管理平臺統(tǒng)一調度CAS定位VM/CVK管理控制、存儲管理對下統(tǒng)一控制VM、CVK、Host軟硬件計算設備，以及VM相關的存儲管理對上提供計算單元抽象支持和VCFController聯(lián)動，在VM創(chuàng)建、遷移、刪除等時刻通知VCFController提供北向接口支持管理平臺統(tǒng)一調度iMC作為公司VCF架構下的唯一資源管理平臺和云業(yè)務平臺，定位資源管理、業(yè)務編排以及云業(yè)務入口，后繼云平臺相關需求由業(yè)務軟件部門接口提供對網絡資源、計算資源、存儲資源的統(tǒng)一管理支持端到端的網絡、計算、存儲統(tǒng)一業(yè)務定義、業(yè)務編排對上提供北向接口，支持自定義App開發(fā)及部署對下統(tǒng)一管理VCFController、Cas，支持對網絡、計算、存儲的統(tǒng)一監(jiān)控整合標準OpenStack，支持標準OpenStackPlug-in模式和南向連通CAS-部署模型云管理平臺(物理服務器)云管理平臺(物理服務器)CPU/內存/IOHypervisorVMVM…CPU/內存/IOHypervisorVMVM…CPU/內存/IOHypervisorVM…CPU/內存/IOHypervisorVMVM…雙機HA集群管理和監(jiān)控心跳信號VM共享存儲統(tǒng)一業(yè)務運行平臺CAS基于KVM構建KVM是指基于Linux內核的虛擬化（Kernel-basedVirtualMachine）。2006年10月，以色列公司Qumranet開發(fā)的新一代虛擬機實現(xiàn)方案。2007年2月KVM被集成到Linux2.6.20內核中，作為Linux內核中的一個模塊，與Linux內核一起發(fā)布。重用linux內核中已經完善的進程調度，內存管理，IO管理等代碼。KVM虛擬化平臺的特點1）充分利用現(xiàn)有硬件的虛擬化功能，架構精簡2）充分重用Linux內核已有的成熟功能，減少不必要的重新開發(fā)3）虛擬機以普通Linux的進程的方式來運行，其資源管理和調度機制與軟件驅動都基于底層linux嚙合，負載非常小。針對KVM的深度優(yōu)化將定時器模擬從用戶態(tài)移植到內核態(tài)，提升時鐘精度，減少上下文切換和內核陷入消耗。虛擬時鐘優(yōu)化通過中斷預處理方式，提升虛擬機對中斷的響應速度。虛擬中斷優(yōu)化虛擬機鏡像文件格式升級，提升塊查找效率，獲得更高IO性能；優(yōu)化快照存儲結構，提升磁盤利用率，避免資源浪費。虛擬磁盤優(yōu)化基于虛擬機并發(fā)數(shù)量有限的特點，簡化CPU調度算法，提升CPU利用率。資源調度算法優(yōu)化內存熱添加、內存壓縮、內存重復數(shù)據刪除等技術提升內存利用率。內存優(yōu)化兼容更多服務器，適配主流網卡、HBA卡、SCSI卡、GPU卡，支持更多存儲類型。更豐富的業(yè)務部署實踐。虛擬磁盤優(yōu)化

CASCAS的功能增強管理智能電源管理關聯(lián)和反關聯(lián)規(guī)則遠程ISO計算內核升級與優(yōu)化USB2.0&COM外設虛擬化資源分配控制(內存/CPU/IO)存儲分布式存儲系統(tǒng)虛擬存儲在線遷移IP&FC存儲多路徑高可靠性集群HA（大規(guī)模，穩(wěn)定32臺）虛擬機遷移（跨集群）備份和快照（定時）高可用性DRS（調度算法優(yōu)化）DRX（計劃內，溫暖下線）穩(wěn)定性和兼容性提升網絡ACL/動態(tài)鏈路聚合vHost網絡加速vFW簡單融合標準化OpenStackPlugin開放API可運維性主機及網絡告警性能監(jiān)控報表日志采集與導出

CAS產品之路成型期完善&創(chuàng)新期成熟期2009開始虛擬化技術預研

，選定KVM內核CAS1.0HA和動態(tài)資源調度（DRS）CPU/網卡/磁盤資源熱添加標準虛擬交換機支持IEEE802.1Qbg標準協(xié)議20112012201320142015融合分布式存儲組件硬件兼容性增強計算/網絡/存儲資源QoS內核性能調優(yōu)開放標準的RESTAPI接口CAS2.0大規(guī)模集群（128臺）規(guī)?？晒芾鞻xLAN網絡虛擬化GPU直通輕代理防病毒解決方案適配標準的OpenStack云平臺CAS3.0顯示界面美化分布式虛擬防火墻多站點容災備份DRX+VLB硬件SR-IOV內存熱添加虛擬機容災（FT）容器式虛擬化兼容VMware虛擬化平臺資源彈性自動化伸縮（DRX）用戶自助服務平臺云業(yè)務申請與審批流程云彩虹解決方案VCFArchitecture-CSMiMC-CSMSelf-ServicePortalResourceOrchestratorAppAppAppAppAppVCFControllerServervSwitchVCFCAgentRuntimeTopology/LogicalUnitManagerVirtualDevicesPhysicalDevicesForwardingPolicy/ControlManagerServiceChainAppMultiTenantAppVMMAgentAppCASVMVMServerHypervisorCICAgentVMVMServerHypervisorCICAgentVMVMvDeviceinVMVCFCAgentControlPlaneDataPlanePhysicalDeviceVCFCAgentControlPlaneDataPlaneMulti-HypervisorManagerVM/Host/StorageManagerResourceandConfigurationVMProfileUser/OperationHA/DRSOpenStackEmbeddedNeutronNetworkAPINovaComputerAPICinderStorageAPIVCFControllerPlug-inVCF-CICPlug-inVCF-CICPlug-in

CSM-基于OpenStack平臺開發(fā)云平臺開源社區(qū)活躍度Openstack活躍度第一OpenStack版本每六個月更新主流廠商參與2010.10Austin2011.02Bexar2011.04Cactus2011.09Diablo2012.03Essex2012.10Folsom2013.04Grizzly2014.04Icehouse2013.10Havana

OpenStack社區(qū)已經遍及全球132個國家，13504人參與，其中個人開發(fā)者人數(shù)達到了近6000人，支持廠商/組織共有298家，按級別來分共有8個白金會員、19個黃金會員、54個贊助公司、217個支持機構(截止至2013年12月31日)CSM服務目錄與流程云平臺服務目錄租戶云主機云存儲云數(shù)據庫云負載均衡云安全租戶網絡VM申請存儲申請數(shù)據庫申請負載均衡申請防火墻申請創(chuàng)建網絡開戶租戶開通為租戶創(chuàng)建NetworkVxLANGroupVxLAN開通租戶分配租戶UUID創(chuàng)建VM關聯(lián)vDC關聯(lián)VxLAN創(chuàng)建存儲關聯(lián)vDC關聯(lián)VM關聯(lián)DB關聯(lián)vDC關聯(lián)VxLAN創(chuàng)建vLB關聯(lián)vDC關聯(lián)Subnet關聯(lián)VM部署策略路由創(chuàng)建vFW關聯(lián)vDC關聯(lián)Subnet部署策略路由IT/DC運維者Tenant邏輯視圖虛擬網絡視圖Tenant創(chuàng)建vDCvNet\SubnetvRouter(L3)獲取租戶UUID創(chuàng)建VM選擇vDC選擇Subnet創(chuàng)建存儲選擇vDC選擇Subnet掛接VM創(chuàng)建DB選擇vDC選擇Subnet創(chuàng)建vLB選擇vDC選擇Subnet選擇VM創(chuàng)建vFW選擇vDC選擇SubnetVMLUNOVSS12500-xLBFWS6800DBvDCvNetVMSubnetvRoutervLBvFWStorageDBvDCVMVxLANL3GW/VRFVIPvFWLUNDB物理網絡視圖VirtualMulti-TenantDataCenter(VMDC)管理員視圖邏輯流程基于Openstack框架的vPC租戶實現(xiàn)vNetvNetvRouterVRF-1VRF-2L5000ForVRF-1核心防火墻-M9000VxLAN100VxLAN200VxLAN300VxLAN400VxLAN500VxLAN600vFW-2vFW-3vFW-4vFW-1L5000ForVRF-2負載均衡（L5000）VMSubnetVMSubnetVMVMVMSubnetVMvRoutervLBvFWDB核心交換機-S125xPortOpenstackNeutron網絡模型VMVMVMVMVMVMLOUD組網架構配置映射CSM的業(yè)務編排網絡設備轉發(fā)平面特定硬件/x86控制平面管理平面VCFControllerCICiMC-CSM統(tǒng)一監(jiān)控統(tǒng)一編排統(tǒng)一管理

VCFArchitecture各類資源統(tǒng)一管理、統(tǒng)一編排服務目錄發(fā)布針對不同應用的策略模板集合作為服務目錄發(fā)布，供不同管理員選用服務目錄下的模板可重用、可查詢、可編輯支持分級權限的自助服務門戶3業(yè)務編排根據VCF策略模型，以抽象服務單元作為網絡服務編排的對象可視化定義基礎設施服務，從應用服務組（VM集合）到用戶的端到端連接（途經的網絡服務單元）編排結果輸出為策略模板2策略配置及下發(fā)iM-CSMC將策略模板預部署到VCFControllerVCFController校驗模板的有限性以及可配置性，并自動計算在物理網絡中的部署路徑和控制策略（基于網絡虛擬化層中全網/虛擬拓撲等資源），校驗完畢，反饋iM-CSMC預部署結果用戶通過iM-CSMC下發(fā)正式部署策略決策VCFController根據預配置結果，下發(fā)具體配置到物理網絡，并支持動態(tài)調整，以保證策略穩(wěn)定性4資源提取VCFController匯總所有拓撲及網元信息，CIC匯總所有主機信息，EIC匯總所有終端/用戶信息VCFController、CIC、EIC向iMC統(tǒng)一上報資源信息（包括拓撲、網元能力集、主機信息）iMC-CSM形成資源管理池1X86服務器vSwitchVMVMVMiMC-CSM負責靜態(tài)策略制定和規(guī)劃VCFController負責策略執(zhí)行以及保障策略在網絡動態(tài)變化下的穩(wěn)定性EIC終端/用戶VCFControllerCASiMC-CSMEICVCFControllerCASiMC-CSMEICVCFControllerCasiMC-CSMEICCSM的自定義編排云安全服務自助交付vDC安全自定義編排VCFArchitecture-VCFCiMC-CSMSelf-ServicePortalResourceOrchestratorAppAppAppAppAppVCFControllerServervSwitchVCFCAgentRuntimeTopology/LogicalUnitManagerVirtualDevicesPhysicalDevicesForwardingPolicy/ControlManagerServiceChainAppMultiTenantAppVMMAgentAppCASVMVMServerHypervisorCICAgentVMVMServerHypervisorCICAgentVMVMvDeviceinVMVCFCAgentControlPlaneDataPlanePhysicalDeviceVCFCAgentControlPlaneDataPlaneMulti-HypervisorManagerVM/Host/StorageManagerResourceandConfigurationVMProfileUser/OperationHA/DRSOpenStackEmbeddedNeutronNetworkAPINovaComputerAPICinderStorageAPIVCFControllerPlug-inVCF-CICPlug-inVCF-CICPlug-inVCFArchitecture網絡模型在不同場景不同場景下的演化

VCFArchitecture網絡模型RouterNetwork：ExternalNetworkSecurityGroup(L2Security)SecurityGroupRuleFloatingIPSubnetPort1:n1:nFirewall(L3Security)FirewallPolicyFirewallRule1:n1:n1:nLoadBalancerMember1:nVIPHealthMonitor數(shù)據中心模型RouterNetwork：ExternalNetworkSecurityGroup(L2Security)SecurityGroupRuleFloatingIPSubnetPort1:n1:n1:n園區(qū)模型Network：ExternalRouterRouter廣域網模型虛擬機/服務器移動設備/桌面PCVCFArchitecture租戶類型2種租戶類型：標準租戶（StandardTenant），只關注公網服務IP，沒有私網IP地址需求，IP地址由管理員統(tǒng)一規(guī)劃和分配（浙江政務云一期）VPC類租戶（VirtualPrivateCloudTenant），企業(yè)私網的延伸，有私網IP地址需求，可以為其申請的主機分配私網IP地址在網絡層面，標準租戶的IP地址網段是不允許出現(xiàn)重復的，VPC類租戶的IP地址網段允許重復VirtualMulti-TenantDataCenter(VMDC)租戶模型VRF1數(shù)據中心租戶3租戶4租戶nVMVMDBStorageLBFWVMVMDBStorageLBFWVMVMDBStorageLBFW租戶2租戶1VMVMDBStorageLBFWVMVMDBStorageLBFWVRF2VRF3VRFn對于VPC類租戶，獨占VRF對于標準租戶，統(tǒng)一放入一個VRF核心網絡模型：PrivateRouterandPrivateNetworks租戶具備自己的PrivateRouter，不同租戶之間的私網IP允許重復，多個NetworkNetwork2Network1VCFArchitecture租戶BVM

3內：10.0.1.2外：20.0.0.5租戶BVM

4內：10.0.1.3外：nullPublicRouterSubnet網關IP（10.0.0.1）Network2Subnet（10.0.1.0/24）Subnet網關IP（10.0.1.1）ExternalNetworkSubnet（20.0.0.0/22）租戶AVM

1內：10.0.0.2外：20.0.0.3租戶AVM

2內：10.0.0.3外：20.0.0.4Network1Subnet（10.0.0.0/24）PortPortPortPortWAN20.0.0.220.0.0.1租戶CVM

3內：10.0.1.2外：20.0.0.7租戶CVM

4內：10.0.1.3外：nullSubnet（10.0.1.0/24）PortPortPrivateRouterSubnet網關IP（10.0.1.1）20.0.0.10租戶CVM

1內：10.0.0.2外：20.0.0.6租戶CVM

2內：10.0.0.3外：nullSubnet（10.0.0.0/24）PortPortSubnet網關IP（10.0.0.1）

VCFArchitecture網絡模型LOUD兩種vPC部署方案2基于VxLANOverlay技術1基于傳統(tǒng)VLAN技術基于VLAN技術的vPC租戶實現(xiàn)原理vRouterVRF-1VRF-2業(yè)務核心L5000ForVRF-1虛擬防火墻（M9000）VMVMVMVMVMVMVLAN100VLAN200VLAN300VLAN400VLAN500VLAN600vFW-2vFW-3vFW-4vFW-1L5000ForVRF-2負載均衡（L5000）管理網核心VRF-0VRF-1VRF-2方案描述云管理平臺創(chuàng)建vPC用戶業(yè)務核心、防火墻、負載均衡將基于不同vPC用戶虛擬出不同的虛擬設備（如VRFvRouter、vFW、vLB），每個設備用類似VRFIndex來唯一區(qū)分標識某vPC用戶的業(yè)務接入區(qū)每個vPC用戶的一個或者多個業(yè)務用一個或者多個VLANID進行標識區(qū)分在業(yè)務核心將同一個vPC用戶的VLANID的interface與其VRF綁定，業(yè)務報文在業(yè)務核心、防火墻、LB虛擬設備之間傳遞時將通過同一個VRFIndex進行區(qū)分，并且一個VRF空間內轉發(fā)反之，不同vPC用戶采用不同VRFindex進行區(qū)分、并在不同VRF空間內轉發(fā)基于VLAN的vPC方案局限性一、無法與網絡硬件解耦合業(yè)務變更擴展不靈活租戶VLAN需要統(tǒng)一規(guī)劃租戶IP地址與網絡策略與物理設備緊耦合二、跨中心二層網絡構建復雜

裸纖直連核心，網絡結構混亂

協(xié)議部署復雜(STP)

廣播域擴大三、無法實現(xiàn)服務鏈(SeviceChain)

只能基于PBR引流，維護復雜

不便于部署軟件類vLB、vFW，vPC租戶成本高LOUD兩種vPC部署方案1基于傳統(tǒng)VLAN技術2VxLANOverlay技術Overlay疊加網絡定義Overlay網絡是一個建立在已有物理網絡上的虛擬網絡，邏輯節(jié)點和邏輯鏈路構成了Overlay網絡。Overlay網絡的出現(xiàn)是為了實現(xiàn)已有網絡所不能提供的功能和服務二層網絡環(huán)境虛擬網絡與物理網絡解耦合虛擬網絡安全控制Overlay協(xié)議的選擇

--VXLAN（VirtualExtensibleLAN）

建立在物理IP網絡之上的覆蓋網使用UDP封裝完整的內層以太報文共50字節(jié)的封裝報文頭24比特長度的VNI（VXLAN網絡標識符）最大支持超過1600萬個虛擬網絡可跨越物理三層網絡

利用ECMP（等價多路徑負載均衡）對不同數(shù)據流使用不同的UDP源端口

VTEP（VXLANTunnelEndPoint）隧道端點有自己的IP地址，對報文進行VXLAN封裝/解封裝。OuterMACDAOuterMACSAOuter802.1Q（可選）OuterIPDAOuterIPSAOuterUDPVXLAN頭部（8字節(jié)）VXLAN封裝InnerMACDAInnerMACSAInner802.1Q（可選）

OriginalEthernetPayloadCRC原始以太網報文Overlay方案支持混合部署軟件Overlay主機Overlay混合部署混合式Overlay硬件Overlay網絡OverlayvSwitchVMVMVMvSwitchVMVMVM虛擬化的服務器虛擬化的服務器vSwitchVMVMVM物理服務器虛擬化的服務器物理服務器物理服務器DC1DC2廣域網L3vRou