




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
培訓(xùn)時(shí)間:2025年8月5日培訓(xùn)講師:XXXSDN多云數(shù)據(jù)中心
互聯(lián)規(guī)劃設(shè)計(jì)培訓(xùn)課件
課堂規(guī)則Open—開(kāi)放的心態(tài)、積極參與、勇敢發(fā)問(wèn)
Close—封閉的環(huán)境,不要受外界的干擾,請(qǐng)將手機(jī)關(guān)機(jī)或靜音請(qǐng)勿隨意走動(dòng)、交談感謝您的配合SDN多云數(shù)據(jù)中心
互聯(lián)規(guī)劃設(shè)計(jì)客戶擁有多個(gè)DC(DataCenter),并且分布在多個(gè)物理區(qū)域內(nèi),每個(gè)DC(DataCenter)之間距離較遠(yuǎn),有的地理位置跨省甚至跨國(guó)。在這種背景下,客戶需要實(shí)現(xiàn)多個(gè)數(shù)據(jù)中心業(yè)務(wù)可以互聯(lián)通信。學(xué)完本課程后,您將能夠:了解多云數(shù)據(jù)中心互聯(lián)方案掌握vDC主備容災(zāi)場(chǎng)景方案設(shè)計(jì)掌握多DC互聯(lián)互通場(chǎng)景和設(shè)計(jì)了解多云數(shù)據(jù)中心互聯(lián)案例多POD/DC場(chǎng)景、業(yè)務(wù)及管理規(guī)劃Region內(nèi)多Fabric/DC需求場(chǎng)景分析vDC主備容災(zāi)場(chǎng)景方案設(shè)計(jì)多DC互聯(lián)互通場(chǎng)景方案設(shè)計(jì)方案總結(jié)和案例介紹Region/AZ-VS-DC/Fabric/POD映射關(guān)系(云網(wǎng)一體化)AWSOpenStackRegionLargeandwidelydispersedintoseparategeographiclocations.
AZ級(jí)聯(lián)FusionSphereRegionAZ近距多DC(2ms~10ms)=1nDC(Site)Fabric=DistinctlocationswithinaregionthatareengineeredtobeisolatedfromfailuresinotherAvailabilityZonesandprovideinexpensive,lowlatencynetworkconnectivitytootherAvailabilityZonesinthesameregion引義:管理統(tǒng)一,三層互通,網(wǎng)絡(luò)質(zhì)量可控(AWS定義為2ms)引義:一個(gè)故障域、IaaS(計(jì)算/存儲(chǔ)/網(wǎng)絡(luò))提供高可用,低時(shí)延(AWS定義為0.2ms)1n1n1n物理網(wǎng)絡(luò)EachRegionhasitsown
fullOpenStack
deployment,includingitsownAPIendpoints,networksandcomputeresourcesInsideaRegion,computenodescanbelogicallygroupedintoAvailabilityZones,whenlaunchingnewVMinstance,wecanspecifyAZorevenaspecificnodeinaAZtoruntheVMinstance一套完整的OpenStack,獨(dú)立API(500host)計(jì)算/存儲(chǔ):一個(gè)主機(jī)組(VM遷移域)網(wǎng)絡(luò):一個(gè)二層域(1ms)規(guī)模、距離問(wèn)題通過(guò)一套級(jí)聯(lián)FusionSphere解決大規(guī)模,統(tǒng)一北向問(wèn)題計(jì)算/存儲(chǔ):一套FusionSphere或級(jí)聯(lián)FusionSphere內(nèi)的一個(gè)主機(jī)組(VM遷移域)網(wǎng)絡(luò):一套AC,管理的多個(gè)Fabric(POD)形成一個(gè)二層域注:通過(guò)ManageOne解決管理規(guī)模、距離問(wèn)題(時(shí)延放大到40ms)注:通過(guò)級(jí)聯(lián)FusionSphere解決AZ規(guī)模、距離問(wèn)題(時(shí)延放大到10ms)PODs1nRegion/AZ-VS-DC/Fabric/POD映射關(guān)系(網(wǎng)絡(luò)虛擬化)VMware5.5/6.0一套vCenter提供統(tǒng)一編排及北向(1000host)PSCvCenterVMware6.5vDC(主機(jī)組)規(guī)模、距離問(wèn)題vDC主機(jī)組:提供冷熱遷移、HA、FT功能(10ms)1nFault-Tolerance:I層替應(yīng)用層提供容災(zāi)能力,保證出現(xiàn)故障時(shí)用戶的應(yīng)用不會(huì)出現(xiàn)中斷。
其原理是在兩臺(tái)主機(jī)上創(chuàng)建一模一樣兩臺(tái)虛擬機(jī)vm(主)與vm(輔助),vm(輔助)完全同步vm(主)的操作,當(dāng)vm(主)故障時(shí),vm(輔助)自動(dòng)切換變?yōu)関m(主)。vCentervCentervCentervDC(主機(jī)組)1nnnvDC主機(jī)組:可跨vCenter,提供冷熱遷移、HA、FT功能(時(shí)延放大到100ms)一套PSC組件管理多套vCenter:PSC提供類似SSO能力,提供統(tǒng)一北向API(時(shí)延放大到100ms)RegionAZ1nRegionAZ近距多DC(2ms~10ms)=1nDC(Site)Fabric=1n1n物理網(wǎng)絡(luò)PODs1n單DC:多Fabric多POD物理模型FABRICSPINESPINELEAFLEAFLEAFPOD1LEAFLEAFLEAFFWFWBorderLeafBorderLeafFWFWBorderLeafBorderLeafAZAZFABRICCORECORESPINESPINELEAFLEAFLEAFPOD1PODnSPINESPINELEAFLEAFLEAFFWFWBorderLeafBorderLeafFWFWBorderLeafBorderLeaf出口區(qū)出口區(qū)小POD模式大POD模式SITE(DC)單DC:多Fabric多POD網(wǎng)絡(luò)模型AZAZSubnetSubnetVMVM遷移VMVM遷移LogicRouterFWLBVPCSubnetSubnetVMVM遷移VMVM遷移LogicRouterFWLBVPCSubnetSubnetVMVM遷移VMVM遷移LogicRouterFWLBVPC跨Fabric(集中網(wǎng)關(guān))SubnetSubnetVMVM遷移VMVM遷移LogicRouterFWLBVPC跨Fabric(主備/多活網(wǎng)關(guān))三層互通三層互通三層互通三層互通三層互通三層互通FABRICFABRIC單DC:多Fabric多POD管理模型(云網(wǎng)一體化)FABRICFABRICPOD1POD2PODxPODyOpenStackOpenStackOpenStackOpenStackAC集群OpenStack3rd
管理平臺(tái)/ManageOneSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchs方案一方案二被級(jí)聯(lián)OpenStack被級(jí)聯(lián)OpenStack被級(jí)聯(lián)OpenStack被級(jí)聯(lián)OpenStackAC集群ManageOneSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsAC集群(備)AC集群(備)級(jí)聯(lián)FusionSphere集群?jiǎn)蜠C:多Fabric多POD管理模型(網(wǎng)絡(luò)虛擬化)FABRICFABRICPOD1POD2PODxPODyvCentervCentervCentervCenterAC集群3rd
管理平臺(tái)SwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchs方案一方案二vCentervCentervCentervCenterAC集群3rd
管理平臺(tái)SwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsPSCAC集群(備)AC集群(備)多DC(Site)企業(yè)私有云:多Fabric網(wǎng)絡(luò)模型InternetFabricFabricFabricDC2(備)AZDC3(主/災(zāi)備)FabricFabric私網(wǎng)同城(Region1)異地(Region2)DC1(主)AZAZAZVPCVPCVPCVPCAZAZL3互通三層互通三層互通主備/多活出口三層互通多DC(Site)企業(yè)私有云:多Fabric管理模型(云網(wǎng)一體化)Region2Region1DC1DC2DC3OpenStackOpenStackAC集群OpenStack3rd
管理平臺(tái)SwitchsSwitchsSwitchsSwitchsSwitchsSwitchs方案一方案二被級(jí)聯(lián)OpenStack被級(jí)聯(lián)OpenStack被級(jí)聯(lián)OpenStackAC集群ManageOneSwitchsSwitchsSwitchsSwitchsSwitchsSwitchs級(jí)聯(lián)FusionSphere集群AC集群(備)AC集群(備)級(jí)聯(lián)FusionSphere集群AC集群AC集群多DC(Site)企業(yè)私有云:多Fabric管理模型(網(wǎng)絡(luò)虛擬化)(1)Region2Region1DC1DC2PODyvCentervCentervCenterAC集群3rd
管理平臺(tái)SwitchsSwitchsSwitchsSwitchsSwitchsSwitchs方案一方案二vCentervCentervCenter3rd
管理平臺(tái)SwitchsSwitchsSwitchsSwitchsSwitchsSwitchsPSCAC集群AC集群AC集群多DC(Site)企業(yè)私有云:多Fabric管理模型(網(wǎng)絡(luò)虛擬化)(2)Region2Region1DC1DC2PODyvCentervCentervCenter3rd
管理平臺(tái)SwitchsSwitchsSwitchsSwitchsSwitchsSwitchsPSCAC集群AC集群Super-AC3rd
管理平臺(tái)(備)PSC(備)Super-AC(備)方案三SuperAC多DC(Site)運(yùn)營(yíng)商:多Fabric物理模型RegionFabricFabricPODPODFabricPODFabricPODPOD地市-DC100+個(gè)省級(jí)-DC3~5個(gè)區(qū)縣Access-DCXXXX個(gè)災(zāi)備
(部分業(yè)務(wù))FabricInternetRegionPOD骨干網(wǎng)多DC(Site)運(yùn)營(yíng)商:業(yè)務(wù)分布-單DC內(nèi)云化業(yè)務(wù)與非云業(yè)務(wù)混合部署未來(lái)IDCEDC煙囪式的IT業(yè)務(wù)系統(tǒng)機(jī)房/機(jī)架租售基礎(chǔ)資源出租帶寬租售主機(jī)托管增值業(yè)務(wù)容災(zāi)備份防火墻域名注冊(cè)公有云服務(wù)IaaS/PaaS/SaaS:傳統(tǒng)IDC業(yè)務(wù)(機(jī)架出租)云服務(wù)轉(zhuǎn)型私有云:IT云網(wǎng)絡(luò)業(yè)務(wù)網(wǎng)元NFV電信云DCIOLT邊緣DC(vCPE/vEPC/L3CDN…)中心DC(vEPC/VAS/L2CDN…)承載網(wǎng)IP/MPLS骨干網(wǎng)MBH城域網(wǎng)DC化邊緣路由器中心DC(NFV)IDC(骨干DC)EDC(骨干DC)IDC(骨干DC)…大視頻-CDNCDN業(yè)務(wù)系統(tǒng)大視頻-IPTVIPTV業(yè)務(wù)系統(tǒng)315624管道自主界面編排、租戶網(wǎng)關(guān)路由對(duì)接時(shí)延要求、組播、路徑調(diào)優(yōu)、IPv6多業(yè)務(wù)承載融合(管道與業(yè)務(wù)解耦)彈性擴(kuò)展、路徑調(diào)優(yōu)、ZTPSR-IOV、路由服務(wù)對(duì)接、轉(zhuǎn)發(fā)性能、開(kāi)放接口、QOS開(kāi)放接口、Neutron插件可維護(hù)性混合/軟件Overlay多DC(Site)運(yùn)營(yíng)商:多Fabric-網(wǎng)絡(luò)模型RegionFabricFabricFabricFabric地市-DC100+個(gè)省級(jí)-DC3~5個(gè)區(qū)縣Access-DCXXXX個(gè)FabricInternetRegion骨干網(wǎng)VPC二三層互通VPC二三層互通VPC二三層互通三層互通三層互通三層互通三層互通二三層互通VPC二三層互通VPC三層互通三層互通多DC(Site)運(yùn)營(yíng)商:多Fabric-管理模型(通用)地市-DC100+個(gè)省級(jí)-DC3~5個(gè)區(qū)縣Access-DCXXXX個(gè)RegionSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsAC集群OpenStack
統(tǒng)一管理平臺(tái)OpenStackAC集群SwitchsSwitchsSwitchsSwitchsAC集群OpenStackSwitchsSwitchsAC集群OpenStackOpenStackAC集群SwitchsSwitchsMANOMANOMANOMANOMANO虛擬化業(yè)務(wù)云DC業(yè)務(wù)NFV業(yè)務(wù)多DC(Site)運(yùn)營(yíng)商:多Fabric-管理模型(Huawei級(jí)聯(lián))地市-DC100+個(gè)省級(jí)-DC3~5個(gè)區(qū)縣Access-DCXXXX個(gè)RegionSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchsSwitchs被級(jí)聯(lián)FS
統(tǒng)一管理平臺(tái)級(jí)聯(lián)FusionSphereAC集群SwitchsSwitchsSwitchsSwitchsSwitchsIES被級(jí)聯(lián)FSSwitchsSwitchs級(jí)聯(lián)FusionSphere(備)AC集群(備)IES(備)被級(jí)聯(lián)FS虛擬化業(yè)務(wù)云DC業(yè)務(wù)NFV業(yè)務(wù)多POD/多DC管理場(chǎng)景總結(jié)DC1DC2Region云網(wǎng)一體化網(wǎng)絡(luò)虛擬化異地DCAC1(主)AC1(備)OpenStack/FusionSphereOpenStack/FusionSphere統(tǒng)一管理平臺(tái)OpenStack/FusionSphereAC2(主)統(tǒng)一管理平臺(tái)AC1(主)AC1(備)vCentervCenterAC2vCenter統(tǒng)一管理平臺(tái)AC1AC2vCentervCenterAC3vCenter同城DC省市拉通統(tǒng)一管理平臺(tái)SuperACPSCDomainACDomainACvCentervCenterDomainACvCenter不支持多POD/DC場(chǎng)景、業(yè)務(wù)及管理規(guī)劃Region內(nèi)多Fabric/DC需求場(chǎng)景分析vDC主備容災(zāi)場(chǎng)景方案設(shè)計(jì)多DC互聯(lián)互通場(chǎng)景方案設(shè)計(jì)方案總結(jié)和案例介紹業(yè)務(wù)場(chǎng)景1-業(yè)務(wù)彈性擴(kuò)展(1)業(yè)務(wù)集群彈性擴(kuò)展集群節(jié)點(diǎn)1二層網(wǎng)絡(luò)心跳信息私網(wǎng)IP1公網(wǎng)IPn儲(chǔ)存網(wǎng)絡(luò)存儲(chǔ)資源存儲(chǔ)資源業(yè)務(wù)訪問(wèn)VIP主用數(shù)據(jù)中心A主用數(shù)據(jù)中心BVIP集群節(jié)點(diǎn)n……集群節(jié)點(diǎn)2集群節(jié)點(diǎn)3公網(wǎng)IP2公網(wǎng)IP3私網(wǎng)IP2私網(wǎng)IP3私網(wǎng)IPn公網(wǎng)IP1業(yè)務(wù)場(chǎng)景1-業(yè)務(wù)彈性擴(kuò)展(2)業(yè)務(wù)資源彈性擴(kuò)容IP網(wǎng)絡(luò)二層網(wǎng)絡(luò)業(yè)務(wù)AIPAn
訪問(wèn)業(yè)務(wù)A主用數(shù)據(jù)中心A主用數(shù)據(jù)中心BIPA2IPA3IPA1業(yè)務(wù)B業(yè)務(wù)C業(yè)務(wù)A網(wǎng)關(guān)IPA1IPB1IPB2IPC1IPC2業(yè)務(wù)場(chǎng)景2-IaaS層容災(zāi)、雙活(1)數(shù)據(jù)中心A數(shù)據(jù)中心B業(yè)務(wù)B業(yè)務(wù)C二層網(wǎng)絡(luò)業(yè)務(wù)A三層互通業(yè)務(wù)A出口業(yè)務(wù)B出口業(yè)務(wù)C出口集中出口業(yè)務(wù)A網(wǎng)關(guān)業(yè)務(wù)B網(wǎng)關(guān)業(yè)務(wù)C網(wǎng)關(guān)業(yè)務(wù)場(chǎng)景2-IaaS層容災(zāi)、雙活(2)數(shù)據(jù)中心A數(shù)據(jù)中心B業(yè)務(wù)B業(yè)務(wù)C二層網(wǎng)絡(luò)業(yè)務(wù)A三層互通業(yè)務(wù)A主出口業(yè)務(wù)B出口業(yè)務(wù)C備出口業(yè)務(wù)A備出口業(yè)務(wù)C主出口主備出口業(yè)務(wù)C網(wǎng)關(guān)業(yè)務(wù)B網(wǎng)關(guān)業(yè)務(wù)A主網(wǎng)關(guān)業(yè)務(wù)A備網(wǎng)關(guān)業(yè)務(wù)場(chǎng)景3-業(yè)務(wù)容災(zāi)、雙活(1)公網(wǎng)用戶ALocalDNS(ISPA)RootDNS訪問(wèn)
00(EIP1)數(shù)據(jù)中心A00(EIP2)數(shù)據(jù)中心B授權(quán)DNSInternetInternetISPA授權(quán)DNS公網(wǎng)用戶BLocalDNS(ISPB)訪問(wèn)
InternetISPBGSLB(授權(quán)DNS)?在00?在00在00在00.cn?查授權(quán)DNS.?查授權(quán)DNS?查授權(quán)DNS(GSLB)策略同步業(yè)務(wù)場(chǎng)景3-業(yè)務(wù)容災(zāi)、雙活(2)私網(wǎng)用戶ALocalDNS(園區(qū)A)訪問(wèn)
00(EIP1)數(shù)據(jù)中心A00(EIP2)數(shù)據(jù)中心B園區(qū)A私網(wǎng)用戶BLocalDNS(園區(qū)B)訪問(wèn)
GSLB(授權(quán)DNS)?在00?在00在00在00?查授權(quán)DNS(GSLB)園區(qū)B企業(yè)自建內(nèi)網(wǎng)RootDNS(通常在數(shù)據(jù)中心內(nèi))RTT=10msRTT=100msRTT=20msRTT=200ms策略同步業(yè)務(wù)場(chǎng)景4-業(yè)務(wù)容災(zāi)、雙活(2)業(yè)務(wù)AFW業(yè)務(wù)BFWDC1DC2業(yè)務(wù)AFW業(yè)務(wù)BDC1DC2業(yè)務(wù)A業(yè)務(wù)BDC1DC2業(yè)務(wù)A訪問(wèn)業(yè)務(wù)B兩邊過(guò)墻業(yè)務(wù)A訪問(wèn)業(yè)務(wù)B單邊過(guò)墻業(yè)務(wù)A訪問(wèn)業(yè)務(wù)B不過(guò)墻業(yè)務(wù)A出口業(yè)務(wù)AFW業(yè)務(wù)BDC1DC2外部網(wǎng)絡(luò)訪問(wèn)業(yè)務(wù)A:安全性要求等級(jí)高,需要經(jīng)過(guò)防火墻外部網(wǎng)絡(luò)訪問(wèn)業(yè)務(wù)B:安全要求等級(jí)低不需要經(jīng)過(guò)防火墻業(yè)務(wù)B出口跨DC網(wǎng)絡(luò)業(yè)務(wù)特性總結(jié)業(yè)務(wù)場(chǎng)景網(wǎng)絡(luò)需求描述業(yè)務(wù)擴(kuò)展跨DCVPC1.相同VPC內(nèi),不同DC的Subnet互通2.支持網(wǎng)關(guān)獨(dú)立部署和主備網(wǎng)關(guān)3.支持不同LogicRouter的Subnet有獨(dú)立出口和主備出口IaaS容災(zāi)業(yè)務(wù)雙活VPC集中出口1、VPC出口集中在一個(gè)DCVPC主備出口1、VPC出口主備分布在兩個(gè)DC2、支持FW策略同步,出口故障,業(yè)務(wù)自動(dòng)切換VPC雙活出口1、支持VPC業(yè)務(wù)雙活多出口,就近訪問(wèn)2、支持多DCFW策略及會(huì)話同步3、支持主機(jī)路由&網(wǎng)段路由自動(dòng)對(duì)外發(fā)布VPC互通VPCL2互通1.支持通過(guò)VPCL2Connection連通已經(jīng)存在的兩個(gè)LogicSwitchVPCL3互通1.支持通過(guò)VPCL3Connection連通已經(jīng)存在的兩個(gè)LogicRouter2.支持集中出口、主備出口3、支持靈活編排是否經(jīng)過(guò)FW互通多POD/DC場(chǎng)景、業(yè)務(wù)及管理規(guī)劃Region內(nèi)多Fabric/DC需求場(chǎng)景分析vDC主備容災(zāi)場(chǎng)景方案設(shè)計(jì)方案架構(gòu)部署方案設(shè)計(jì)故障倒換設(shè)計(jì)多DC互聯(lián)互通場(chǎng)景方案設(shè)計(jì)方案總結(jié)和案例介紹vDC主備容災(zāi)場(chǎng)景設(shè)計(jì)(Domain內(nèi)多Fabric主備)Fabric2Fabric1AC主AC備VXLAN主備出口分布式路由大二層VPC1Router業(yè)務(wù)模型SubnetLB管理控制層數(shù)據(jù)承載層仲裁服務(wù)OPSFS公網(wǎng)公共服務(wù)路由直通VPC1355462VMM業(yè)務(wù)管理平臺(tái)Domain11VPC27Network集中出口主備出口多活出口8部署架構(gòu)VXLANVXLANDC1DC2SpineLeafSpineLeafACAC(Active)(Standby)
云網(wǎng)一體化VXLANVXLANDC1DC2SpineLeafSpineLeafACAC管理平臺(tái)(Active)(Standby)網(wǎng)絡(luò)虛擬化轉(zhuǎn)發(fā)模型VPC集中出口主備出口FWDC1公網(wǎng)GWVMVM主備公網(wǎng)VMVMDC2FWGWVPCFWDC1外網(wǎng)GWVMVM主主外網(wǎng)VMVMDC2FWGWVPCDC1VMVM外網(wǎng)VMVMDC2FWGW主主多活出口路由直通路由直通路由直通路由直通路由直通管理面容災(zāi)云網(wǎng)一體化單AC集群ACOPSDC1DC2ManageOne或3rd
云管理網(wǎng)絡(luò)虛擬化單AC集群DC1DC2云網(wǎng)一體化主備AC集群AC主DC1DC2ManageOne或3rd
云管理網(wǎng)絡(luò)虛擬化主備AC集群AC備OPSAC主VMM1DC1AC備DC23rd
管理ACVMM1VMM2VMM2仲裁仲裁AC容災(zāi)切換DC1DC2AC主AC備數(shù)據(jù)同步仲裁仲裁仲裁主備心跳超時(shí)容災(zāi)仲裁處理備集群數(shù)據(jù)庫(kù)升主備集群業(yè)務(wù)模塊升主業(yè)務(wù)模塊對(duì)賬新主集群納管轉(zhuǎn)發(fā)器AC主備集群切換流程:VPC跨FabricVXLANVXLANFabric1Fabric2SpineLeafSpineLeafVPCFabric1VMVMVMVMFabric2FWGWVPCFabric1VMVMVMVMFabric2FWGWDVRDVR集中式VXLAN分布式VXLAN多Fabric端到端VXLANVPC跨FabricVPC跨Fabric(1)CEGWVRFBDIF1VTEPTORTORVM/BML2L2VTEPVTEPVM/BMCEGWVRFVTEPTORTORVM/BMDVRDVRVTEPVTEPVM/BMBDIF1BDIF1NetworkOverlay集中式組網(wǎng)NetworkOverlay分布式組網(wǎng)VPC跨Fabric(2)CEGWVRFVTEPTORvSwitchVM/BMDVRDVRVTEPVTEPVM/BMBDIF1BDIF1vFWGWVRFVTEPvSwitchvSwitchVM/BMDVRDVRVTEPVTEPVM/BMBDIF1BDIF1HybridOverlay分布式組網(wǎng)HostOverlay分布式組網(wǎng)跨FabricVPC出口集中出口VPCFabric1VMVM外網(wǎng)VMVMFabric2FWGW外網(wǎng)出口由一個(gè)Fabric提供多Fabric共享VPC主備出口FWFabric1外網(wǎng)GWVMVM主備外網(wǎng)VMVMFabric2FWGW每個(gè)Fabric都有外網(wǎng)出口主備關(guān)系多Fabric共享VPCFWFabric1外網(wǎng)GWVMVM主主外網(wǎng)VMVMFabric2FWGW主主多活出口每個(gè)Fabric都有外網(wǎng)出口多活關(guān)系多Fabric共享子場(chǎng)景NetworkOverlay集中式NetworkOverlay分布式HybridOverlay分布式HostOverlay分布式集中出口√√ⅩⅩ主備出口√√ⅩⅩ多活出口ⅩⅩⅩⅩ集中出口集中出口VPCDC1VMVM外網(wǎng)VMVMDC2FWGW路由直通集中出口VPCDC1VMVM外網(wǎng)VMVMDC2FWGW路由直通DVRDVRACOPSDC1DC2ManageOne或3rd
云管理ACvCenterDC1DC2云網(wǎng)一體化網(wǎng)絡(luò)虛擬化集中式VXLAN分布式VXLAN部署架構(gòu)轉(zhuǎn)發(fā)模型主備出口轉(zhuǎn)發(fā)模型VPC主備出口FWDC1GWVMVM主備VMVMDC2FWGWVPC主備出口FWDC1GWVMVM主備VMVMDC2FWGWDVRDVR集中式VXLAN分布式VXLAN云網(wǎng)一體化網(wǎng)絡(luò)虛擬化部署架構(gòu)AC主DC1DC2ManageOne或3rd
云管理AC備OPSAC主vCenterDC1AC備DC23rd
管理第三方仲裁第三方仲裁公網(wǎng)公網(wǎng)路由直通路由直通公網(wǎng)公網(wǎng)路由直通路由直通VPC出口跨Fabric主備N(xiāo)etworkOverlay分布式組網(wǎng)VPC主備出口FWFabric1外網(wǎng)GWVMVM主備外網(wǎng)VMVMFabric2FWGWFabric1Fabric2DVR-1VMVRF-1.2vSys-1.2vSys-AGW備備FW公網(wǎng)DVR-1VMVRF-1.1vSys-1.1vSys-AGW主主FW公網(wǎng)vBDIFvBDIF業(yè)務(wù)路由指向FW,高優(yōu)先級(jí)引入EVPN業(yè)務(wù)路由指向FW,低優(yōu)先級(jí)引入EVPNNetworkOverlay集中式組網(wǎng)BDVMVRF-1.2vSys-1.2vSys-AGW備備FW公網(wǎng)BDVMVRF-1.1vSys-1.1vSys-AGW主主FW公網(wǎng)VRRPvBDIFvBDIFFabric1Fabric2VPC內(nèi)FW跨Fabric主備SpineServiceleafServerleafServerleafFabric1Fabric2SpineServiceleafServerleafServerleafFW1鏡像主FW1鏡像備FW2鏡像主FW2鏡像備FW鏡像同步策略FW同步SessionFW鏡像同步策略FW同步SessionAC雙下策略12Fabric1Fabric2DVR-1VMVRF-1.2vSys-1.2vSys-AGW備備FW公網(wǎng)DVR-1VMVRF-1.1vSys-1.1vSys-AGW主主FW公網(wǎng)vBDIFvBDIF業(yè)務(wù)路由指向FW,高優(yōu)先級(jí)引入EVPN業(yè)務(wù)路由指向FW,低優(yōu)先級(jí)引入EVPNAC雙下配置雙下策略34VPC關(guān)聯(lián)多個(gè)外部網(wǎng)絡(luò)DVR-1VMDVR-1VMVRF-1.2vSys-1InternetvSys-BvSys-A核心2備備備vSys-Pub備DC2FW公網(wǎng)公共服務(wù)路由直通DVR-1VMDVR-1VMVRF-1.2vSys-1InternetvSys-BvSys-A核心1主主vSys-Pub主DC1FW公網(wǎng)公共服務(wù)路由直通VPC1管理分區(qū)VRF-Sec安全區(qū)zone堡壘機(jī)審計(jì)管理分區(qū)VRF-Sec安全區(qū)zone堡壘機(jī)審計(jì)主備專線專線VPC互通主備出口VPC互通業(yè)務(wù)模型VPC互通業(yè)務(wù)模型有FW單邊過(guò)FW無(wú)FWVPC2VPC1vRouter1vRouter1VPC2VPC1vRouter1vRouter1VPC2VPC1vRouter1vRouter2vFW2vFW1vFW1VPC1VPC1VRF1.1主FW1.1VRF2.2備VRF1.2備VRF2.1主FW1.2VPC1VPC1VRF1.1主FW1.1VRF2.2備FW2.2VRF1.2備VRF2.1主FW1.2VPC1VPC1VRF1.1主VRF2.2備VRF1.2備VRF2.1主Fabric1Fabric2Fabric1Fabric2Fabric1FW2.1Fabric2LB跨Fabric主備部署VXLAN出口網(wǎng)關(guān)VTEPLB(備)LB(主)VXLAN出口網(wǎng)關(guān)VTEPLB(備)LB(主)組1:Provide1組2:Provide2Fabric1Fabric2多POD/DC場(chǎng)景、業(yè)務(wù)及管理規(guī)劃Region內(nèi)多Fabric/DC需求場(chǎng)景分析vDC主備容災(zāi)場(chǎng)景方案設(shè)計(jì)方案架構(gòu)部署方案設(shè)計(jì)故障倒換設(shè)計(jì)多DC互聯(lián)互通場(chǎng)景方案設(shè)計(jì)方案總結(jié)和案例介紹基礎(chǔ)網(wǎng)絡(luò)設(shè)計(jì)PELBLBFWFWBorderLeafServerLeaf業(yè)務(wù)分區(qū)VTEPVTEP管理節(jié)點(diǎn)仲裁服務(wù)器PELBLBFWFWServerLeaf業(yè)務(wù)分區(qū)VTEPVTEP管理節(jié)點(diǎn)管理接入交換機(jī)管理核心交換機(jī)BorderLeafServer管理接入交換機(jī)Server管理分區(qū)管理分區(qū)DC1仲裁DCFWFW仲裁核心交換機(jī)SpineSpine管理核心交換機(jī)DC2存儲(chǔ)分區(qū)存儲(chǔ)分區(qū)存儲(chǔ)核心交換機(jī)存儲(chǔ)核心交換機(jī)管理業(yè)務(wù)存儲(chǔ)DC互聯(lián)網(wǎng)絡(luò)SLA的需求生產(chǎn)、同城DC互聯(lián)網(wǎng)絡(luò):總體要求:時(shí)延RTT<2ms;云平臺(tái)需要承載數(shù)據(jù)庫(kù)跨站點(diǎn)雙活業(yè)務(wù),則要求RTT<1ms;距離<100km;網(wǎng)絡(luò)無(wú)丟包,建議采用DWDM或裸光纖直連,支持FC鏈路互聯(lián)管理網(wǎng)絡(luò)平面帶寬要求:帶寬>1GE,建議配置10GE鏈路業(yè)務(wù)網(wǎng)絡(luò)平面業(yè)務(wù)網(wǎng)帶寬要求:建議與業(yè)務(wù)服務(wù)器網(wǎng)關(guān)的上行鏈路帶寬保持一致存儲(chǔ)網(wǎng)絡(luò)平面存儲(chǔ)網(wǎng)帶寬要求:大于容災(zāi)陣列的峰值IO,并且至少預(yù)留20%帶寬余量生產(chǎn)、同城與仲裁DC互聯(lián)網(wǎng)絡(luò):總體要求:1.時(shí)延:RTT<50ms;2.帶寬:>40Mbps;3.丟包率:<0.1%管理網(wǎng)設(shè)計(jì)管理節(jié)點(diǎn)仲裁服務(wù)器管理節(jié)點(diǎn)管理接入交換機(jī)管理核心交換機(jī)管理接入交換機(jī)管理區(qū)管理區(qū)DC1仲裁DCFWFW仲裁核心
交換機(jī)管理核心交換機(jī)DC2三層網(wǎng)關(guān)三層網(wǎng)關(guān)二層接入二層接入三層網(wǎng)關(guān)VRRP業(yè)務(wù)區(qū)Underlay網(wǎng)絡(luò)設(shè)計(jì)LBLBFWFWServerLeaf業(yè)務(wù)區(qū)LBLBFWBorderLeaf業(yè)務(wù)區(qū)ServerLeafCE128PEPEFWBorderLeafSpineSpineOSPFArea0OSPFArea0EBGP業(yè)務(wù)網(wǎng)絡(luò)路由設(shè)計(jì)LBLBFWFWServerLeaf業(yè)務(wù)區(qū)LBLBFWBorderLeaf業(yè)務(wù)區(qū)ServerLeafCE128PEPEFWBorderLeafSpineSpineBGPEVPNAS65001eBGP靜態(tài)BGPRRBGPclientBGPRRBGPclienteBGP靜態(tài)業(yè)務(wù)網(wǎng)絡(luò)-出口路由設(shè)計(jì)(BorderLeaf堆疊)路由設(shè)計(jì)手工配置外部網(wǎng)絡(luò)實(shí)例VRF與PE通過(guò)eBGP背靠背方式對(duì)接靜態(tài)路由引入eBGP向PE發(fā)布路由,通過(guò)路由策略設(shè)置優(yōu)先級(jí),同一Fabric的兩條鏈路的優(yōu)先級(jí)相同,主用Fabric優(yōu)先級(jí)高BGP路由優(yōu)先級(jí)屬性的選擇,需要與PE的運(yùn)營(yíng)商協(xié)商PE僅向DC網(wǎng)關(guān)發(fā)布默認(rèn)路由PE獨(dú)立部署B(yǎng)L堆疊VTEP111222PE獨(dú)立部署B(yǎng)L堆疊VTEP111222DC1/Fabric1DC2/Fabric2主備堆疊鏈路PeerLink鏈路1VLANIF接口1vBDIF接口1路由接口BGP動(dòng)態(tài)路由三層逃生鏈路PE獨(dú)立部署B(yǎng)L雙活VTEP11221212PE獨(dú)立部署B(yǎng)L雙活VTEP11221212DC1/Fabric1DC2/Fabric2主備業(yè)務(wù)網(wǎng)絡(luò)-出口路由設(shè)計(jì)(BorderLeaf雙活)路由設(shè)計(jì)手工配置外部網(wǎng)絡(luò)實(shí)例VRF與PE通過(guò)eBGP背靠背方式對(duì)接靜態(tài)路由引入eBGP向PE發(fā)布路由,通過(guò)路由策略設(shè)置優(yōu)先級(jí),同一Fabric的兩條鏈路的優(yōu)先級(jí)相同,主用Fabric優(yōu)先級(jí)高BGP路由優(yōu)先級(jí)屬性的選擇,需要與PE的運(yùn)營(yíng)商協(xié)商PE僅向DC網(wǎng)關(guān)發(fā)布默認(rèn)路由堆疊鏈路PeerLink鏈路1VLANIF接口1vBDIF接口1路由接口BGP動(dòng)態(tài)路由三層逃生鏈路業(yè)務(wù)路由模型-主備出口Out-VRFVRF-1.1vSys-1DVR-1VMVRF-PEDVR-1VMDVR-1VMPub-vSys核心1PEOut-VRFVRF-1.2vSys-1VRF-PEPub-vSys核心2PE主備主學(xué)習(xí)EVPN傳來(lái)的默認(rèn)路由(高指向核心1,低指向核心2)EVPNRTt/RD/VNI備默認(rèn)路由指向FW高優(yōu)先級(jí)引入EVPN業(yè)務(wù)路由指向根墻高優(yōu)先級(jí)引入外部BGP業(yè)務(wù)路由指向FW低優(yōu)先級(jí)引入外部BGP默認(rèn)路由指向FW低優(yōu)先級(jí)引入EVPNBGP學(xué)習(xí)低優(yōu)先級(jí)業(yè)務(wù)網(wǎng)段路由BGP學(xué)習(xí)高優(yōu)先級(jí)業(yè)務(wù)網(wǎng)段路由DC1DC2FWFW默認(rèn)路由指向根墻默認(rèn)路由指向Out-VRF業(yè)務(wù)路由指向業(yè)務(wù)vSYS業(yè)務(wù)路由指向業(yè)務(wù)VRF回程路由出DC路由BGP學(xué)習(xí)默認(rèn)路由業(yè)務(wù)路由模型-出口按VPC負(fù)載分擔(dān)Out-VRFVRF-1.1vSys-1DVR-1VMVRF-PEDVR-1VMDVR-1VMPub-vSys核心1PEOut-VRFVRF-1.2vSys-1VRF-PEPub-vSys核心2PE主備主學(xué)習(xí)EVPN傳來(lái)的默認(rèn)路由(高指向核心1,低指向核心2)EVPNRTt/RD/VNI備默認(rèn)路由指向FW高優(yōu)先級(jí)引入EVPN業(yè)務(wù)EIP/SNAT網(wǎng)段1路由指向根墻業(yè)務(wù)EIP/SNAT網(wǎng)段2路由指向根墻網(wǎng)段1高優(yōu)先級(jí)發(fā)布外部BGP網(wǎng)段2低優(yōu)先級(jí)發(fā)布外部BGPBGP學(xué)習(xí)業(yè)務(wù)網(wǎng)段路由攜帶高低優(yōu)先級(jí)DC1DC2FWFW默認(rèn)路由指向根墻默認(rèn)路由指向Out-VRF業(yè)務(wù)路由指向業(yè)務(wù)vSYSDVR-2VMDVR-2VM學(xué)習(xí)EVPN傳來(lái)的默認(rèn)路由(高指向核心2,低指向核心1)VRF-2.1VRF-2.2vSys-2vSys-2BGP學(xué)習(xí)業(yè)務(wù)網(wǎng)段路由攜帶高低優(yōu)先級(jí)默認(rèn)路由指向FW低優(yōu)先級(jí)引入EVPN業(yè)務(wù)EIP/SNAT網(wǎng)段1路由指向根墻業(yè)務(wù)EIP/SNAT網(wǎng)段2路由指向根墻網(wǎng)段1低優(yōu)先級(jí)發(fā)布外部BGP網(wǎng)段2高優(yōu)先級(jí)發(fā)布外部BGP默認(rèn)路由指向FW低優(yōu)先級(jí)引入EVPN默認(rèn)路由指向FW高優(yōu)先級(jí)引入EVPN多POD/DC場(chǎng)景、業(yè)務(wù)及管理規(guī)劃Region內(nèi)多Fabric/DC需求場(chǎng)景分析vDC主備容災(zāi)場(chǎng)景方案設(shè)計(jì)方案架構(gòu)部署方案設(shè)計(jì)故障倒換設(shè)計(jì)多DC互聯(lián)互通場(chǎng)景方案設(shè)計(jì)方案總結(jié)和案例介紹物理設(shè)備高可靠-避免單點(diǎn)故障服務(wù)器接入鏈路故障服務(wù)器雙歸接入(負(fù)載分擔(dān)/主備)接入鏈路故障,業(yè)務(wù)倒換到冗余/備份鏈路Serverleaf故障Serverleaf配置雙活接入Serverleaf故障,業(yè)務(wù)倒換到另外一臺(tái)Serverleaf上Serverleaf上行鏈路故障Serverleaf和Spine間多條鏈路實(shí)現(xiàn)ECMP上行鏈路故障后,業(yè)務(wù)倒換到冗余鏈路上BorderLeaf故障BorderLeaf配置雙活或堆疊LB和FW互聯(lián)故障Trunk成員口故障之后,業(yè)務(wù)不會(huì)中斷。單臺(tái)LB或FW互聯(lián)故障單臺(tái)LB或FW互聯(lián)故障,切換到備份LB或FWLBLBFWFWBorderLeafServerLeaf業(yè)務(wù)分區(qū)VTEPVTEPServerSpine123456故障切換-單DC斷電(1)VRF-OUT-AVRF1vSys1VRF1(DVR)INTVM1主出口VRF-OUT-A’VRF1’vSys1’VRF1(DVR)VM1’主FW備FWINT主備FW下發(fā)相同的配置備出口vSys-A’學(xué)習(xí)EVPN傳來(lái)的默認(rèn)路由(指向DC1的主用出口網(wǎng)關(guān))EVPNRTt/RD/VNI默認(rèn)路由指向業(yè)務(wù)vSYSvSys-A核心接入核心接入DC1DC20占位虛機(jī)主用虛機(jī)默認(rèn)路由訪問(wèn)外網(wǎng)過(guò)FW后訪問(wèn)外網(wǎng)默認(rèn)路由訪問(wèn)外網(wǎng)故障切換-單DC斷電(2)VRF-OUT-AVRF1vSys1VRF1(DVR)INTVM1主出口VRF-OUT-A’VRF1’vSys1’VRF1(DVR)VM1’主FW備FWINT主備FW下發(fā)相同的配置備出口vSys-A’學(xué)習(xí)EVPN傳來(lái)的默認(rèn)路由(指向DC2的備用出口網(wǎng)關(guān))EVPNRTt/RD/VNI默認(rèn)路由指向業(yè)務(wù)vSYSvSys-A核心接入核心接入DC1DC20主用虛機(jī)默認(rèn)路由訪問(wèn)外網(wǎng)默認(rèn)路由訪問(wèn)外網(wǎng)過(guò)FW后訪問(wèn)外網(wǎng)故障切換-出口區(qū)故障(1)VRF-OUT-AVRF1vSys1VRF1(DVR)INTVM1主出口VRF-OUT-A’VRF1’vSys1’VRF1(DVR)VM1’主FW備FWINT主備FW下發(fā)相同的配置備出口vSys-A’學(xué)習(xí)EVPN傳來(lái)的默認(rèn)路由(指向DC1的主用出口網(wǎng)關(guān))EVPNRTt/RD/VNI默認(rèn)路由指向業(yè)務(wù)vSYSvSys-A核心接入核心接入DC1DC2默認(rèn)路由訪問(wèn)外網(wǎng)過(guò)FW后訪問(wèn)外網(wǎng)默認(rèn)路由訪問(wèn)外網(wǎng)故障切換-出口區(qū)故障(2)VRF-OUT-AVRF1vSys1VRF1(DVR)INTVM1主出口VRF-OUT-A’VRF1’vSys1’VRF1(DVR)VM1’主FW備FWINT主備FW下發(fā)相同的配置備出口vSys-A’學(xué)習(xí)EVPN傳來(lái)的默認(rèn)路由(指向DC2的備用出口網(wǎng)關(guān))EVPNRTt/RD/VNI默認(rèn)路由指向業(yè)務(wù)vSYSvSys-A核心接入核心接入DC1DC2默認(rèn)路由訪問(wèn)外網(wǎng)默認(rèn)路由訪問(wèn)外網(wǎng)過(guò)FW后訪問(wèn)外網(wǎng)多POD/DC場(chǎng)景、業(yè)務(wù)及管理規(guī)劃Region內(nèi)多Fabric/DC需求場(chǎng)景分析vDC主備容災(zāi)場(chǎng)景方案設(shè)計(jì)多DC互聯(lián)互通場(chǎng)景方案設(shè)計(jì)方案總結(jié)和案例介紹DC間L2/L3互通場(chǎng)景整體架構(gòu)控制面L2/L3
VXLANSDN控制器1SDN控制器nleafleafDCI網(wǎng)關(guān)DCI網(wǎng)關(guān)L2/L3
VXLAN隧道OpenStack1轉(zhuǎn)發(fā)面BGPEVPNEBGP-EVPNL2/L3
VXLANOpenStackn云管理平臺(tái)BGPEVPN組網(wǎng)設(shè)計(jì)PEPEDataCenter2DCI-GWVTEPVTEPVTEPDCI-GWVTEPVTEPVTEPDataCenter1BGPEVPNWANDCICoreOptioin1Optioin3Optioin2BorderLeafBorderLeafDC間L2/L3互通-組網(wǎng)場(chǎng)景ServerLeaf組網(wǎng)場(chǎng)景1:DCI-Leaf堆疊,與BorderLeaf分設(shè)DCI-GWVTEPBorderLeafVTEPVTEPVTEP跨板TrunkFWLB組網(wǎng)場(chǎng)景2:DCI-Leaf堆疊,與BorderLeaf合設(shè)VTEPVTEPVTEPServerLeaf跨板TrunkFWLBServerLeaf組網(wǎng)場(chǎng)景3:DCI-Leaf雙活,與BorderLeaf分設(shè)DCI-GWVTEPBorderLeafVTEPVTEPVTEPM-LAGFWLB組網(wǎng)場(chǎng)景4:DCI-Leaf雙活,與BorderLeaf合設(shè)VTEPVTEPVTEPServerLeafM-LAGFWLB基于BGPEVPN的DCI控制面VXLAN隧道VXLANVTEP1VTEP2VTEP3AS65000RRIBGPVXLANVTEP6VTEP7VTEP8AS65001RRIBGPEBGP
EVPNIP承載網(wǎng)VTEP4VTEP5DCIGW1DCIGW2VXLAN隧道VXLAN隧道VTEPVTEPVTEPVTEPVRF1VNI10000VRF2VNI20000L3互聯(lián)VNI90000BD1VNI1000BD2VNI2000L2互聯(lián)VNI9000VXLANmappingBGPEVPNVXLAN隧道DCI場(chǎng)景業(yè)務(wù)模型Fabric2Fabric1VXLANNetworkOverlay分布式組網(wǎng)VPC2LBRouterVPC1RouterL3ConnectionL2Connection業(yè)務(wù)模型SubnetSubnetLB數(shù)據(jù)承載層L2互聯(lián)L3互聯(lián)VXLANVXLANDC間L2/L3互通DC間L2互通VXLANmappingVRF1Port+VLANBMVMPortBDL2VNIBDIFL3VNIVRF2Port+VLANBMVMPortBDL2VNIL3VNIVRF1BDL2VNIBDIFL3VNIvFW1vLB1PublicVRFVRF2BDL2VNIL3VNIvFW2vLB2PublicVRF互通L3VNI互通L3VNIBDIFVLANVLANVLANVLANL2VNIDCIL2VNIDCIBDIFSDNGWTORSDNGWTORVRF1BDL2VNIBDIFL3VNIPublicVRF互通L3VNIL2VNIDCISDNGWPeerLinkM-LAGDC間L3VXLAN互通-過(guò)防火墻VRF1Port+VLANBMVMPortBDL2VNIBDIF(ARP代答)L3VN
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 高三試卷:百師聯(lián)盟2025屆高三年級(jí)一輪復(fù)習(xí)(二)數(shù)學(xué)答案
- 內(nèi)部審計(jì)競(jìng)聘筆試題目及答案
- 歷年教師資格證考試試題及答案
- 2025年檢驗(yàn)師資格試題及答案
- 春天的故事作文800字(8篇)
- 經(jīng)濟(jì)法高頻易錯(cuò)考點(diǎn)
- 物業(yè)服務(wù)管理協(xié)議及責(zé)任說(shuō)明
- 寫(xiě)景作文玩雪200字11篇
- 金融必考十二個(gè)知識(shí)點(diǎn)
- 計(jì)量經(jīng)濟(jì)學(xué)必考知識(shí)點(diǎn)
- 護(hù)理評(píng)判性思維課件
- T/SHPTA 102-2024聚四氟乙烯內(nèi)襯儲(chǔ)罐技術(shù)要求
- 好朋友友誼協(xié)議書(shū)
- 重癥醫(yī)學(xué)科健康宣教手冊(cè)
- 靈活用工合同協(xié)議書(shū)
- 全球及中國(guó)PCB檢測(cè)設(shè)備行業(yè)市場(chǎng)發(fā)展現(xiàn)狀及發(fā)展前景研究報(bào)告2025-2028版
- 《移步換景 別有洞天─中國(guó)古典園林欣賞》教學(xué)課件-2024-2025學(xué)年人教版初中美術(shù)八年級(jí)下冊(cè)
- 2025年重慶物流集團(tuán)渝地綠能科技有限公司招聘筆試參考題庫(kù)含答案解析
- 浙江省自然資源領(lǐng)域生態(tài)產(chǎn)品價(jià)值實(shí)現(xiàn)典型案例(第一批)
- 彩票店管理制度
- 加油站股制合同標(biāo)準(zhǔn)文本
評(píng)論
0/150
提交評(píng)論