火山引擎HTTPDNS邊緣云原生技術(shù)實踐2025目錄0401

緣起-為何擁抱邊緣云03

實踐-千萬QPS服務(wù)工程實踐總結(jié)與展望02

挑戰(zhàn)-邊緣云原生落地的困難簡介

千萬QPS、億級連接抖音、頭條、番茄小說等20%性能↑，35%成本↓服務(wù)遷移到火山引擎邊緣云云邊端全鏈路流量調(diào)度主要內(nèi)容團隊介紹?抖音、飛書、豆包、CDN、IaaS等移動端、公網(wǎng)私網(wǎng)解析調(diào)度服務(wù)基建API訪問、點播以及直播等場景火山引擎基礎(chǔ)設(shè)施--云解析和云調(diào)度服務(wù)集團業(yè)務(wù)?移動解析(HTTPDNS)公共解析（PubDNS）云調(diào)度(GTM)火山引擎TrafficRoute

DNS套件??云解析（DNS）Private

Zone一個“長期基于云”的HTTPDNS服務(wù)為何要做“邊緣云原生”改造？緣起業(yè)務(wù)驅(qū)動架構(gòu)改造火山引擎邊緣云生態(tài)建設(shè)為HTTPDNS創(chuàng)造新機遇外部驅(qū)動（抖音、頭條）來自集團業(yè)務(wù)的訴求HTTPDNS流量大、成本高，更便宜的解析服務(wù)通過壓榨解析時延換取業(yè)務(wù)收益內(nèi)部痛點針對性能與成本優(yōu)化的技術(shù)空間Anycast價格貴、性能不及預(yù)期現(xiàn)有架構(gòu)（云中心）較成熟、難優(yōu)化全域覆蓋充分利用廣泛覆蓋的網(wǎng)絡(luò)和計算節(jié)點讓連接與計算無處不在高效連接統(tǒng)一的云原生平臺讓邊緣網(wǎng)絡(luò)與IT應(yīng)用無縫銜接，高效協(xié)同海量算力提供豐富的邊緣云資源為海量應(yīng)用提供無限算力支撐泛互聯(lián)網(wǎng)汽車行業(yè)媒體行業(yè)游戲行業(yè)金融行業(yè)VR/AR游戲加速輔助駕駛車聯(lián)網(wǎng)影視渲染數(shù)字人電子發(fā)票

分布式計算電商零售媒資信息實時音視頻視頻直播影視娛樂移動終端在線教育邊緣云原生改造的機遇與風險邊緣計算云計算新范式，在邊緣提供服務(wù)降低延遲、減輕鏈路負擔、提高質(zhì)量發(fā)展驅(qū)動力提升用戶體驗，滿足對低延遲、高帶寬和數(shù)據(jù)實時處理需求業(yè)務(wù)擴張需求，接入設(shè)備規(guī)?？焖僭鲩L熱點領(lǐng)域在物聯(lián)網(wǎng)、5G和人工智能領(lǐng)域被廣泛關(guān)注在智能應(yīng)用、工業(yè)互聯(lián)場景方面比云計算有優(yōu)勢，實現(xiàn)產(chǎn)業(yè)數(shù)字化賦能的價值資源受限離散的節(jié)點分布異構(gòu)的資源和組件提供能力基礎(chǔ)設(shè)施相對云中心不完善穩(wěn)定性欠缺不定期的機房割接、裁撤服務(wù)可用性等級略低于云中心運維難度變高收益難評估項目周期長架構(gòu)改造大運維體系重建設(shè)技術(shù)轉(zhuǎn)化為業(yè)務(wù)價值核心挑戰(zhàn)：穩(wěn)定性核心需求：性能和成本工程：可控的穩(wěn)定性風險換收益技術(shù)：架構(gòu)升級、運維自動化換穩(wěn)定性字節(jié)集團千萬QPS底座服務(wù)邊緣云原生改造所面臨的風險和困難挑戰(zhàn)大流量“底座”改造難在哪架構(gòu)“成熟”體系“完善”業(yè)務(wù)“敏感”高度依賴云組件，服務(wù)發(fā)現(xiàn)、Redis、日志系統(tǒng)、可觀測核心組件深度優(yōu)化，四七層負載均衡協(xié)議、性能優(yōu)化軟件發(fā)布系統(tǒng)運維故障容災(zāi)邊緣架構(gòu)重新建設(shè)監(jiān)控告警日志分析HTTPDNS故障影響面大抖音啟動卡頓直播推拉流變慢點播CDN調(diào)度不準邊緣云原生改造的挑戰(zhàn)是什么最優(yōu)部署千萬QPS、億級連接、流量分布不均最優(yōu)部署資源需求嚴苛運維復(fù)雜度分布式系統(tǒng)控制面重構(gòu)、節(jié)點數(shù)量多公網(wǎng)安全風險高、可觀測重建熱點區(qū)域資源不足、采購交付慢、基礎(chǔ)組件部署驗證周期長快速交付節(jié)點容量（5w～50w

QPS）、多服務(wù)共享

50+接入節(jié)點、運營商跨省限流流量精準調(diào)度可行性論證：服務(wù)特征&架構(gòu)優(yōu)勢服務(wù)特性無狀態(tài)、可緩存可充分利用“邊緣就近&分布式”配置編排利用邊緣云原生操作系統(tǒng)云邊通道、容器化編排能力現(xiàn)有架構(gòu)的優(yōu)勢容器化部署架構(gòu)分層、逐步下沉跨服務(wù)通信機制完善端容災(zāi)健全、降低改造風險資源抽象服務(wù)抽象資源編排服務(wù)編排協(xié)同處理資源維度服務(wù)維度統(tǒng)一納管統(tǒng)一調(diào)度統(tǒng)一運維池化資源靈活編排分層管控客戶端SDK中心云部署模式緩存層集群遞歸層集群LB服務(wù)發(fā)現(xiàn)容

容器

器VM容

容器

器VM容

容器

器VM容

容器

器VMWRR/一致性HASH風險應(yīng)對：敏捷式工程實踐業(yè)務(wù)需求明確STACEY矩陣-確定工程復(fù)雜度類型為何要降本？億級用戶、高成本、基礎(chǔ)服務(wù)抖音還要什么？網(wǎng)絡(luò)體驗優(yōu)化（DNS時延）服務(wù)難部署流量難調(diào)度邊緣基建，迭代快邊緣異構(gòu)，標準未統(tǒng)一資源受限，負載易跑超技術(shù)上不確定結(jié)論模糊型項目->敏捷型：MVP快速驗證行業(yè)參考：海外DNS產(chǎn)品邊緣化案例可借鑒的技術(shù)案例Akamai

Edge

DNS Cloudfare

DNS廠商-產(chǎn)品性能可借鑒優(yōu)勢Akamai-Edge

DNS一句話“強調(diào)調(diào)度和容災(zāi)，盡可能利用邊緣的優(yōu)勢”快速故障容災(zāi)：內(nèi)部pop點間骨干網(wǎng)的快速路由收斂tow-tier遞歸：Anycast接入的中心調(diào)度能力+邊緣節(jié)點name

server的低延時多云集群+租戶資源“隔離”+高可靠容災(zāi)調(diào)度Cloudflare-DNS一句話“很傳統(tǒng)、很安全，網(wǎng)絡(luò)基礎(chǔ)設(shè)施強大”超大業(yè)務(wù)規(guī)模的背景下，全球數(shù)據(jù)同步，秒級；調(diào)度API生效，毫秒級；業(yè)務(wù)規(guī)模極大場景下的性能優(yōu)化路徑&安全設(shè)計用技術(shù)克服挑戰(zhàn)、榨取性能/成本價值，實現(xiàn)抖音“無感”的邊緣化架構(gòu)遷移實踐實踐回顧-1：敏捷式交付MVP版本：AB實驗，收益分析持續(xù)交付：回源QOS，割接聯(lián)動架構(gòu)迭代：多級容災(zāi)，無損升級流量調(diào)度：時延最優(yōu)，容量反饋030402一個地區(qū)「西南」地區(qū)偏遠、弱網(wǎng)區(qū)域區(qū)域內(nèi)容災(zāi)互備01一個省「貴州」AB實驗架構(gòu)驗證收益估算（性能、成本）云邊共存云中心三機房：a

nyc

as

t邊緣50+節(jié)點：IP接入灰度覆蓋范圍西南→西北→東北→華中容災(zāi)自動化、運維效率中心云邊緣云原架構(gòu)緩存層遞歸層控制面緩存下沉緩存層遞歸層控制面新架構(gòu)緩存層遞歸層控制面遞歸層緩存層緩存層實踐回顧-2：演進式架構(gòu)1.0單體服務(wù)短平快適應(yīng)業(yè)務(wù)高速發(fā)展期2.0架構(gòu)分層??接入、協(xié)議、緩存、遞歸分離「無狀態(tài)」「有狀態(tài)」3.0邊緣云原生??下沉「無狀態(tài)」貼近用戶發(fā)揮計算、帶寬成本優(yōu)勢3.x云邊共存資源統(tǒng)一調(diào)度多產(chǎn)品技術(shù)棧融合核心問題-1：流量與資源的沖突不同省份、運營商接入質(zhì)量參差不齊偏遠地區(qū)、服務(wù)性能差、但用戶少邊緣下沉覆蓋各省用戶排期核心問題-2：性能與穩(wěn)定性的沖突?割接、故障越頻繁，故障容災(zāi)能力要加強運維更復(fù)雜，自動化管控能力要提升流量調(diào)度需要更精準??機房容量很小，流量流入需要嚴格控制更精細的“就近“接入流量波動帶來的風險更大潮汐、突發(fā)熱點、節(jié)日與活動特征顯著，但預(yù)測難，人工運維不現(xiàn)實邊緣異構(gòu)容量暴露風險更顯著離用戶越近、節(jié)點數(shù)越多，網(wǎng)絡(luò)性能越好節(jié)點越多方案路徑：人工規(guī)劃、智能調(diào)度、強化學習現(xiàn)在前期未來文檔->平臺平臺->模型規(guī)劃模式人工規(guī)劃用流量確定節(jié)點調(diào)度模式GT

M調(diào)度策略節(jié)點確定流量分配強化學習F

i

n

Op

s&強化學習撥測、節(jié)點池、評分智能調(diào)度：平衡容量、性能和可靠性流量與資源沖突邊緣節(jié)點應(yīng)用盡用全局時延最低（全局質(zhì)量地圖）性能與穩(wěn)定性的沖突GTM負載反饋調(diào)度，確保容量安全服務(wù)質(zhì)量探測，實現(xiàn)分鐘級故障逃逸云邊共存，突發(fā)流量預(yù)警、調(diào)度到中心云邊端全鏈路流量調(diào)度?調(diào)度能力分布式撥測、服務(wù)狀態(tài)反饋割接聯(lián)動、自動容災(zāi)????總耗時：晚高峰5.9%↓負載波動：標準差5%→1%流量分布：命中率2%↑，回源量20%↓立體式調(diào)度客戶端接入（端到邊）：容量反饋模式服務(wù)端互訪（邊到云）：性能優(yōu)先模式系統(tǒng)提升新建連：成功率1.7%↑軟件和系統(tǒng)架構(gòu)優(yōu)化軟件架構(gòu)系統(tǒng)架構(gòu)???控制面：高可靠分布式2秒全網(wǎng)同步數(shù)據(jù)面：水位波動1分鐘感知95%主動遷移業(yè)務(wù)側(cè)：邊緣云組件聯(lián)動升級時業(yè)務(wù)無感知???鏈路容災(zāi)：客戶端側(cè)、鏈路側(cè)、服務(wù)側(cè)，多級容災(zāi)資源彈性：數(shù)據(jù)面任意節(jié)點可插拔，強自愈架構(gòu)

綜合調(diào)度：云邊端全鏈路容量、質(zhì)量感知發(fā)現(xiàn)的新問題LocalDNS調(diào)度僅支持地理位置和權(quán)重?放大域內(nèi)機房流量抖動大云端調(diào)度優(yōu)勢設(shè)備粒度的調(diào)度接入節(jié)點動態(tài)分配多協(xié)議（53\DoH\HTTP）端數(shù)據(jù)質(zhì)量調(diào)度輕量Anycast接入方案總結(jié)與展望項目整體收益?成本優(yōu)化單位成本：35%↓??撥測對比解析時延：20%↓性能：國內(nèi)TOP梯隊??抖音AB實驗總耗時：avg

20%↓、P95

12%↓TTFB：avg

35%↓、P95

30%↓移動解析HTTPDNS收益來源成本收益歸因資源中心邊緣原因說明網(wǎng)絡(luò)帶寬10.2中心BGP多線帶寬，邊緣機房為地區(qū)運營商單線帶寬四七層負載均衡10.3四七層負載均衡服務(wù)使用服務(wù)器部署自研軟件，邊緣計算資源單價便宜。分布式多節(jié)點接入的流量，在單個機房流量特征更簡單，單CPU核心性能更好。計算資源10.6流量&架構(gòu)導(dǎo)致邊緣節(jié)點單核性能更好中心部署負載均負衡載資均衡源資計源算資源計帶算寬資資源源其帶他寬資資源源其他資源邊緣部署負載均負衡載資均衡源資計源算資源計帶算寬資資源源其帶他寬資資源源其他資源成本構(gòu)成逐步遷移集團內(nèi)部業(yè)務(wù)抖音 番茄小說今日頭條 西瓜視頻火山引擎外部客戶A

BC

D通過云調(diào)度GTM獲得的收益降低耗時機房水平故障感知自動容災(zāi)運維復(fù)雜度指標類型指標收益總結(jié)時延平均時延5.01%↓（-11ms）性能成功率持平整體延時優(yōu)化5%流量調(diào)度漂移減少15%TTFB平均TTFB

4.1%↓（-3.5ms）流量波動cpu波動標準差：5%->1%，80%↓自動容災(zāi)100%容災(zāi)故障感知60s智能解析線路級故障感知60秒自動容災(zāi)收斂時長3min

90%+收斂帶寬成本回源帶寬15%↓成本運維成本易用：基于容量&性能矩陣均勻分流，僅需維護機房容量。好用：火山控制臺一鍵調(diào)度策略計算，調(diào)度結(jié)果可視化。故障自動調(diào)度，裁撤一鍵流量重分配。復(fù)雜場景支持：新建機房快速接入調(diào)度，大面積故障容災(zāi)自動化。運維：配置、切流管理，完全自動托管容災(zāi)：預(yù)案模式10min到自動容災(zāi)

1min資源成本：cpu冗余量20%↓一些工程思考調(diào)研可行性評估風險收益工程質(zhì)量效率技術(shù)創(chuàng)新創(chuàng)造21%23.50%26.40%9%10.20%9.90%性能 成本 穩(wěn)定性 技術(shù)創(chuàng)新 運維復(fù)雜度 系統(tǒng)架構(gòu)42.10%33.50%9.30%15%軟件功能