新浪微博穩(wěn)定性經(jīng)驗(yàn)談洪小軍

@XiaoJunHong邀請嘉賓：唐福林@唐福林新浪微博@微博平臺架構(gòu)新浪微博穩(wěn)定性經(jīng)驗(yàn)談什么是穩(wěn)定的系統(tǒng)？少出問題快速解決清楚系統(tǒng)健康狀況趨勢新浪微博穩(wěn)定性經(jīng)驗(yàn)談影響穩(wěn)定性的因素依賴的資源、服務(wù)異常網(wǎng)絡(luò)、硬件故障流量突增代碼bug各種“坑”…….新浪微博穩(wěn)定性經(jīng)驗(yàn)談存在不可避免的影響穩(wěn)定性的因素，但是又需要保證系統(tǒng)的穩(wěn)定性，怎么做到？新浪微博穩(wěn)定性經(jīng)驗(yàn)談構(gòu)建穩(wěn)定的系統(tǒng)？少出問題：DesignForFailure快速解決清楚系統(tǒng)健康狀況趨勢新浪微博穩(wěn)定性經(jīng)驗(yàn)談DesignForFailure分層隔離（分離核心和非核心接口、服務(wù)化等）SLA保證（資源、服務(wù)等各層面保證）保證代碼質(zhì)量（最佳設(shè)計(jì)模式、測試、CodeReview）容災(zāi)設(shè)計(jì)（多IDC、多點(diǎn)部署）容量規(guī)劃（保持一定富余）完善的監(jiān)控報警機(jī)制（異常監(jiān)測及其流量增長預(yù)警等）灰度發(fā)布……新浪微博穩(wěn)定性經(jīng)驗(yàn)談分層隔離–分層模型waDNS七層（Nginx、Varnish…）應(yīng)用層（Tomcat、Jetty…）服務(wù)層中間件資源層（Cache、Storage…）新浪微博穩(wěn)定性經(jīng)驗(yàn)談分層隔離–隔離目標(biāo)和原則保證異常出現(xiàn)時影響范圍可控按主要接入方隔離按業(yè)務(wù)隔離按功能核心程度隔離新浪微博穩(wěn)定性經(jīng)驗(yàn)談分層隔離–隔離方式物理隔離|邏輯隔離讀寫隔離DNS七層應(yīng)用層服務(wù)層|中間件資源層隔離成本低中中中高新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證服務(wù)提供方：服務(wù)對外的SLA承諾服務(wù)消費(fèi)方：對依賴資源或服務(wù)的SLA要求新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證–超時控制依賴的資源或服務(wù)超時控制異步調(diào)用超時控制新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證–謹(jǐn)慎重試異常場景下重試可能導(dǎo)致系統(tǒng)持續(xù)惡化對于寫入場景存在數(shù)據(jù)重入風(fēng)險新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證–容量規(guī)劃每季度至少一次例行性評估重大活動前容量評估監(jiān)控系統(tǒng)黃色預(yù)警日常30%以上冗余資源或系統(tǒng)架構(gòu)調(diào)整時需要重點(diǎn)關(guān)注新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證–

Failover策略服務(wù)降級：保核心功能快速失?。罕ＷC不卡死流量限制：保正常請求新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證超時控制謹(jǐn)慎重試容量規(guī)劃Failover策略新浪微博穩(wěn)定性經(jīng)驗(yàn)談不能保證系統(tǒng)方方面面都能自動Failover，但是又需要保證系統(tǒng)的穩(wěn)定性，怎么做到？新浪微博穩(wěn)定性經(jīng)驗(yàn)談構(gòu)建穩(wěn)定的系統(tǒng)？少出問題：DesignForFailure快速解決：容災(zāi)預(yù)案清楚系統(tǒng)健康狀況趨勢新浪微博穩(wěn)定性經(jīng)驗(yàn)談容災(zāi)預(yù)案IDC容災(zāi)（切換到其它IDC）限流（拒絕超出或異常的請求）降級（降級有問題資源、保核心功能）緊急快速擴(kuò)容……新浪微博穩(wěn)定性經(jīng)驗(yàn)談所做這些都是有效的嗎？是否有遺漏？在測試環(huán)境下已經(jīng)做了充分測試！線上呢？等待異常出現(xiàn)時來驗(yàn)證系統(tǒng)是否經(jīng)得起考驗(yàn)？OR新浪微博穩(wěn)定性經(jīng)驗(yàn)談在線容災(zāi)演練–Touchstone系統(tǒng)確認(rèn)碰撞時安全氣囊是否開啟（DesignForFailure）事后有應(yīng)對措施（容災(zāi)預(yù)案）保證影響在預(yù)期可控的范圍之內(nèi)！新浪微博穩(wěn)定性經(jīng)驗(yàn)談構(gòu)建穩(wěn)定的系統(tǒng)？少出問題：DesignForFailure快速解決：容災(zāi)預(yù)案清楚系統(tǒng)健康狀況趨勢：在線容災(zāi)演練新浪微博穩(wěn)定性經(jīng)驗(yàn)談Touchstone系統(tǒng)介紹引流線上真實(shí)流量異常場景搭建和模擬容災(zāi)預(yù)案預(yù)演驗(yàn)證系統(tǒng)運(yùn)行穩(wěn)定性狀況ResourceServerClient新浪微博穩(wěn)定性經(jīng)驗(yàn)談引流線上真實(shí)流量通過tcpcopy引流線上真實(shí)流量到演練服務(wù)器圖片來源：tcpcopy官方文檔新浪微博穩(wěn)定性經(jīng)驗(yàn)談異常場景搭建和模擬資源提供方搭建真實(shí)異常場景使用linuxtc模擬依賴資源和服務(wù)異常場景接口字節(jié)碼形式注入sleep代碼模擬接口慢的場景ResourceServerClient123新浪微博穩(wěn)定性經(jīng)驗(yàn)談容災(zāi)預(yù)案預(yù)演模擬異常的場景運(yùn)維人員做相應(yīng)預(yù)案操作驗(yàn)證系統(tǒng)運(yùn)行穩(wěn)定性狀況新浪微博穩(wěn)定性經(jīng)驗(yàn)談怎么判斷系統(tǒng)是穩(wěn)定的？接口層面分析返回碼中4xx、5xx等比例響應(yīng)時間是否在正常范圍內(nèi)是否滿足SLA要求返回包大?。ㄝo助手段）日志分析（輔助手段）……最終用戶層面前端頁面展示新浪微博穩(wěn)定性經(jīng)驗(yàn)談Touchstone系統(tǒng)–實(shí)時數(shù)據(jù)展示新浪微博穩(wěn)定性經(jīng)驗(yàn)談Touchstone系統(tǒng)–報表輸出新浪微博穩(wěn)定性經(jīng)驗(yàn)談通過輸出的異常數(shù)據(jù)，怎么分析系統(tǒng)問題點(diǎn)？新浪微博穩(wěn)定性經(jīng)驗(yàn)談異常影響程度疊加放大描述：某組資源延遲400ms，但是接口整體持續(xù)延遲2s串行化操作？新浪微博穩(wěn)定性經(jīng)驗(yàn)談功能相關(guān)的接口同時受到影響描述：某資源異常，依賴此資源的功能都受較大影響依賴性的影響！思考：分層隔離中被隔離開的功能是否受到影響？是否存在非核心資源影響核心功能的情況？期望的SLA保證是否都生效？新浪微博穩(wěn)定性經(jīng)驗(yàn)談大范圍大量接口受到影響描述：某資源異常時，tomcat中大量接口出現(xiàn)503系統(tǒng)過載？容器保護(hù)策略失效？新浪微博穩(wěn)定性經(jīng)驗(yàn)談某個接口的所有請求都受到影響描述：某個存儲節(jié)點(diǎn)異常，依賴此存儲的接口全部受到影響資源單點(diǎn)部署？只有一套slave？新浪微博穩(wěn)定性經(jīng)驗(yàn)談穩(wěn)定性演練系統(tǒng)輸出系統(tǒng)穩(wěn)定性狀況系統(tǒng)優(yōu)化改進(jìn)建議切實(shí)有效的處理預(yù)案新浪微博穩(wěn)定性經(jīng)驗(yàn)談保證系統(tǒng)一直處于穩(wěn)定狀態(tài)新系