云原生下的運(yùn)維實(shí)踐及平臺(tái)建設(shè)方案云原生在網(wǎng)易的應(yīng)用1234目錄contents云原生場(chǎng)景下的運(yùn)維挑戰(zhàn)云原生場(chǎng)景下的運(yùn)維平臺(tái)建設(shè)混合云相關(guān)的實(shí)踐云原生下的運(yùn)維挑戰(zhàn)PA

RT2云原生下的運(yùn)維變化團(tuán)隊(duì)工作內(nèi)容和職責(zé)的再平衡PaaSk8s?

研發(fā)和運(yùn)維的邊界更加模糊SRE/k8s研發(fā)/業(yè)務(wù)研發(fā)SRE/k8s研發(fā)?

賦予業(yè)務(wù)研發(fā)更多的能力?

平臺(tái)研發(fā)和業(yè)務(wù)研發(fā)有更緊密的連接?

業(yè)務(wù)研發(fā)比任何時(shí)候關(guān)注平臺(tái)的新特性主機(jī)SRE云原生下的運(yùn)維特點(diǎn)關(guān)注整體SLO更多的邏輯層更復(fù)雜的問(wèn)題定位邏輯?

混亂中取得平衡?

關(guān)注服務(wù)質(zhì)量?

關(guān)注集群容量大于關(guān)注單個(gè)節(jié)點(diǎn)?

資源層（node，pod等）?

k8s管控層?

內(nèi)部容器管理服務(wù)層?

定制CRD/operator?

業(yè)務(wù)層?

資源更加分散?

資源部署方式多樣化?

更加復(fù)雜的技術(shù)堆棧，對(duì)運(yùn)維人員有更高的要求?

容忍異常，通過(guò)設(shè)計(jì)規(guī)避SLI損失云原生的運(yùn)維?

DevOps只解決了研發(fā)到發(fā)布，無(wú)法處理底層?

DevOps開(kāi)發(fā)自助運(yùn)維?

資源管理自動(dòng)化?

豐富的組件能解決研發(fā)過(guò)程中的需求?

資源管理需要人或者平臺(tái)治理?

主要用的是ingress/svc等特性，而且容易濫用理想

現(xiàn)實(shí)?

分布式、微服務(wù)很容易實(shí)現(xiàn)?

業(yè)務(wù)通過(guò)sidecar等?

分布式需要投入大量資源方式聚焦于業(yè)務(wù)邏輯而不用關(guān)注底層中間件?

Sidecar層實(shí)現(xiàn)各種中間件driver還有大量的路要走云原生下的運(yùn)維難點(diǎn)?

大量報(bào)警，數(shù)量不可控?

監(jiān)控處理時(shí)效監(jiān)控變更?

業(yè)務(wù)變更和平臺(tái)變更頻繁?

變更影響評(píng)估困難?

多k8s集群配置統(tǒng)一?

配置巡檢和治理配置基線研發(fā)有更多的權(quán)限云原生場(chǎng)景下的運(yùn)維平臺(tái)建設(shè)PA

RT3云原生基座PaaS中間件低代碼分布式事務(wù)容器管理平臺(tái)CICD基礎(chǔ)平臺(tái)/輕舟API網(wǎng)關(guān)APM微服務(wù)框架K8s集群資源層serverlessistio云原生相關(guān)的運(yùn)維建設(shè)?

基本信息管理相關(guān)?

計(jì)算資源管控?

K8s權(quán)限管控?

服務(wù)治理能力建設(shè)?

故障定位能力?

快速恢復(fù)能力?

新技術(shù)跟進(jìn)?

K8s安全基線工具等關(guān)于運(yùn)維平臺(tái)的底層建設(shè)思路?

運(yùn)維數(shù)據(jù)處理?

監(jiān)控?cái)?shù)據(jù)、日志數(shù)據(jù)、trace數(shù)據(jù)的采集?

運(yùn)維數(shù)據(jù)存儲(chǔ)?

運(yùn)維數(shù)據(jù)展示?

運(yùn)維規(guī)則針對(duì)場(chǎng)景運(yùn)維數(shù)據(jù)運(yùn)維規(guī)則運(yùn)維平臺(tái)?

自愈規(guī)則建設(shè)?

診斷規(guī)則建設(shè)（根因定位等）運(yùn)維平臺(tái)建設(shè)消息總線eventchatops?

平臺(tái)海量數(shù)據(jù)?

監(jiān)控事件workflow執(zhí)行規(guī)則規(guī)則匹配?

異常日志自動(dòng)化執(zhí)行接口規(guī)則觸發(fā)?

Tracing查詢觸發(fā)運(yùn)維流程?

治理規(guī)則建設(shè)邏輯?

運(yùn)維規(guī)則沉淀到平臺(tái)?

自動(dòng)化操作需要風(fēng)險(xiǎn)控制日志報(bào)警通知運(yùn)維事件event處理結(jié)果報(bào)警自動(dòng)恢復(fù)關(guān)于可觀測(cè)性建設(shè)建設(shè)思路：?

全面擁抱prometheus?

智能化監(jiān)控處理監(jiān)控基礎(chǔ)組件基于開(kāi)源，架構(gòu)層面針對(duì)企業(yè)級(jí)場(chǎng)景進(jìn)行優(yōu)化。對(duì)無(wú)法滿足內(nèi)部使用的開(kāi)源模塊使用自研模塊替換緊跟社區(qū)標(biāo)準(zhǔn)，積極推動(dòng)內(nèi)部組件開(kāi)源。?

平臺(tái)支持日志存儲(chǔ)日志trace?

平臺(tái)集成APM功能監(jiān)控報(bào)警自愈建設(shè)傳統(tǒng)一般報(bào)警的處理流程集成自愈功能的報(bào)警處理流程處理平臺(tái)告警規(guī)則匹配告警抑制分發(fā)等邏輯告警規(guī)則觸發(fā)告警規(guī)則觸發(fā)平臺(tái)告警自動(dòng)處理比例：80%告警網(wǎng)關(guān)告警網(wǎng)關(guān)告警到人二次檢測(cè)無(wú)法自愈告警到人自愈邏輯匹配并且執(zhí)行告警到自愈平臺(tái)運(yùn)維處理移動(dòng)化情況應(yīng)用技術(shù)?

運(yùn)維機(jī)器人：知識(shí)庫(kù)+NLP?

運(yùn)維平臺(tái)小程序：工單平臺(tái)、監(jiān)控平臺(tái)等?

Chatops：運(yùn)維經(jīng)驗(yàn)規(guī)則化執(zhí)行效果?

提升運(yùn)維信息透明度?

運(yùn)維能力賦能給業(yè)務(wù)團(tuán)隊(duì)移動(dòng)化運(yùn)維混合云相關(guān)實(shí)踐PA

RT4網(wǎng)易對(duì)混合云的需求?

成本?

更好的降低備機(jī)成本?

更好的應(yīng)對(duì)突發(fā)計(jì)算資源需求物理機(jī)?

能效私有云?

統(tǒng)一交付平臺(tái)入口，提升交付速度?

統(tǒng)一接口，降低使用對(duì)接成本容器平臺(tái)技術(shù)設(shè)計(jì)?

統(tǒng)一接口?

使用CRD方式對(duì)接所有資源（物理服務(wù)器，云主機(jī)，vpc，安全組，磁盤(pán)等）?

模塊設(shè)計(jì)?

解耦合、抽象、復(fù)用?

復(fù)用開(kāi)源組件或者開(kāi)源設(shè)計(jì)，與開(kāi)源工具互通?

數(shù)據(jù)?

數(shù)據(jù)和內(nèi)部運(yùn)維體系打通，獲取方式統(tǒng)一整體的分層設(shè)計(jì)上層應(yīng)用NKS工單cmdb監(jiān)控ClusterdeploymentcontrollerServercontrollerVPCcontrollerblockstoragecontrollersecuritygroup

controllerRoutetablecontroller資源管理CRDResourcecontroller內(nèi)網(wǎng)物理服務(wù)器AWS阿里云內(nèi)部是有云騰訊云資源層應(yīng)用場(chǎng)景-K8S資源1.

滿足自建K8S的快速部署2.

滿足資源算力彈性調(diào)度的需求NKSK8s底層資源管理資源管控CRD內(nèi)部平臺(tái)外部云平臺(tái)EKSEC2物理服