叮咚買菜的上云歷程2023.08.10叮咚買菜的上云歷程2023.08.10千明杰千明杰自動(dòng)化運(yùn)維與數(shù)據(jù)庫(kù)性能調(diào)優(yōu)方面。致力于食品健康、美味與創(chuàng)新致力于食品健康、美味與創(chuàng)新?怎么選？選型過程中叮咚買菜主要考慮的因素?怎么上？將叮咚買菜現(xiàn)有的數(shù)據(jù)庫(kù)遷移至云MySQL？?怎么用？叮咚買菜的云MySQL數(shù)據(jù)庫(kù)架構(gòu)部署選型過程?選型過程?即時(shí)業(yè)務(wù)需求?非即時(shí)業(yè)務(wù)需求?使用需求自建成本高物理資源不足版本引發(fā)的性能問題周邊生態(tài)工具不完善為什么上云？為什么選擇云MySQL？業(yè)務(wù)層MasteraveaveMasteraveaveaveMaster業(yè)務(wù)層MasteraveaveMasteraveaveaveMasterave遷移過程業(yè)務(wù)層A2區(qū)A2區(qū)只讀實(shí)例只讀實(shí)例主實(shí)例只讀實(shí)例本地備份鏈路備份中心備實(shí)例備實(shí)例備實(shí)例強(qiáng)同步復(fù)制A1區(qū)強(qiáng)同步復(fù)制架構(gòu)部署客戶端/用戶地域AVIPA2區(qū)A2區(qū)只讀實(shí)例只讀實(shí)例主實(shí)例只讀實(shí)例本地備份鏈路備份中心備實(shí)例備實(shí)例備實(shí)例強(qiáng)同步復(fù)制A1區(qū)強(qiáng)同步復(fù)制架構(gòu)部署客戶端/用戶地域AVIP訪問地址?業(yè)務(wù)需求；?熱點(diǎn)/爆款問題：流量、數(shù)據(jù)量無法預(yù)估，業(yè)務(wù)高峰需停服擴(kuò)容，資源彈性擴(kuò)展能力高；?運(yùn)維難題：運(yùn)維上百套數(shù)據(jù)庫(kù)，DBA人力緊缺；解決方案?讀寫分離：數(shù)據(jù)庫(kù)讀寫分離，動(dòng)態(tài)添加只讀，實(shí)現(xiàn)彈性擴(kuò)展；?高性能：通過云數(shù)據(jù)庫(kù)MySQL的高性能滿足件支持)；?運(yùn)維：采用DBbrain進(jìn)行數(shù)據(jù)庫(kù)全生命周期管理，降低數(shù)據(jù)庫(kù)管理和運(yùn)維門檻；最新功能理最新功能理過添加只讀就可實(shí)現(xiàn)水平擴(kuò)展能力；?事務(wù)拆分：將一個(gè)事務(wù)中的讀、寫拆分到不同的實(shí)例上去執(zhí)行；?防閃斷：提供無損的應(yīng)用連續(xù)性，運(yùn)維中的調(diào)整不會(huì)導(dǎo)致連接和事務(wù)的中斷；?連接池：有效解決連接數(shù)過多或短連接業(yè)務(wù)頻繁建立新連接導(dǎo)致實(shí)例負(fù)載過高的問題；高峰?快速響應(yīng)和變更：基于云環(huán)境通過動(dòng)態(tài)分配和彈性擴(kuò)展；?彈性控制成本：在高峰期時(shí)為用戶提供更加穩(wěn)定的服務(wù)，同時(shí)在業(yè)務(wù)需求下降時(shí)又可以自動(dòng)感謝觀看！Thank感謝觀看！Thankyou潘怡飛?云數(shù)據(jù)庫(kù)MySQL核心能力?自建遷移上云方案?云數(shù)據(jù)庫(kù)運(yùn)維最佳實(shí)踐VIP5#VIP0#讀寫VIP3#只讀(離線)VIP2#(全局讀寫分離)TGW(R)TGW(W/R)TGW(R)proxyMaster災(zāi)備實(shí)例masterSlave0#災(zāi)備實(shí)例slaveROVIP5#VIP0#讀寫VIP3#只讀(離線)VIP2#(全局讀寫分離)TGW(R)TGW(W/R)TGW(R)proxyMaster災(zāi)備實(shí)例masterSlave0#災(zāi)備實(shí)例slaveRO0#RO1#RO2#RO3#RO3#上海五區(qū)SlaveRO4#RO5#RO6#RO0#RO1#RO2#云數(shù)據(jù)庫(kù)MySQL架構(gòu)VIPVIP1#只讀(在線)TGWTGW(R)異步、半同步、強(qiáng)同步廣州四異步、半同步、強(qiáng)同步廣州四區(qū)異步、半同步、強(qiáng)同步二區(qū)replicationreplicationreplicationreplication基礎(chǔ)能力基礎(chǔ)能力：同步；?跨可用區(qū)透明切換、兩地三中心災(zāi)?1830天任意時(shí)間回檔數(shù)據(jù)；增強(qiáng)能力：?proxy自動(dòng)讀寫分離；?全鏈路審計(jì)日志；?參數(shù)自調(diào)優(yōu)；?內(nèi)核能力：instantDDL、異步刪除性能能力說明高性能參數(shù)模版高性能參數(shù)模版優(yōu)化提供了高性能/高穩(wěn)定性兩套模版，以滿足用戶不同業(yè)務(wù)的需求；提供公式設(shè)置參數(shù)，以使得變配后依然能夠提供良好的性能；開放innodb_buffer_pool_size相關(guān)參數(shù)，減少OOM高性能參數(shù)模版能力說明參數(shù)智能調(diào)優(yōu)云數(shù)據(jù)庫(kù)MySQL配置參數(shù)多達(dá)幾百個(gè)，參數(shù)智能調(diào)優(yōu)范圍從幾十到幾萬，甚至幾十萬不等。對(duì)于DBA而言僅能夠通過經(jīng)驗(yàn)進(jìn)行配置。而通過高效的機(jī)器學(xué)習(xí)手段，負(fù)載進(jìn)行迭代學(xué)習(xí)，TPS提升有15%-55%recyclebin_recyclebin_me安全回回檔恢復(fù)能力數(shù)數(shù)據(jù)庫(kù)實(shí)例部部分庫(kù)表SQLSQL誤操作MMySQLMMySQLMMySQLdroptablerecycletabletime2部分庫(kù)表極速回檔?彌補(bǔ)目前采用物理備份之后，部分庫(kù)表回檔效率較低的場(chǎng)景回收站?支持表被誤刪后隨時(shí)恢復(fù)?Droptable不刪除物理文件，只移入回收站?降低droptable對(duì)IO和BP造成沖擊FlashbackDMLFlashback，誤操作回滾效率大幅度提升me安全me能力說明MMySQLtime2數(shù)據(jù)庫(kù)使用過程中的誤操作可能會(huì)給業(yè)務(wù)帶來嚴(yán)重的影響，常見的恢復(fù)手段如回檔、克隆等方式操作較為繁瑣且耗時(shí)較長(zhǎng)，而通過備份集恢復(fù)則需要額外的系統(tǒng)資源，在數(shù)據(jù)量較大時(shí)恢復(fù)時(shí)間不可控。TXSQL在InnoDB引擎上設(shè)計(jì)和實(shí)現(xiàn)了閃回的功能，無需復(fù)雜的恢復(fù)操作，通過簡(jiǎn)單的SQL語句即可查詢或恢復(fù)誤操作前的歷史數(shù)據(jù)，節(jié)省了大量寶貴的時(shí)間，保證業(yè)務(wù)平穩(wěn)運(yùn)行。92.設(shè)置遷移方式和對(duì)象1.設(shè)置源和目標(biāo)庫(kù)3.數(shù)據(jù)一致性校驗(yàn)數(shù)2.設(shè)置遷移方式和對(duì)象1.設(shè)置源和目標(biāo)庫(kù)3.數(shù)據(jù)一致性校驗(yàn)遷移能力：?廠家支持：支持自建和友商(阿里?源數(shù)據(jù)庫(kù)：支持9種(mysql、sqlserver、tdsql以及PG)?數(shù)據(jù)遷移：通常支持結(jié)構(gòu)遷移、全?斷點(diǎn)續(xù)傳：支持?jǐn)帱c(diǎn)續(xù)傳?數(shù)據(jù)一致性檢查束限制：持函數(shù)、觸發(fā)器、存儲(chǔ)過程等對(duì)象?相互關(guān)聯(lián)的數(shù)據(jù)對(duì)象需要同時(shí)遷數(shù)據(jù)庫(kù)割接方案常見遷移方案停寫時(shí)長(zhǎng)數(shù)據(jù)一致性回滾風(fēng)險(xiǎn)業(yè)務(wù)情況客戶案例占比讀寫一刀切低低中數(shù)據(jù)庫(kù)停寫，業(yè)務(wù)無需改造80%先切讀再切寫低低低數(shù)據(jù)庫(kù)停寫，業(yè)務(wù)需讀寫分離20%：S2.業(yè)務(wù)停寫：當(dāng)DTS顯示源目標(biāo)端數(shù)據(jù)差距和延時(shí)均為0，業(yè)務(wù)3.數(shù)據(jù)備份：源庫(kù)做數(shù)據(jù)備份。4.源目標(biāo)端數(shù)據(jù)一致性檢查。5.業(yè)務(wù)切換：業(yè)務(wù)讀寫流量指向目標(biāo)數(shù)據(jù)庫(kù)。6.數(shù)據(jù)同步：建立數(shù)據(jù)同步任務(wù)。7.流量切換及試運(yùn)行。：全量割接割接方案割接前準(zhǔn)備：1.確認(rèn)增量數(shù)據(jù)同步數(shù)據(jù)量以及延時(shí)為02.確認(rèn)目標(biāo)端應(yīng)用環(huán)境版本和源端一致3.目標(biāo)端應(yīng)用功能，業(yè)務(wù)流程和壓測(cè)符合4.割接演練停服時(shí)間符合預(yù)期5.割接回滾的決策標(biāo)準(zhǔn)割接步驟：1.源端應(yīng)用A停服且可觀測(cè)。(各層均沒有應(yīng)用A業(yè)務(wù)流量以及數(shù)據(jù)庫(kù)讀寫業(yè)務(wù))3.業(yè)務(wù)功能測(cè)試上的新系統(tǒng)MySQL智能化運(yùn)維平臺(tái)感謝觀看！ThankyouSQL程昌明程昌明災(zāi)難恢復(fù)與信息系統(tǒng)整合方面擁有豐富的實(shí)踐整體解決方案以及數(shù)據(jù)庫(kù)設(shè)計(jì)。MYSQLMYSQL產(chǎn)品線負(fù)責(zé)人行"。?根據(jù)業(yè)務(wù)特征識(shí)別可用性需求?如何構(gòu)建不同可用性架構(gòu)?如何兼顧可用性及性能根據(jù)業(yè)務(wù)特征識(shí)別可用性需求單可用區(qū)故障單可用區(qū)故障主數(shù)據(jù)處理系統(tǒng)與備用數(shù)據(jù)處理系統(tǒng)需要部署在不同可用區(qū)主數(shù)據(jù)處理系統(tǒng)與備用數(shù)據(jù)處理系統(tǒng)使用同一網(wǎng)絡(luò)域主、備用數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)實(shí)時(shí)同步主、備用數(shù)據(jù)處理系統(tǒng)具備自動(dòng)資源、網(wǎng)絡(luò)切換能力02數(shù)據(jù)一致性04單機(jī)故障單機(jī)故障需要存在主數(shù)據(jù)處理系統(tǒng)以及備用數(shù)據(jù)處理系統(tǒng)在必要的情況下備用數(shù)據(jù)處理系統(tǒng)可切換為主數(shù)據(jù)處理系統(tǒng)主、備用數(shù)據(jù)處理系統(tǒng)不可部署在同一個(gè)物理資源上01地地域級(jí)故障?主數(shù)據(jù)處理系統(tǒng)與備用數(shù)據(jù)處理系統(tǒng)部署在不同地域?主、備用數(shù)據(jù)處理系統(tǒng)資源配置獨(dú)立的運(yùn)行管理資源?主、備用數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)實(shí)時(shí)同步?具備跨地域的備份恢復(fù)能力03如何構(gòu)建不同可用性架構(gòu)1234512345單點(diǎn)故障：通過多節(jié)點(diǎn)架構(gòu)，防止數(shù)據(jù)庫(kù)出現(xiàn)淡三節(jié)點(diǎn)架構(gòu)下，還提供RPO=0的強(qiáng)同步模式多AZ部署：依托于騰訊云內(nèi)部穩(wěn)定且高速網(wǎng)絡(luò)環(huán)時(shí)能夠自動(dòng)切換至可用AZ災(zāi)備實(shí)例：通過災(zāi)備實(shí)例構(gòu)建跨地域的數(shù)據(jù)同步鏈路，在必要時(shí)可以將災(zāi)備實(shí)例提升為主實(shí)例，通過外網(wǎng)、云聯(lián)網(wǎng)等方案進(jìn)行網(wǎng)絡(luò)打通連接數(shù)據(jù)庫(kù)代理：數(shù)據(jù)庫(kù)代理可以實(shí)現(xiàn)就近訪問以及計(jì)劃內(nèi)連接保持能力，防止切換后因垮可用區(qū)導(dǎo)致性能出現(xiàn)明顯下降地域容災(zāi)，實(shí)現(xiàn)跨地域?qū)嵗謴?fù)等能力9故障影響大客戶流失經(jīng)濟(jì)損失產(chǎn)品口故障影響大客戶流失經(jīng)濟(jì)損失產(chǎn)品口碑穩(wěn)定性建設(shè)業(yè)務(wù)業(yè)務(wù)類型SaaS游戲汽車交通文旅教育金融零售醫(yī)療傳媒電商單單點(diǎn)、AZ級(jí)故障數(shù)據(jù)一致性錯(cuò)誤突發(fā)請(qǐng)求量過大地域級(jí)故障單單點(diǎn)、AZ級(jí)故障災(zāi)備提升為主功能模塊金牌網(wǎng)絡(luò)鏈路異地恢復(fù)突發(fā)性能請(qǐng)求地域級(jí)故障跨地域RO組多AZ只讀組多節(jié)點(diǎn)架構(gòu)數(shù)據(jù)庫(kù)代理分布式組件多AZ部署SQL限流熱點(diǎn)更新參數(shù)調(diào)優(yōu)異地備份災(zāi)備實(shí)例內(nèi)核優(yōu)化并行查詢CPU彈性強(qiáng)同步??演練基本信息?動(dòng)作執(zhí)行日志?可視化演練資源分布圖?實(shí)時(shí)指標(biāo)監(jiān)控?演練數(shù)據(jù)統(tǒng)計(jì)?故障問題復(fù)盤混沌演練平臺(tái)混混沌演練報(bào)告演練模版成演練報(bào)告安全護(hù)欄標(biāo)監(jiān)控演練全生命周期管理新建演練過載情況時(shí)，業(yè)務(wù)會(huì)卡住混沌演練平臺(tái)CLB自建服務(wù)、CDB、Redis等服務(wù)對(duì)于過載、冗余場(chǎng)景故障時(shí)，是否能夠正常提供服務(wù)23452345實(shí)驗(yàn)假設(shè)：分別對(duì)業(yè)務(wù)不同層次應(yīng)用進(jìn)行故障注入，能夠?qū)崿F(xiàn)業(yè)務(wù)穩(wěn)態(tài)