kingshard數(shù)據(jù)庫中間件設計與實現(xiàn)1陳非github:@flikeweibo:@chenfei001Agenda業(yè)務使用MySQL的痛點主流MySQLProxy方案kingshard的設計與實現(xiàn)總結(jié)2業(yè)務使用MySQL的痛點業(yè)務實現(xiàn)讀寫分離在業(yè)務中配置主庫、從庫的IP和端口DB宕機或上下線業(yè)務受影響運維協(xié)調(diào)開發(fā)修改業(yè)務配置3clientdb_masterdb_slave1db_slave2主從同步主從同步業(yè)務使用MySQL的痛點4業(yè)務實現(xiàn)分庫分表改寫SQL語句將SQL路由不同的DB聚合結(jié)果集數(shù)據(jù)庫中間件的目標5減輕開發(fā)的工作量支持SQL讀寫分離支持數(shù)據(jù)分片開發(fā)更加專注于業(yè)務邏輯，提升效率降低DB的運維與業(yè)務的耦合度DB的上下線業(yè)務無感知減輕DBA的工作負擔主流MySQLProxy方案6業(yè)務已有方案Atlas擴展功能較難基本不維護Cobar功能簡單基本不維護MyCat易用性較低開始商業(yè)化kingshard的設計目標7核心指導思想簡單有效核心功能讀寫分離數(shù)據(jù)分片提升DB的可運維性，減輕DBA負擔kingshard的架構(gòu)設計8整體架構(gòu)圖kingshard的SQLParser9SQL

Parser的設計與實現(xiàn)詞法分析器將SQL切分成token目的：作為語法分析器的輸入語法分析器根據(jù)token和MySQL規(guī)約法則生成AST(abstractsyntaxtree)目的：讀寫分離、數(shù)據(jù)分片SQL詞法分析語法分析AST改寫/路由SQLkingshard的sharding方案10sharding相關(guān)概念分片方式：Hash,Range和Time_RangeShardkey類型：整型和MySQL標準時間類型子表：分表名+序號，最大支持9999張子表。例如：table_0001,table_1023落在不同的DB實例，由配置指定Shard

key到實例采用兩級映射方案shard_keysub_tableDBconfigconfigkingshard的sharding方案11select*fromtabwhereid=10rangehashtimeconfigselect*fromtab_0001whereid=10calculatetableindexkingshard的連接池設計12目標復用連接，降低后端DB壓力方式一個DB實例對應一個連接池連接池個數(shù)上限可配置，無空閑連接則阻塞效果前端高并發(fā)，MySQL負載不會抖動限制連接池個數(shù)，保護后端DB不至于宕機kingshard的連接池設計13kingshardDB1ConnPoolConnPoolDB2connconnconn......poppush連接取出時：重置字符集重置Databasekingshard支持預處理的方案14作用防SQL注入，參數(shù)不做語義解析，只當做字符串提升效率，SQL不再需要重復解析示例preparestmt1from“SELECT*FROMtblWHEREid=?”;set@a=100;executestmt1using@a;deallocatepreparestmt1;kingshard支持預處理的方案15核心矛盾prepare狀態(tài)與會話(連接)綁定連接池機制要求連接復用簡單的方案將prepare/deallocate內(nèi)的所有語句保持在同一個連接上執(zhí)行缺點：與事務不同，很多程序不執(zhí)行deallocate，導致連接被占用不放kingshard支持預處理的方案16kingshard支持預處理方案流程圖kingshard的后端DB的高可用17方式使用獨立goroutine檢測DB狀態(tài)定期檢測每臺DB是否正常，周期和重試次數(shù)均可配置效果自動摘除宕機或網(wǎng)絡中斷的DB自動掛載恢復正常的DBkingshardDB_MasterDB_Slave1DB_Slave2pingpingpingnode業(yè)務使用kingshard的高可用方案18kingshard對安全與審計的支持19客戶端IP限制用戶自定義IP白名單列表SQL黑名單用戶定義黑名單SQL列表正則匹配方式，例如：deletefrommytable,selectcount(*)frommytablewhereid<?慢SQL記錄用戶自定義慢日志耗時大小kingshard的演進計劃20重構(gòu)SQL

Parser支持復雜SQL的解析管理端改造以API的方式支持管理命令Web界面操作與展示總結(jié)21為什么用Golang開發(fā)開發(fā)效率非常高性能并不差，相當于C語言的70%-80%便捷的并發(fā)編程部署簡單關(guān)注度開源一周年左右Github