趙晨杰架構(gòu)演變項(xiàng)目背景實(shí)踐環(huán)節(jié)架構(gòu)演變項(xiàng)目背景實(shí)踐環(huán)節(jié)01項(xiàng)目背景02架構(gòu)演變技術(shù)選型技術(shù)選型技術(shù)選型實(shí)踐環(huán)節(jié)NewFutureonNewFutureonCloudNewFutureonCloudNewFutureonCloud以就業(yè)為導(dǎo)向職業(yè)教育集團(tuán)，旗下黑馬程序員，博學(xué)谷，大同互背景背景背景背景博學(xué)谷作為傳智教育旗下'T在線學(xué)習(xí)平臺(tái)以博學(xué)谷實(shí)際業(yè)務(wù)為背景，基于阿里云構(gòu)建博NewFutureonCloudNewFutureonCloudNewFutureonCloudNewFutPaimonPaimonAPSARA云棲大會(huì)V3.0V2.0V1.0阿里云平臺(tái)阿里云平臺(tái)DebeziumDebeziumV2.0V1.0V3.0V2.0V1.0V3.0PulsarClickhouseClickhouseSStarRocks的數(shù)據(jù)使用Debezium工具單機(jī)同步至七陌及諸葛智能的數(shù)據(jù)采用的方式同步至中間無處理，數(shù)據(jù)最終在Clickhouse中進(jìn)行處理中間無處理，數(shù)據(jù)最終在Clickhouse中進(jìn)行處理1.0Mysql的數(shù)據(jù)使用Debezium工具單機(jī)同步至的數(shù)據(jù)使用Debezium工具單機(jī)同步至七陌及諸葛智能的數(shù)據(jù)采用的方式同步至中間無處理，數(shù)據(jù)最終在Clickhouse中進(jìn)行處理中間無處理，數(shù)據(jù)最終在Clickhouse中進(jìn)行處理1.0Mysql的數(shù)據(jù)使用Debezium工具單機(jī)同步至Pulsar七陌及諸葛智能的數(shù)據(jù)采用Http的方式同步至PulsarClickhouse直接消費(fèi)Pulsar的數(shù)據(jù)，寫入到Clickhouse中數(shù)據(jù)處理數(shù)據(jù)源Debezium僅能單機(jī)部署，只能單并發(fā)讀取binlogClickhouse存儲(chǔ)的是大量明細(xì)數(shù)據(jù)，會(huì)導(dǎo)Debezium僅能單機(jī)部署，只能單并發(fā)讀取binlogClickhouse存儲(chǔ)的是大量明細(xì)數(shù)據(jù)，會(huì)導(dǎo)ClickhouseClickhouse單表查詢性能強(qiáng)勁但多表性能相對(duì)較差PulsarClickhouse之間缺少數(shù)據(jù)的處理過程缺乏數(shù)倉分層的概念和支撐Clickhouse存儲(chǔ)的是大量明細(xì)數(shù)據(jù)，會(huì)導(dǎo)Debezium僅能單機(jī)部署，只能單并發(fā)讀取binlogClickhouseClickhouse單表查詢性能強(qiáng)勁但多表與之間缺少數(shù)據(jù)的處理ClickhousePulsar缺乏數(shù)倉分層的概念和支撐過程joinClickhouse存儲(chǔ)的是大量明細(xì)數(shù)據(jù)，會(huì)導(dǎo)Debezium僅能單機(jī)部署，只能單并發(fā)讀取binlogClickhouseClickhouse單表查詢性能強(qiáng)勁但多表與之間缺少數(shù)據(jù)的處理ClickhousePulsar缺乏數(shù)倉分層的概念和支撐過程joinAPSARA云棲大會(huì)■變得擁腫變得擁腫性能相對(duì)較差性能相對(duì)較差使用FlinkCDC2.2MySql數(shù)據(jù)多并發(fā)實(shí)時(shí)采集傳輸至存儲(chǔ)端使用存儲(chǔ)原始數(shù)據(jù)Doris存儲(chǔ)寬表數(shù)據(jù)做查詢分析使用Flink使用FlinkCDC2.2MySql數(shù)據(jù)多并發(fā)實(shí)時(shí)采集傳輸至存儲(chǔ)端使用存儲(chǔ)原始數(shù)據(jù)Doris存儲(chǔ)寬表數(shù)據(jù)做查詢分析使用FlinkCDC2.2作為同步工具實(shí)時(shí)計(jì)算:使用Flink/Flink-SQL進(jìn)行:Flink/Flink-SQL靈活用于自定義數(shù)據(jù)分析使用Doris靈活用于自定義數(shù)據(jù)分析MySql業(yè)務(wù)數(shù)據(jù)庫將MySql數(shù)據(jù)多并發(fā)實(shí)時(shí)采集傳輸至存儲(chǔ)端實(shí)時(shí)數(shù)據(jù)處理使用Hudi存儲(chǔ)原始數(shù)據(jù)MySql業(yè)務(wù)數(shù)據(jù)庫使用Doris存儲(chǔ)寬表數(shù)據(jù)做查詢分析2.02.0流式日志數(shù)據(jù)未納入基于開源組件部署維護(hù)不方便流式日志數(shù)據(jù)未納入基于開源組件部署維護(hù)不方便流式日志數(shù)據(jù)未納入基于開源組件部署維護(hù)不方便流式日志數(shù)據(jù)未納入基于開源組件部署維護(hù)不方便博學(xué)谷大數(shù)據(jù)平臺(tái)版架構(gòu)2.0博學(xué)谷大數(shù)據(jù)平臺(tái)版架構(gòu)2.0通過僅能實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)延時(shí)較高通過僅能實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)延時(shí)較高Hudi延時(shí)較高支持豐富的連接器APSARA云棲大會(huì)博學(xué)谷大數(shù)據(jù)平臺(tái)3.0技術(shù)選型FlinkSQL支持窗口、水印、容錯(cuò)機(jī)制項(xiàng)目使用FlinkSQL集成FlinkCDC完成數(shù)據(jù)處理項(xiàng)目使用Flink項(xiàng)目使用FlinkSQL集成FlinkCDC完成數(shù)據(jù)處理使用Kafka實(shí)現(xiàn)實(shí)時(shí)數(shù)倉分層通過Paimon將Kafka數(shù)據(jù)持久化保存項(xiàng)目基于StarRocks實(shí)現(xiàn)實(shí)時(shí)OLAP分析使用DataV完成業(yè)務(wù)大屏展示一種全托管的云服務(wù)助力企業(yè)數(shù)據(jù)應(yīng)用數(shù)據(jù)計(jì)算全棧開發(fā)高性能計(jì)算引擎數(shù)據(jù)計(jì)算全棧開發(fā)阿里云阿里云實(shí)時(shí)計(jì)算阿里云實(shí)時(shí)計(jì)算ECS(ElasticComputeService云服務(wù)器ECS(ElasticComputeService)云服務(wù)器低成本高性能高可靠Serverless數(shù)據(jù)可視化實(shí)時(shí)OLAP分析引擎StarRocks是基于EMR之上分析引擎StarRocks是基于之上分析引擎分析引擎流批統(tǒng)一的湖存儲(chǔ)支持高吞吐的寫入和低延遲的查詢阿里云流批統(tǒng)一的湖存儲(chǔ)OLAP支持高吞吐的寫入和低延遲的查詢內(nèi)置豐富上下游連接器一種全托管的云服務(wù)助力企業(yè)數(shù)據(jù)應(yīng)用數(shù)據(jù)計(jì)算全棧開發(fā)高性能計(jì)算引擎數(shù)據(jù)計(jì)算全棧開發(fā)阿里云阿里云實(shí)時(shí)計(jì)算阿里云實(shí)時(shí)計(jì)算ECS(ElasticComputeService云服務(wù)器ECS(ElasticComputeService)云服務(wù)器低成本高性能高可靠Serverless數(shù)據(jù)可視化實(shí)時(shí)OLAP分析引擎StarRocks是基于EMR之上分析引擎StarRocks是基于之上分析引擎分析引擎流批統(tǒng)一的湖存儲(chǔ)支持高吞吐的寫入和低延遲的查詢阿里云流批統(tǒng)一的湖存儲(chǔ)OLAP支持高吞吐的寫入和低延遲的查詢內(nèi)置豐富上下游連接器3.03.0數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算數(shù)據(jù)分析數(shù)據(jù)分析數(shù)據(jù)計(jì)算數(shù)據(jù)存儲(chǔ)數(shù)據(jù)源數(shù)據(jù)采集使用FlinkCDC使用數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算數(shù)據(jù)分析數(shù)據(jù)分析數(shù)據(jù)計(jì)算數(shù)據(jù)存儲(chǔ)數(shù)據(jù)源數(shù)據(jù)采集使用FlinkCDC使用:Flink/Flink-SQL使用paimon存儲(chǔ)原始數(shù)據(jù)使用FlinkCDC作為同步工具實(shí)時(shí)計(jì)算:使用Flink/Flink-SQL進(jìn)行MySql業(yè)務(wù)數(shù)據(jù)庫MySql使用StarRocks存儲(chǔ)寬表數(shù)據(jù)做查詢分析實(shí)時(shí)數(shù)據(jù)處理將MySql數(shù)據(jù)多并發(fā)實(shí)時(shí)采集傳輸至存儲(chǔ)端使用StarRocks靈活用于自定義數(shù)據(jù)分析3.03.0版版服兼容ApacheFlink和基于阿里云平臺(tái)方便組件Paimon倍性能提升2流批一體架構(gòu)部署維護(hù)擁有動(dòng)態(tài)等企業(yè)級(jí)增值功能版版服兼容ApacheFlink和基于阿里云平臺(tái)方便組件Paimon倍性能提升2流批一體架構(gòu)部署維護(hù)擁有動(dòng)態(tài)等企業(yè)級(jí)增值功能APSARA云棲大會(huì)APSARA云棲大會(huì)數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算數(shù)據(jù)采集數(shù)據(jù)源數(shù)據(jù)分析CDC作為同步工具使用作為同步工具Hologres存儲(chǔ)原始數(shù)據(jù)存儲(chǔ)原始數(shù)據(jù)使用使用進(jìn)行實(shí)時(shí)計(jì)算FlinkCDCFlink/Flink-SQL實(shí)時(shí)數(shù)據(jù)處理Flink/Flink-SQLHologres從庫用于實(shí)時(shí)看板、實(shí)時(shí)查詢等使用從庫用于實(shí)時(shí)看板、實(shí)時(shí)::Hologres業(yè)務(wù)數(shù)據(jù)庫MySql查詢等將數(shù)數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算數(shù)據(jù)采集數(shù)據(jù)源數(shù)據(jù)分析CDC作為同步工具使用作為同步工具Hologres存儲(chǔ)原始數(shù)據(jù)存儲(chǔ)原始數(shù)據(jù)使用使用進(jìn)行實(shí)時(shí)計(jì)算FlinkCDCFlink/Flink-SQL實(shí)時(shí)數(shù)據(jù)處理Flink/Flink-SQLHologres從庫用于實(shí)時(shí)看板、實(shí)時(shí)查詢等使用從庫用于實(shí)時(shí)看板、實(shí)時(shí)::Hologres業(yè)務(wù)數(shù)據(jù)庫MySql查詢等將數(shù)據(jù)多并發(fā)實(shí)時(shí)采集傳輸至存儲(chǔ)端實(shí)時(shí)數(shù)據(jù)處理MySqlSqlAPSARA云棲大會(huì)博學(xué)谷大數(shù)據(jù)平臺(tái)優(yōu)化架構(gòu)APSARA云棲大會(huì)博學(xué)谷大數(shù)據(jù)平臺(tái)優(yōu)化架構(gòu)NewFutureonNewFutureonCloudNewFutureureonCloudNewFutureonCloud項(xiàng)目平臺(tái)項(xiàng)目平臺(tái)選型平臺(tái)PK快速搭建大數(shù)據(jù)平臺(tái)完成業(yè)務(wù)遷移快速搭建大數(shù)據(jù)平臺(tái)完成業(yè)務(wù)遷移項(xiàng)目平臺(tái)選型阿里云實(shí)時(shí)計(jì)算FlinkApache阿里云實(shí)時(shí)計(jì)算FlinkApacheFlink構(gòu)建的一站式實(shí)時(shí)大數(shù)據(jù)分析平什么是阿里云實(shí)時(shí)計(jì)算據(jù)據(jù)版阿里云實(shí)時(shí)計(jì)算版構(gòu)建的一站式實(shí)時(shí)站式開發(fā)運(yùn)維平臺(tái).在控制臺(tái)上進(jìn)行站式開發(fā)運(yùn)維平臺(tái).在控制臺(tái)上進(jìn)行作業(yè)開發(fā).模版中心（20+)，加速作業(yè)開發(fā).更清晰地展示資源使用情況.Catalog元數(shù)據(jù)管理和引用.session集群來臨時(shí)運(yùn)行作業(yè).控制臺(tái)預(yù)覽結(jié)果表的數(shù)據(jù).調(diào)式數(shù)據(jù)生成.....資源設(shè)置：資源配置建議.20+11阿里云Flink平臺(tái)一站式開發(fā)運(yùn)維平臺(tái).作業(yè)提交啟動(dòng)作業(yè)在控制臺(tái)上進(jìn)行SQL作業(yè)開發(fā)...作業(yè)提交啟動(dòng)作業(yè)在控制臺(tái)上進(jìn)行SQL作業(yè)開發(fā).....模版中心（20+)，加速作業(yè)開發(fā)..................20+作業(yè)診斷規(guī)則及風(fēng)險(xiǎn)提示.作業(yè)配置資源與其他運(yùn)行參數(shù)配置流批作業(yè)不區(qū)分APIDataStreamAPITable/SQLAPI代碼開發(fā)無需進(jìn)行修改21完全一套代碼，核心邏輯StreamModeModeBatch作業(yè)配置資源與其他運(yùn)行參數(shù)配置流批作業(yè)不區(qū)分APIDataStreamAPITable/SQLAPI代碼開發(fā)無需進(jìn)行修改21完全一套代碼，核心邏輯StreamModeModeBatchMode調(diào)度統(tǒng)一統(tǒng)一APSARA云棲大會(huì)APSARA云棲大會(huì)體的作業(yè)開發(fā)與運(yùn)行一體的作業(yè)開發(fā)與運(yùn)行體的作業(yè)開發(fā)與運(yùn)行一體的作業(yè)開發(fā)與運(yùn)行統(tǒng)一從統(tǒng)一套代碼，核心邏輯套代碼，核心邏輯作業(yè)運(yùn)行穩(wěn)定高效運(yùn)行，批性能與Spark作業(yè)運(yùn)行穩(wěn)定高效運(yùn)行，批性能與Spark3.2基本持平43ShufflePipelined插件接口Connector支持批流混合調(diào)度ShufflePipelined插件接口Connector統(tǒng)一ServiceRegion統(tǒng)一Service阿里云Flink平臺(tái)簡單易用專注業(yè)務(wù)純SQL開發(fā)簡單易用專注業(yè)務(wù)一分鐘上手IDEFlinkSQL一分鐘上手IDEFlink一分鐘上手IDEFlinkSQL·內(nèi)置·內(nèi)置SQL函數(shù)，鼠標(biāo)懸停提示?SQL語法校驗(yàn)，完善的錯(cuò)誤提示語法校驗(yàn)，完善的錯(cuò)誤提示作業(yè)版本管理、不同版本的對(duì)比·SQL作業(yè)版本管理、不同版本的對(duì)比作業(yè)版本管理、不同版本的對(duì)比-·SQLWeb-IDE可視化編輯器-SQLDDL聲明Schema上傳、管理·UDF上傳、管理支持內(nèi)置/外部Catalog管理表信息·支持文件夾和編輯鎖·支持文件夾和編輯鎖·支持用戶自定義UDF上傳、使用和管理支持用戶自定義什么是什么是借助支什么是什么是借助支核心技術(shù)核心技術(shù)APSARA云棲大會(huì)阿里云FlinkCDC什么是什么是據(jù)什么是什么是據(jù)APSARA云棲大會(huì)APSARA云棲大會(huì)(Real-TimeDataWarehouseHologres(Real-TimeDataWarehouseHologres核心特性1,提高資源利用率,實(shí)現(xiàn)海量數(shù)據(jù)極速分析。.支持計(jì)算負(fù)載、訪問權(quán)限等細(xì)粒度管控要求,提供豐富監(jiān)控和告警指標(biāo),支持計(jì)算資源彈性擴(kuò)展,支持系統(tǒng)熱升級(jí),滿足企業(yè)級(jí)安全可靠的運(yùn)維需核心特性1,提高資源利用率,實(shí)現(xiàn)海量數(shù)據(jù)極速分析。.支持計(jì)算負(fù)載、訪問權(quán)限等細(xì)粒度管控要求,提供豐富監(jiān)控和告警指標(biāo),支持計(jì)算資源彈性擴(kuò)展,支持系統(tǒng)熱升級(jí),滿足企業(yè)級(jí)安全可靠的運(yùn)維需4核心特性,提高資源利用率,實(shí)現(xiàn)海量數(shù)據(jù)極速分析。APSARA云棲大會(huì)APSARA云棲大會(huì)