具有機器學(xué)習(xí)功能的MySQLHeatwave

徐軼韜

1

②膘嘿膘會重天輪

同

徐軼韜!MySQL

甲骨文公司MySQL解決方案首席工程師\高可用解決方案

從主從復(fù)制至『IrmoDBCluster架構(gòu)

公眾號"MySQL解決方案工程師”的內(nèi)容

卡理學(xué)

作者和運營者。Q1|?EVUKHCM

《MySQL高可用解決方案——從主從復(fù)制到InnoDBCluster架構(gòu)》作者

為何在云中使用MySQL?

保持數(shù)據(jù)庫的安全性變得更為困難

快速部署與自動化

有助于改善系統(tǒng)管理與合規(guī)性

基礎(chǔ)康務(wù)外包

有助于減少運營開銷

節(jié)省成本

節(jié)省硬件成本和軟件許可證成本

3

為何選擇MySQLDatabaseService(MDS)

使用MySQL企業(yè)版

?減少數(shù)據(jù)泄露風(fēng)險

,滿足合規(guī)要求

■獲取最新的安全更新

■與本地部署的MySQLlOO%兼容

?來自MySQL專家的技術(shù)支持

更能節(jié)省成本

4

MDS使用MySQL企業(yè)版提供云服務(wù)

Oracle負責(zé)

?備份與恢復(fù)

?具有自動故障轉(zhuǎn)移功能的

高可用性

?水平與垂直擴展

?數(shù)據(jù)庫和操作系統(tǒng)補丁

?監(jiān)視和日志處理

?MySQL企業(yè)版中的高級功能

。呼W@經(jīng)天髭

5

70%與AmazonRDS相比節(jié)省成本

MySQLDatabaseService:1YearTCO

100OCPUs,1TBStorage

$212,974

￡

MySQLDatabaseService:StandardE3AMD16GB/Core,allregionshavethesameprice.5

AmazonRDS:IntelR516GB/Core,AWSUSEast.$170,244

Azure:MemoryOptimizedIntel20GB/Core,MSAzureUS-East.sN

Google:HighMemoryN1StandardIntel13GB/Core,GCPNorthernVirginia.aJ

<o

Configuration:100OCPUs,1TBStorage.t

s

C

Op

Nn

ro

a_

Eu

<Q

M

O$65,833

O

±30%CostO(/>

@凄天輪

一代云：二代云：

普遍的做法OracleCloudInfrastructure-Wide

架構(gòu)設(shè)計為對租戶多

最大程度的隔離和癡

ServerVirtualization

......Hypervisor..........

NetworkVirtualization

HostOS/Kernel

租戶之間

7。呼M**&經(jīng)天髭

MySQLDatabaseService:高可用性

具有自動故障轉(zhuǎn)移和零數(shù)據(jù)丟失的容錯系統(tǒng)

。呼W@經(jīng)天髭

8

挑戰(zhàn)#1:事務(wù)處理與分析處理的系統(tǒng)需要分開

MySQL用戶需要分別使用OLTP和OLAP系統(tǒng)

傳統(tǒng)的行格式?jīng)]有針對OLAP工作負載進行優(yōu)化

。呼W@經(jīng)天髭

10

Oracle云中提供的MySQLHeatwave數(shù)據(jù)庫服務(wù)

無需重寫查詢和ETL、加速OLTP和OLAP工作

1.fMySQL數(shù)據(jù)庫，用于OLTP和

OLAP應(yīng)用程序

MySQL

Database2.數(shù)據(jù)分區(qū)存儲在內(nèi)存

Service

InnoDBHeatVave

MySQL3.已有的應(yīng)用程序無需任何更改

My盛

。呼W@經(jīng)天髭

11

MySQLHeatwave數(shù)據(jù)庫服務(wù)架構(gòu)

。呼W@經(jīng)天髭

12

HeatWave:實時分析

插入MySQL的數(shù)據(jù)可以在一秒內(nèi)進行分析查詢

Insert/AnalyticQuery

UpdateQueryResults

It

MySQLDatabaseServiceHeatWaveCluster

MySQLCompiler&Optimizer

Query

OLTPQueryAnalyticQueryPushdown

OptimizationOptimization---->

MySQLExecutionInnoDBA

RealTime

Update

Results

。呼w@經(jīng)天髭

13

挑戰(zhàn)#2:用于機器學(xué)習(xí)的工具和服務(wù)需要分開

需要使用ETL分離數(shù)據(jù)進行訓(xùn)練與預(yù)測

?復(fù)雜，耗時

?增加成本和風(fēng)險當使用其他數(shù)據(jù)庫時，情況會更?

?需要學(xué)習(xí)新的工具/語言

。呼W@經(jīng)天髭

15

使用MySQLHeatWave的機器學(xué)習(xí)

加速ML計劃，增加安全性，降低成本

166）呼W會經(jīng)天髭

HeatwaveML與其他的ML使用方法對比

WithoutMLinMySQL

SensitiveModel/DataBoundary

17

OracleAutoML自動生成一個準確和快速的模型

Cleanse,impute&IdentifytopkFilterrelevantSelectsuitableIdentifyoptimalGenerateModelTrainPredictionTuned

Model

normalizefeaturesalgorithmscolumnssamplehyperparametersexplanationsExplainer

AutoML有多個自動化處理步驟，用于精確預(yù)測

?非迭代管道設(shè)計

?利用算法和數(shù)據(jù)集的元數(shù)據(jù)學(xué)習(xí)

?智能選擇，減少每個階段的嘗試

?根據(jù)輸入數(shù)據(jù)集特征選擇算法/參數(shù)，準確率更高，運行時間更短

?通過使用元數(shù)據(jù)學(xué)習(xí)實現(xiàn)

?可擴展設(shè)計

?所有階段都利用了節(jié)點間和節(jié)點內(nèi)的并行性，減少了運行時長

。呼W@經(jīng)天髭

18

HeatWaveMLvsRedshiftML:基準測試

/產(chǎn)生更準確的結(jié)果

,訓(xùn)練模型平均速度快25倍

/1%的成本

/添加更多模型時可以擴展

基準測試詳細內(nèi)容:https:〃www.oracle,com/myscil/hcatwave/performance/

。呼W@經(jīng)天髭

19

零宕機時間OLTP、OLAP,及ML

通過增加或減少任意數(shù)量的節(jié)點、調(diào)整HeatWave集群的大小

REAL-TIMEELASTICRESIZING

AWSRedshift

Snowflake

Onlyscaleto10-15minutequery

theirsizesblackoutandmanual

balancingrequired

。呼W@經(jīng)天髭

20

挑戰(zhàn)#3:人工管理工作耗時嚴重

人工管理任務(wù)消耗資源

?本地部署*

-數(shù)據(jù)庫管理：配置、備份、HA、補丁、安全等

-操作系統(tǒng)管理：安裝、打補丁、升級……

-基礎(chǔ)設(shè)施管理：服務(wù)器的購買和維護，存儲

-數(shù)據(jù)中心管理：空間、電源、冷卻、災(zāi)難恢復(fù)等

?云1R務(wù)，

-配置：調(diào)整數(shù)據(jù)庫的大小

-數(shù)據(jù)加載：優(yōu)化加載時間，內(nèi)存使用，編碼，數(shù)據(jù)放置

-查詢執(zhí)行：性能調(diào)優(yōu)，查詢的優(yōu)先級排序

-失敗處理：處理錯誤恢復(fù)的操作

。呼叫’?0經(jīng)天髭

基于OCI的MySQLDatabaseService

開發(fā)、管理、支持，100%由Oracle提供

AutomationMySQLOn-PremisesMySQLDatabaseService

的o

Scaling

的o

Backup

Database。o

SecurityPatch&Upgrade

的o

Provision&Configure

。o

OSSecurityPatch&Upgrade

OS。o

OSInstallation

。e

ServerHardwarePurchase&Maintenance

。o

StorageStoragePurchase&Maintenance

的e

Rack&Space

DataCenter的o

Power,HVAC,Networking

。呼W@經(jīng)天髭

23

MySQLHeatWave的基于機器學(xué)習(xí)的安全自動化

ADVISOR

AutoParallelLoading

AutoProvisioningAutoDataPlacement

AutoEncoding

MySQL

Autopilc

Data-driven

Query-driven

MLautomation

AutoScheduling

AutoChangePropagation

AutoErrorRecoveryAutoQueryTimeEstimation

AutoQueryPlanImprovement

AUTOMATED

24

自動部署

機器學(xué)習(xí)預(yù)測內(nèi)存使用以估計集群大小

HeatWave

nodes

。呼W@經(jīng)天髭

25

自動部署結(jié)果

精度高、效率高，全自動

Adaptivesampling

%

s

￡

<0.1%ofdatascannedforprediction

DatasetsTPCH1024GTPCDS1024GCustACustB

Accuracy

inmemory98.4%96.9%98.3%96.9%

prediction

。呼M**&經(jīng)天髭

26

自動數(shù)據(jù)放置

系統(tǒng)根據(jù)查詢預(yù)測并顯示內(nèi)存中分區(qū)數(shù)據(jù)的最佳列

運行時預(yù)測改進o

)Nodata

movement

Workload-aware

placementkeyso

Nodata

oJmovement

Nodata

Jmovement

。呼w@經(jīng)天髭

自動數(shù)據(jù)放置結(jié)果

隨著模型不斷學(xué)習(xí)，性能提高

Timewith

primarykeyPredictedActual

Datasetimprovementimprovement

placement

TPCH1024332sec26%37%

TPCH4096373sec20%25%

。呼W@經(jīng)天髭

28

自動改進查詢計劃

優(yōu)化器根據(jù)前面執(zhí)行的查詢，學(xué)習(xí)和改進查詢計劃

Query#1Query#2

AXBXCAXBUD

NodeStatistics

A70

B150

AXB1000

C

AXBXC

Runtimestats

MySQLAutopilotimprovesTPCH,TPCDS24TBperformanceby40%

29

自動調(diào)度

預(yù)測執(zhí)行時間并對較短的查詢進行優(yōu)先級排序，以減少總體

等待時間

SCHEDULING

Session1

Session2

Session3

減少混合工作的等待時間

(CLIP+OLAP)

。呼W@經(jīng)天髭

30

MySQLHeatWave擴展數(shù)據(jù)管理

重新加載任意數(shù)量的數(shù)據(jù)的時間固定?

Error

x

recoveryd

o

M

Oo

s

p

Restart」

工

P

P

Oo

I

UpgradeXCD

p

4->o

p

(

一

Reload

HeatWave

31。呼M**&經(jīng)天髭

MySQLHeatWave的安全強化

數(shù)據(jù)處于加密狀態(tài)

e

8

a

l

o

-sp

o

A

B

m

H

-

32。呼M**&經(jīng)天髭

高級別的安全性

用于實現(xiàn)額外安全措施的內(nèi)置服務(wù)器功能

?使用密鑰生成和數(shù)字簽名的非對稱加密：使用公鑰和私鑰增加對機密數(shù)據(jù)的

保護，并實現(xiàn)數(shù)字簽名來確認簽署文檔的人的身份。

?數(shù)據(jù)屏蔽和脫敏：幫助保護私人數(shù)據(jù)免受外部攻擊和惡意員工的攻擊。

?數(shù)據(jù)庫防火墻：防止特定于數(shù)據(jù)庫的攻擊，如SQL注入。

蕾

。呼W@經(jīng)天髭

33

公有云

MySQL

HeatWave

OPACLGCLOUD

Infrastructureaws/

對每個云進行優(yōu)化，以提供最佳的性價比

。呼w@經(jīng)天髭

35

MySQLHeatWaveonAWS

?MySQLHeatWave運行在AWS上，針對AWS基礎(chǔ)設(shè)施進行了優(yōu)化

?數(shù)據(jù)不會離開AWS——節(jié)省流量成本，并避免合規(guī)性審批

?訪問MySQLHeatWave最低的延遲

?與AWS生態(tài)系統(tǒng)緊密集成-S3、CloudWatch,PrivateLink

。呼W@經(jīng)天髭

36

MySQLHeatWave為OLTP提供了比Aurora高10倍的吞吐量

自動化線程池

TPC-C_100W(10G,DatafitsinBufferPool)

7000

(

s

/

SMySQLHeatwave

U5o

O

W00

B

S

U

e4o

-00

l

)

l

n38o

d

-n&2o

o00

q」

l

1

00

AmazonAurora

102420484096

Concurrency

*BenchmarkqueriesarederivedfromtheTPC-Cbenchmarks,butresultsarenotcomparabletopublishedTPC-CbenchmarkresultssincethesedonotcomplywiththeTPC-Cspecifications.

37

性價比對比

比Redshift好7倍、比Snowflake好10倍、比BigQuery好12倍、比Synapse好4倍

4TBTPC-H*

(■Heatwave

M10rodn

E

)■Red5hiH

E2*f?34■

dSnowFlakoe

■GoogleBQ

4003、

■AZUW

OWtjOOl

Onlycomputecostsareconsideredhere

PricingforRedshiftisbasedon1-yearreservedinstance,paidupfront.SnovJIakepriceisbasedonstandardedition

PriceforGoogleBigQueryisbasedonmonthlyflatratecommitment.AzureSynapseisbasedon1-yearreservedpricing

“BenchmarkqueriesarederivedfromtheTPC-Hbenchmarks,butresultsarenotcomparabletopublishedTPC-HbenchmarkresultssincethesedonotcomplywiththeTPC-Hspecifications.

。呼M**&經(jīng)天髭

38

MySQLHeatWave控制臺

MySQLHeatwave

CRACl,eInteractiveUIftData

WorkspdOi

85fmm

-MySQLHot

27%□NwntU

OwnptoOBD?Cc4i_1<?4XML.<MNTEJtMM

□M<r?MCe2