利用AWS DMS遷移AWS RDS到Auroa測試報(bào)告

1.? ? 測試環(huán)境:

Source:RDS MySQL 5.7.26, db.r4.2xlarge,1TB GP2

Target:? Aurora 2.04.6 (5.7), db.r5.2xlarge

DMS實(shí)例: dms.r4.large

測試數(shù)據(jù):https://github.com/mengchengtech/tidb-tpcds-kit

????? 120GB,9.4億條記錄

2.? ? DMS配置

·? ? ? ?創(chuàng)建復(fù)制實(shí)例

·? ? ? ?創(chuàng)建源終端節(jié)點(diǎn)


·? ? ? ?創(chuàng)建目標(biāo)終端節(jié)點(diǎn)


·? ? ? ?創(chuàng)建遷移任務(wù)

遷移類型可以選擇 單次數(shù)據(jù)遷移,或者 持續(xù)復(fù)制。


建議選上 日志 和驗(yàn)證。


指定架構(gòu)的名字(即數(shù)據(jù)庫名)




3.? ? 開始復(fù)制數(shù)據(jù)

·? ? ? ?源庫各表記錄數(shù):


table_nametable_rowsdata_length

inventory??????? 385,317,579??????? 18,937,282,560

store_sales??????? 288,715,407??????? 42,948,411,392

catalog_sales??????? 130,677,583??????? 29,370,335,232

web_sales????????? 72,671,970??????? 15,679,062,016

store_returns????????? 36,079,933????????? 5,809,930,240

catalog_returns????????? 16,721,880????????? 3,941,384,192

web_returns??????????? 7,409,714????????? 1,850,638,336

customer??????????? 1,922,237???????????? 456,081,408

customer_demographics??????????? 1,911,871???????????? 149,585,920

customer_address?????????????? 988,383???????????? 171,638,784

item?????????????? 196,475???????????? 113,917,952

time_dim????????????????? 85,888??????????????? 11,026,432

date_dim????????????????? 72,540??????????????? 11,026,432

catalog_page????????????????? 20,300?????????????????

? 3,686,400

household_demographics??????????????????? 7,311????????????????? ???425,984

web_page??????????????????? 2,020? ? ? ? ?344,064

promotion??????????????????? 1,000? ? ? ? ? ?229,376

store?????????????????????? 402? ? ? ? ? ?163,840

reason? ? ? ? ? ? ? ? ? ? ? ?55? 16,384

call_center? ? ? ? ? ? 30? 16,384

web_site? ? ? ? ? ? ?24? 16,384

income_band? ? ? ? ? ? ?20? 16,384

ship_mode? ? ? ? ? ? ? 20? 16,384

warehouse? ? ? ? ? ? ? ? ? ? ? 15 16,384


·? ? ? ?啟動(dòng)DMS任務(wù):


37分鐘 之后




1小時(shí)以后




DMS實(shí)例指標(biāo)


Aurora指標(biāo)



1.5小時(shí)之后



2小時(shí)之后



·? ? ? ?測試CDC任務(wù):

insert intowarehouse

values

('16','AAAAAAAAPAAAAAAA', 'Please central m', '418158', '779', 'Ash Center', 'Ct.','Suite H', 'Centerville', 'Walker County', 'AL', '30059', 'United States','-6.00');


deletefrom warehouse

wherew_warehouse_sk = '16';


updatewarehouse

setw_warehouse_id='AAAAAAAAWAAAAAAA'

wherew_warehouse_sk = '15';


altertable warehouse

addcolumn (testcolumn varchar(255) default '');


4.? ? 結(jié)論

·? ? ? ?總體速度 60GB/小時(shí)

·? ? ? ?個(gè)別大表會(huì)影響整體速度,比如上述測試中,半小時(shí)后只剩下4張表,一小時(shí)后只剩下2張表。

·? ? ? ?如果需要加快整體速度,可以把大表分塊進(jìn)行。

·? ? ? ?CDC需要啟用binlog ROW格式,可以支持DML和DDL。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容