一、寫在前頭
在寫上一篇【數(shù)據(jù)庫評測】Cloudwave 4.0 集群版(4節(jié)點) VS Starrocks 3.0 集群版(4節(jié)點)
，評測的過程中，意外發(fā)現(xiàn)starrocks3.0版本在我預(yù)先設(shè)置hdfs副本數(shù)=2的配置下，自行把starrocks自己的hdfs副本數(shù)改成3。為了保持環(huán)境的一致性，七鏡還是決定測一測Cloudwave4.0在hdfs副本數(shù)=3的配置下，是什么表現(xiàn)。
二、評測環(huán)境
- 硬件環(huán)境：4臺 64核256g 云服務(wù)器（組成4節(jié)點的集群），essd pl1 高效云盤
- 軟件環(huán)境：jdk19（Cloudwave4.0官方推薦版本，官方基于jdk19版本里頭的的vector api，實現(xiàn)全面向量化引擎）、jdk8（starrocks安裝推薦jdk版本，主要用于fe，亦可少踩坑）、mysql8（作為starrocks的客戶端）、hadoop 3.2.2（作為cloudwave 和 starrocks 共同的分布式存儲，副本數(shù)=3）
- 軟件版本：Cloudwave 4.0（最新版在2023年5月份發(fā)版），Starrocks 3.0（最新版在2023年4月份發(fā)版）
- 評測數(shù)據(jù)集：ssb1000
| 表名 | 行數(shù) | 說明 |
|---|---|---|
| lineorder | 60 億 | SSB 商品訂單表 |
| customer | 3000 萬 | SSB 客戶表 |
| part | 200 萬 | SSB 零部件表 |
| supplier | 200 萬 | SSB 供應(yīng)商表 |
| dates | 2556 | 日期表 |
三、評測方法
- 執(zhí)行19輪測試腳本，每輪執(zhí)行13條標(biāo)準(zhǔn)測試sql，去除第1輪的測試數(shù)據(jù)(由于IO原因，第1次查詢兩邊的性能均受IO影響，本測試主要測數(shù)據(jù)庫引擎的算法在同等計算資源的條件下的優(yōu)劣，因此去除第一輪測試數(shù)據(jù))，將余下的18輪測試數(shù)據(jù)做平均，獲得每條sql的平均耗時;
- 觀察最大CPU占用
- 觀察存儲壓縮比
- 觀察數(shù)據(jù)加載時間
多表聯(lián)合join測試
- 測試方法：執(zhí)行19輪SQL測試腳本，每輪執(zhí)行1條多表聯(lián)合join拓展測試sql，去除第1輪的測試數(shù)據(jù)(由于IO原因，第1次查詢兩邊的性能均受IO影響，本測試主要測數(shù)據(jù)庫引擎的算法在同等計算資源的條件下的優(yōu)劣，因此去除第一輪測試數(shù)據(jù))，將余下的18輪測試數(shù)據(jù)做平均，獲得sql的平均耗時
- 觀察最大CPU占用
- 統(tǒng)計耗時
- 多表聯(lián)合join拓展測試SQL1:select count(*) from lineorder,customer where lo_custkey = c_custkey;
- 多表聯(lián)合join拓展測試SQL2:select count(*) from lineorder,customer,supplier where lo_custkey = c_custkey and lo_suppkey = s_suppkey;
四、開始測試cloudwave4.0
1. 配置hdfs的副本數(shù)=3
2. 加載ssb1000數(shù)據(jù)
- 使用的也是57分37秒
3. 查看壓縮比
- ssb1000原始數(shù)據(jù)的文件系統(tǒng)占用為606G，導(dǎo)入到Cloudwave4.0之后，是360G，壓縮比還是59%(360g/606g)
4. 測試13條標(biāo)準(zhǔn)測試SQL
- 從上圖可以看到CPU最大占用是89.5%(5731%/6400%)
- 從上圖可以看到13條標(biāo)準(zhǔn)SQL的總耗時，19輪查詢?nèi)サ舻谝惠啿樵兊钠骄臅r是：7.42秒
四、評測結(jié)論
結(jié)合Starrocks3.0的測試數(shù)據(jù)，匯總出下表
Cloudwave4.0集群版在4臺64核256g內(nèi)存的云服務(wù)器上，hdfs副本數(shù)=3的環(huán)境下，測ssb1000國際標(biāo)準(zhǔn)測試集，優(yōu)于Starrocks3.0集群版近0.4倍
[附]13條標(biāo)準(zhǔn)測試SQL測試結(jié)果表：
| 數(shù)據(jù)庫 | 數(shù)據(jù)集 | 響應(yīng)時間（s） | CPU 最大占用率 | 存儲壓縮比 | 數(shù)據(jù)導(dǎo)入時間 |
|---|---|---|---|---|---|
| Cloudwave4.0 | ssb1000 | 7.416 | 89.5%(5731%/6400%) | 59%(360g/606g) | 57分37秒 |
| Starrocks3.0 | ssb1000 | 10.397 | 66.6%(4266%/6400%) | 169%(1024g/606g) | 112分鐘 |
翰云云原生數(shù)據(jù)倉庫（Cloudwave4.0）未來可期，七鏡后續(xù)還將帶來翰云云原生數(shù)倉在S3對象存儲上的性能表現(xiàn)、更大的數(shù)據(jù)集上的表現(xiàn)、不同的數(shù)據(jù)集上的表現(xiàn)、以及在云的加持下，Cloudwave4.0的云原生架構(gòu)是如何發(fā)揮其自身優(yōu)勢的，敬請期待。
