在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，企業(yè)對(duì)數(shù)據(jù)分析和洞察的需求日益增長(zhǎng)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在處理大規(guī)模數(shù)據(jù)時(shí)，往往面臨性能瓶頸，比如存儲(chǔ)大、處理速度慢、數(shù)據(jù)分析模型固定靈活性較低、運(yùn)維成本高等，而分析型數(shù)據(jù)庫(kù)（Apache Doris）以其卓越的性能和高效的數(shù)據(jù)處理能力，正在改變這一現(xiàn)狀，SelectDB 作為基于 Apache Doris 構(gòu)建的現(xiàn)代化數(shù)據(jù)倉(cāng)庫(kù)， 支持大規(guī)模實(shí)時(shí)數(shù)據(jù)上的極速查詢分析。

早期的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)往往存在以下的痛點(diǎn)：

依賴組件多。大部分的數(shù)據(jù)倉(cāng)庫(kù) 在 2.x、3.x 版本中強(qiáng)依賴 Hadoop 和 HBase ，應(yīng)用組件較多導(dǎo)致開發(fā)鏈路較長(zhǎng)，架構(gòu)穩(wěn)定性隱患多，維護(hù)成本比很高。

構(gòu)建過程復(fù)雜，構(gòu)建任務(wù)容易失敗。構(gòu)建需要進(jìn)行打?qū)挶?、去重列、生成字典，?gòu)建 Cube 等如果每天有 1000-2000 個(gè)甚至更多的任務(wù)，其中至少會(huì)有 10 個(gè)甚至更多任務(wù)構(gòu)建失敗，導(dǎo)致需要大量時(shí)間去寫自動(dòng)運(yùn)維腳本。

維度/字典膨脹嚴(yán)重。維度膨脹指的是在某些業(yè)務(wù)場(chǎng)景中需要多個(gè)分析條件和字段，如果在數(shù)據(jù)分析模型中選擇了很多字段而沒有進(jìn)行剪枝，則會(huì)導(dǎo)致 Cube 維度膨脹嚴(yán)重，構(gòu)建時(shí)間變長(zhǎng)。而字典膨脹指的是在某些場(chǎng)景中需要長(zhǎng)時(shí)間做全局精確去重，會(huì)使得字典構(gòu)建越來(lái)越大，構(gòu)建時(shí)間也會(huì)越來(lái)越長(zhǎng)，從而導(dǎo)致數(shù)據(jù)分析性能持續(xù)下降。

數(shù)據(jù)分析模型固定，靈活性較低。在實(shí)際應(yīng)用過程中，如果對(duì)計(jì)算字段或者業(yè)務(wù)場(chǎng)景進(jìn)行變更，則要回溯部分甚至全部數(shù)據(jù)。

不支持?jǐn)?shù)據(jù)明細(xì)查詢。早期數(shù)倉(cāng)架構(gòu)是無(wú)法提供明細(xì)數(shù)據(jù)查詢的，Kylin 官方給的解決方法是下推給 Presto 做明細(xì)查詢，這又引入了新的架構(gòu)，增加了開發(fā)和運(yùn)維成本。

現(xiàn)代分析型數(shù)據(jù)庫(kù)（Apache Doris）架構(gòu)的優(yōu)勢(shì)：

極簡(jiǎn)運(yùn)維，維護(hù)成本低，不依賴 Hadoop 生態(tài)組件。Apache Doris 的部署簡(jiǎn)單，只有 FE 和 BE 兩個(gè)進(jìn)程， FE 和 BE 進(jìn)程都是可以橫向擴(kuò)展的，單集群支持到數(shù)百臺(tái)機(jī)器，數(shù)十 PB 的存儲(chǔ)容量，并且這兩類進(jìn)程通過一致性協(xié)議來(lái)保證服務(wù)的高可用和數(shù)據(jù)的高可靠。這種高度集成的架構(gòu)設(shè)計(jì)極大的降低了一款分布式系統(tǒng)的運(yùn)維成本。

鏈路短，開發(fā)排查問題難度大大降低。基于 Doris 構(gòu)建實(shí)時(shí)和離線統(tǒng)一數(shù)倉(cāng)，支持實(shí)時(shí)數(shù)據(jù)服務(wù)、交互數(shù)據(jù)分析和離線數(shù)據(jù)處理場(chǎng)景，這使得開發(fā)鏈路變的很短，問題排查難度大大降低。

支持 Runtime 形式的 Join 查詢。Runtime 類似 MySQL 的表關(guān)聯(lián)，這對(duì)數(shù)據(jù)分析模型頻繁變更的場(chǎng)景非常友好，解決了早期結(jié)構(gòu)數(shù)據(jù)模型靈活性較低的問題。

同時(shí)支持 Join、聚合、明細(xì)查詢。解決了早期架構(gòu)中部分場(chǎng)景無(wú)法查詢數(shù)據(jù)明細(xì)的問題。

支持多種加速查詢方式。支持上卷索引，物化視圖，通過上卷索引實(shí)現(xiàn)二級(jí)索引來(lái)加速查詢，極大的提升了查詢響應(yīng)時(shí)間。

支持多種聯(lián)邦查詢方式。支持對(duì) Hive、Iceberg、Hudi 等數(shù)據(jù)湖和 MySQL、Elasticsearch 等數(shù)據(jù)庫(kù)的聯(lián)邦查詢分析。

新的數(shù)倉(cāng)在速度上的優(yōu)勢(shì)，具體我們來(lái)看看數(shù)據(jù)上的表現(xiàn)吧！

以下將簡(jiǎn)述分析型數(shù)據(jù)庫(kù)在多個(gè)公開標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集上的優(yōu)異性能表現(xiàn)，揭示其如何助力企業(yè)實(shí)現(xiàn)更快速、更準(zhǔn)確的數(shù)據(jù)洞察。

我們通過使用 3 臺(tái) 16core, 64GB 云主機(jī)測(cè)試, SF100 得出以下結(jié)論（測(cè)試數(shù)據(jù)圖如下）：

1、多表關(guān)聯(lián)復(fù)雜查詢場(chǎng)景 Doris 2.0 性能相比 Doris0.15 提升 13 倍,相比其他的 MPP 數(shù)據(jù)庫(kù)有明顯優(yōu)勢(shì)；

2、單表場(chǎng)景 Doris 2.0 性能相比 Doris 0.15 提升 10 倍,相比擅長(zhǎng)單表的 CK 有優(yōu)勢(shì)；

從上面的測(cè)試數(shù)據(jù)看，不管是多表關(guān)聯(lián)復(fù)雜查詢場(chǎng)景還是單表場(chǎng)景 Doris 2.0 都比傳統(tǒng)的 Doris 0.15 要提升了 10 倍以上?，F(xiàn)在你對(duì)于分析型數(shù)據(jù)庫(kù)（Apache Doris）以及分析性能的速度到底有多快有一定的概念和理解了嗎？

Apache Doris 憑借其靈活的查詢模型、極低的運(yùn)維成本、短平快的開發(fā)鏈路以及優(yōu)秀的查詢性能等諸多方面優(yōu)勢(shì)，如今已經(jīng)在實(shí)時(shí)業(yè)務(wù)運(yùn)營(yíng)、自助/對(duì)話式分析等多個(gè)業(yè)務(wù)場(chǎng)景得到運(yùn)用，滿足了設(shè)備畫像/用戶標(biāo)簽、業(yè)務(wù)場(chǎng)景實(shí)時(shí)運(yùn)營(yíng)、數(shù)據(jù)分析看板、自助 BI、財(cái)務(wù)對(duì)賬等多種數(shù)據(jù)分析需求。

基于 Apache Doris 構(gòu)建的現(xiàn)代化數(shù)據(jù)倉(cāng)庫(kù) SelectDB， 支持大規(guī)模實(shí)時(shí)數(shù)據(jù)上的極速查詢分析，當(dāng)前市場(chǎng)上 SelectDB 研發(fā)的 SelectDB 產(chǎn)品被廣泛使用。

在未來(lái)，隨著數(shù)據(jù)量的不斷增長(zhǎng)和技術(shù)的不斷創(chuàng)新，SelectDB 將在更多領(lǐng)域發(fā)揮重要作用。從金融行業(yè)的風(fēng)險(xiǎn)管理到醫(yī)療領(lǐng)域的疾病預(yù)測(cè)，從電商平臺(tái)的用戶行為分析到政府部門的政策效果評(píng)估，Apache Doris 等分析型數(shù)據(jù)庫(kù)將為企業(yè)提供更快速、更準(zhǔn)確的數(shù)據(jù)洞察，助力企業(yè)實(shí)現(xiàn)更高效、更智能的決策。