Databend 是一款現(xiàn)代云數(shù)倉。專為彈性和高效設(shè)計，為您的大規(guī)模分析需求保駕護航。自由且開源。即刻體驗云服務(wù)：https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新進展，遇到更貼近你心意的 Databend 。
后臺服務(wù)
Databend 的內(nèi)置存儲引擎 FuseTable 是一種與 Apache Iceberg 類似的日志結(jié)構(gòu)表，需要定期執(zhí)行表壓縮、重聚類和清理以合并小數(shù)據(jù)塊。小數(shù)據(jù)塊合并的過程會涉及按聚類鍵排序數(shù)據(jù)或清理不需要的分支等階段。
先前的實現(xiàn)需要使用不同的驅(qū)動，增加了基礎(chǔ)設(shè)施的復(fù)雜性。而且必須部署和維護其他服務(wù)來觸發(fā)驅(qū)動事件。為簡化這一過程，我們實現(xiàn)了一個后臺服務(wù)，允許 Databend 執(zhí)行后臺單次作業(yè)或以守護進程模式運行 cron 作業(yè)。這些作業(yè)可以根據(jù)條件觸發(fā)自動壓縮/清理/重新聚類等表維護任務(wù)，而無需其他服務(wù)介入。
此實現(xiàn)包括：
- 完整的 metasrv 模式定義，以及后臺作業(yè)與后臺任務(wù)的設(shè)計實現(xiàn)。
- 用于在元服務(wù)上更新和維護后臺作業(yè)與后臺任務(wù)狀態(tài)的 API 。
- 支持
one_shot、interval、cron等不同作業(yè)類型的作業(yè)調(diào)度器實現(xiàn)。
后臺服務(wù) 需要升級至 企業(yè)版 。如需了解升級信息，請聯(lián)系 Databend 團隊 。
如果你想要了解更多信息，請查看下面列出的資源。
Code Corner
一起來探索 Databend 和周邊生態(tài)中的代碼片段或項目。
IceLake - Iceberg 的純 Rust 實現(xiàn)
Iceberg 是為分析數(shù)據(jù)集設(shè)計的開放表格式標(biāo)準(zhǔn)。然而，目前 Rust 生態(tài)中缺乏成熟的 Iceberg 綁定，使其難以與像 Databend 這樣的數(shù)據(jù)庫系統(tǒng)集成。
IceLake 旨在填補這一空白，其致力于建立一個開放生態(tài)系統(tǒng)：
- 用戶可以從 任何 存儲服務(wù)（如 s3、gcs、azblob、hdfs 等）讀寫 Iceberg 表。
-
任何 數(shù)據(jù)庫都可以集成
icelake，以支持讀寫 Iceberg 表。 - 提供原生的
arrow格式互轉(zhuǎn)換的能力。 - 提供多種語言綁定，使其他語言可以享有 Rust 核心帶來的 Iceberg 生態(tài)支持。
如果你想要了解更多信息，請查看下面列出的資源。
亮點
以下是一些值得注意的事件，也許您可以找到感興趣的內(nèi)容。
- 新增對 MERGE JOIN 的支持。
- 為 CSV 格式實現(xiàn)列位置支持。
- 閱讀 Docs | Computed Columns 以了解如何使用計算列，以及在選擇使用何種類型計算列時的一些考量。
- 閱讀 Docs | Subquery-Based Deletions 以理解如何使用子查詢和比較運算實現(xiàn)刪除。
What's Up Next
我們始終對前沿技術(shù)和創(chuàng)新理念持開放態(tài)度，歡迎您加入社區(qū)，為 Databend 注入活力。
為COPY INTO 支持 VALIDATION_MODE
我們希望為 Databend 的 COPY INTO 語句支持 VALIDATION_MODE ，以驗證需要載入的數(shù)據(jù)，并根據(jù)驗證選項返回結(jié)果。
-
RETURN_ERRORS: 此模式驗證數(shù)據(jù)并返回所有錯誤。 -
RETURN_<number>_ROWS: 此模式驗證<number>行數(shù)據(jù)。如果沒有錯誤，就返回數(shù)據(jù)載入后應(yīng)當(dāng)產(chǎn)生的信息。否則，報告對應(yīng)的錯誤信息。
Issue #11582 | Feature: copy support VALIDATION_MODE
如果你對這個主題感興趣，可以嘗試解決其中的部分問題或者參與討論和 PR review ?；蛘?，你可以點擊 https://link.databend.rs/i-m-feeling-lucky 來挑選一個隨機問題，祝好運！
New Contributors
一起認(rèn)識社區(qū)中的新伙伴，Databend 因你們而變得更加美好。
- @jonahgao 修復(fù)邏輯測試中 MySQLClient 的列類型，#11718 。
-
@akoshchiy 更新
MACOSX_DEPLOYMENT_TARGET值以滿足z3-sys的需要，#11783 。
Changelog
前往查看 Databend 每日構(gòu)建的變更日志，以了解開發(fā)的最新動態(tài)。
地址：https://github.com/datafuselabs/databend/releases
Contributors
非常感謝貢獻者們在本周的卓越工作。
