關(guān)于 Apache Pulsar
Apache Pulsar 是 Apache 軟件基金會頂級項目,是下一代云原生分布式消息流平臺,集消息、存儲、輕量化函數(shù)式計算為一體,采用計算與存儲分離架構(gòu)設(shè)計,支持多租戶、持久化存儲、多機房跨區(qū)域數(shù)據(jù)復制,具有強一致性、高吞吐、低延時及高可擴展性等流數(shù)據(jù)存儲特性。
導語
各位小伙伴們,Pulsar 社區(qū)周報來啦!
本次 Pulsar 社區(qū)周報,為大家呈現(xiàn) Pulsar transaction、broker、metrics、client 等方面內(nèi)容,幫助社區(qū)小伙伴們掌握 Pulsar 項目及社區(qū)進展,也方便大家更好地參與到 Pulsar 社區(qū)中來!
感謝近兩周以下小伙伴為 Apache Pulsar 添磚加瓦(排名不分先后,看看你有沒有上榜): @gaoran10、@315157973、@zhanghaou、@hangc0276、@Technoboy-、@equanz、@srkukarni@codelipenghui、@MarvinCai、@aloyszhang、@kellyfj、@zymap、@wolfstudy、@jerrypeng、@cimura、@tuteng、@jianyun8023、@Jennifer88huang、@RobertIndie、@BewareMyPower、@massakam、 @Bklyn
接下來,一起看看 08-22 ~ 09-04 有哪些值得你關(guān)注的進展吧!
重要特性
- 因為 PR 較多,僅列舉較大 PR 進展,不包括全部動態(tài)
- 下面 PR 均已合入 Pulsar 主分支
-
[Transaction] 處理事務(wù)中的消息確認。
-
[Transaction] 支持對分區(qū)事務(wù)的異常終止。
-
[Transaction] 優(yōu)化消費事務(wù)型消息的邏輯。
-
[Topic Policy] 支持在 Topic 級別設(shè)置、獲取和移除
inactiveTopicPolicies。 -
[Topic Policy] 支持在 Topic 級別設(shè)置卸載策略。
-
[Topic Policy] 支持在 Topic 級別設(shè)置、獲取和移除
maxProducers。 -
[Topic Policy] 支持在 Topic 級別設(shè)置、獲取和移除壓縮閾值。
-
[Broker] Pulsar Functions 的消費者/生產(chǎn)者屬性支持主機名。
-
[Broker] Pulsar primitive schema 支持 Java 8 日期和時間類型。
-
[Broker] BatchPushSource 支持異步通知錯誤。
-
[Broker] 支持在 Topic 級別上設(shè)置消息發(fā)送速率的流控。
重要 Bug 修復
- 因修復內(nèi)容較多,僅列舉較重要修復內(nèi)容,不包括全部動態(tài)
- 下面修復均已合入 Pulsar 主分支
-
[Broker] 修復 broker 端確認消息時出現(xiàn)的 NPE(空指針異常)問題。
-
[Broker] 在 Key_Shared 訂閱模式下,當消費者無法消費消息造成臨時跳過消息時,暫停發(fā)布消息。
-
[Metrics] 修復提供錯誤信息的 Pulsar metrics。
-
[CPP Client] 確保 BatchAcknowledgementTracker 和 UnAckedMessageTrackerEnabled 的 clear() 方法線程安全。
-
[Broker] 通過 Ledger ID 劃分消息范圍,并將其存儲在 individualDeletedMessages 中。
-
[Broker] 修復添加消費者時發(fā)生的死鎖問題。
-
[CPP Client] 異常處理中,拋出 std::exception 類來代替 char*。
活動和新聞
-
TGIP 每周直播:Pulsar 及其生態(tài)系統(tǒng)
- 點擊此處,獲取以往視頻鏈接
8月25日: StreamNative 在線研討會 - "Managing Real-Time Data Teams"
主講人: Jesse Anderson,Big Data Institute 大數(shù)據(jù)專家。
ppt 鏈接:https://www.slideshare.net/JesseAnderson/managing-realtime-data-teams
研討會回放鏈接:https://www.youtube.com/watch?v=Owl_ncQbVwk
活動預(yù)告
- TGIP-CN 025 答疑專場,有問題您就來
本周日 TGIP 會對近期社區(qū)小伙伴提出的問題進行解答,由 Apache Pulsar PMC 成員李鵬輝為大家線上答疑解惑。 點擊此處報名參加
- Pulsar Summit Asia 2020 官網(wǎng)上線,正式開始演講征集
大會官網(wǎng):https://pulsar-summit.org/zh/event/asia-2020
-
09/09: "Apache Pulsar: Under the Hood for Java Developers"
分享嘉賓:Addison Higham
推薦閱讀
Apache Pulsar 2.6.1 版本更新,詳情閱讀博客:
https://streamnative.io/blog/tech/2020-08-21-pulsar-261Apache Pulsar 社區(qū)貢獻者人數(shù)突破 300 位
https://streamnative.io/blog/tech/2020-08-24-pulsar-300-contributors-
《The role of Apache BookKeeper in Apache Pulsar - part 1》
作者:Bartosz Konieczny
文章鏈接:https://www.waitingforcode.com/apache-pulsar/role-apache-bookkeeper-apache-pulsar-part-1/read
-
《10 Reasons for Choosing Apache Pulsar over Apache Kafka》
作者:Maximilian Michels
文章鏈接:https://maximilianmichels.com/2020/apache-pulsar-vs-apache-kafka/
=============
作為全球性開源項目,截至 2020 年 9 月 4 日,Apache Pulsar 已擁有超出 300 名貢獻者、6.5K+ Star、1.6K+ Fork,最新版本為 2.6.1。正是由于分布在全球各地的社區(qū)開發(fā)者的貢獻,才使得 Apache Pulsar 項目不斷發(fā)展與前進。
讓我們期待下一周的 Apache Pulsar 周報!
如果你也想為 Apache Pulsar 項目出一份力、成為我們的 Contributor,參考下面鏈接,來加入我們吧: