在 2.1.0 版本中，StreamPark 團隊修復(fù)了很多依賴包存在的安全風(fēng)險問題，通過了專業(yè)安全工具的檢測，安全性大大提升。支持了最新的 Flink 1.17，修復(fù)了 Hadoop 版本兼容性相關(guān)的歷史 Bug，該版本是 2.0.0 大版本 的增強修復(fù)版，具備更高的可用性和穩(wěn)定性，建議所有用戶升級到這個版本。

下 載 使 用

Github: https://github.com/apache/streampark

官 網(wǎng): https://streampark.apache.org/download

1.核心特性解讀

安全性升級

• Apache StreamPark(Incubating) 2.1.0 在系統(tǒng)安全方面做出多項優(yōu)化升級：
  更為精細(xì)的權(quán)限控制，修復(fù)了權(quán)限越級訪問的問題。

• 修復(fù)重置密碼中的新密碼硬編碼問題，返回隨機密碼，提升系統(tǒng)安全性。

• 完善了用戶管理模塊，嚴(yán)格規(guī)范用戶類型，禁止某一類型用戶以其他登錄類型進入平臺，如 Ldap 用戶以 Password 類型登錄。

• 依賴包升級，解決了平臺發(fā)行包中的中高危漏洞。如：hadoop 升級到 3.3.4、 jackson 升級到 2.13.5、springboot 升級到 2.7.11 等。

• 修復(fù)了 StreamPark 自身所有已知存在的高危安全漏洞。

  支持Flink 1.17

作為流處理開發(fā)管理框架，StreamPark 在對 Apache Flink 的支持上，一如既往的走在前列。得益于 StreamPark 良好的架構(gòu)設(shè)計，使得支持一個新版本的 Flink 非常容易，因此我們率先支持了 Flink 1.17 [1]。在使用上還是一如既往的簡單，用戶只需要添加一個 Flink 1.17 的環(huán)境即可，作業(yè)可以自由的選擇 Flink 版本。

此外我們還修復(fù)了用戶反饋的 Flink Home 沒有刪除功能[2] 的問題，修復(fù)了當(dāng) Flink Home 被作業(yè)引用時，不能修改[3] 等問題。這些改進使得管理 Flink 環(huán)境更加容易。

更加完善的作業(yè)操作記錄

在 StreamPark 2.1.0 中完善了應(yīng)用程序的操作日志記錄，之前的歷史版本中只是記錄了作業(yè)啟動的日志，本次增加了作業(yè)的發(fā)布、啟動、savepoint、停止等完整的操作日志，除了記錄每個操作的名稱、執(zhí)行時間和狀態(tài)之外，還維護了一個異常棧，方便用戶排查問題。

通過這種記錄的方式，使得作業(yè)的操作步驟更加清晰，作業(yè)審計更加容易。操作步驟如果失敗了能夠幫助用戶快速的定位問題，降低用戶使用 StreamPark 開發(fā)、維護作業(yè)的成本。使得作業(yè)的操作邏輯更加完整和自洽，產(chǎn)品體驗更好。

作業(yè)的操作日志

支持外部擴展鏈接

在生產(chǎn)實踐中，為了更好地管理 Flink 作業(yè)，往往需要將這些作業(yè)與外部服務(wù)集成，例如集成實時日志記錄、指標(biāo)監(jiān)控、告警系統(tǒng)等。

StreamPark 作為一站式 Flink DevOps 平臺，如果能夠提供以動態(tài)鏈接的形式集成這些服務(wù)的能力，集中的定義并自動應(yīng)用于每個 Flink 作業(yè)，將會為用戶帶來更多價值。

因此本次我們支持了擴展鏈接[4] 這一特性，擴展鏈接由標(biāo)簽、名稱、顏色和鏈接組成。用戶可以很輕松的制作一個可點擊的徽章，在 Flink Job 啟動時成為可點擊的外部連接，從而可以很方便地跳轉(zhuǎn)到對應(yīng)的外部系統(tǒng)，使得用戶可以多方位地管理和監(jiān)控 Flink 作業(yè)。

添加外部擴展鏈接

使用外部擴展鏈接

支持YARN隊列管理

在實際的生產(chǎn)環(huán)境中，針對 Flink on Yarn 部署模式，用戶通常需要輸入 Yarn Queue 或 Yarn Queue & labels 來指定 on Yarn 模式下的 Flink 應(yīng)用程序的運行隊列。在此過程中，手動輸入可能會導(dǎo)致意外情況發(fā)生，如：指定了不存在的隊列，或?qū)?Flink 應(yīng)用程序、Flink 集群提交到錯誤的隊列等。當(dāng) Yarn 集群中不存在用戶指定的隊列時，部署 Flink 應(yīng)用程序 / Flink 集群的過程將會無意義的耗時，最后提交失敗，帶來糟糕的用戶體驗。由于輸入錯誤而將任務(wù)提交到錯誤的隊列中，帶來資源濫用的情況，可能會影響隊列上已有應(yīng)用程序的穩(wěn)定性。特別是針對大規(guī)模作業(yè)的情況，會帶來作業(yè)管理和治理上的挑戰(zhàn)。

因此在本次的新版本中引入了 Yarn 隊列管理功能[5]，以確保一組添加的隊列在同一團隊內(nèi)共享，也就是確保隊列資源在團隊范圍內(nèi)是隔離的。它不僅確保了隊列和標(biāo)簽輸入的正確性，而且縮短了由于錯誤隊列導(dǎo)致應(yīng)用程序失敗的時間消耗，盡早提示用戶隊列設(shè)置的正確性，帶來更好的使用體驗。并且有效防止濫用隊列資源的情況。

添加YARN隊列

其他改進和更新

• 修復(fù)系統(tǒng)初始化階段在某些特定 Hadoop 版本下，解析配置報 "30s" 格式化錯誤的 Bug #2443
• 修復(fù) Savepoint 時間過長導(dǎo)致的作業(yè)狀態(tài)錯誤的Bug #2452
• 重構(gòu)系統(tǒng)設(shè)置頁面 #2545
• 修復(fù)應(yīng)用管理頁面，當(dāng) Flink 參數(shù)值為浮點數(shù)時，配置不生效的 Bug #2588
• 修復(fù) Kubernetes Session 模式下，無日志輸出的 Bug #2599
• 修復(fù)作業(yè)失敗率頻次相關(guān)參數(shù)配置錯誤的 Bug #2668
• Kubernetes Ingress 多版本適配支持 #2704

2.Release Note

本次 StreamPark 2.1.0 版本的 完整 Release Note 請訪問：https://streampark.apache.org/download/release-note/2.1.0

3.感謝貢獻者

StreamPark 開源社區(qū)的發(fā)展，離不開廣大用戶群體的積極反饋和宣傳布道，更離不開貢獻者們的無私貢獻，感謝對此版本做出貢獻的每一位貢獻者。

致謝名單(排名不分先后)：

BIN、ChunFuWu、Gavin、HaiYang Chen、Inighty、Jiabao Sun、Kick156、Killua、Leomax_Sun、Pan Yuepeng、Roc Marshal、VampireAchao、WSZ、benjobs、chengyuan、gongzhongqiang、lvlin241、lvshaokang、macksonmu、monster、mzzx、sober、tison、totoro、wjcwin、xujiangfeng001、yunli、zhangxiangyang、zhoulii

特別感謝本次的 Release Manager @穆純進[6]，純進在發(fā)版前做了大量測試工作，收集 issue 反饋，有效的保證了版本質(zhì)量，發(fā)版過程中積極的跟蹤問題和推進進度，完美勝任了此次發(fā)版工作。感謝純進為社區(qū)做出的貢獻，也歡迎其他 PPMC member 和 Committer 在后續(xù)的發(fā)版中擔(dān)任 Release Manager，幫助社區(qū)更快捷、高質(zhì)量地完成發(fā)版。

什么是StreamPark

StreamPark 是一個流處理應(yīng)用程序開發(fā)管理框架。初衷是讓流處理更簡單，旨在輕松構(gòu)建和管理流處理應(yīng)用程序，提供使用 Apache Flink 和 Apache Spark 編寫流處理應(yīng)用程序的開發(fā)框架，未來將支持更多其他引擎。同時，StreamPark 提供了一個流處理應(yīng)用管理平臺，核心能力包括但不限于應(yīng)用開發(fā)、調(diào)試、交互查詢、部署、運維、實時數(shù)倉等，最初開源時項目名稱叫 StreamX ，于 2022 年 8 月更名為 StreamPark[7]，隨后通過投票正式成為 Apache 開源軟件基金會的孵化項目。

加入我們

StreamPark 社區(qū)一直以來都以用心做好一個項目為原則，高度關(guān)注項目質(zhì)量，努力建設(shè)發(fā)展社區(qū)。加入 Apache 孵化器以來，認(rèn)真學(xué)習(xí)和遵循「The Apache Way」，我們將秉承更加兼容并包的心態(tài)，迎接更多的機遇與挑戰(zhàn)。誠摯歡迎更多的貢獻者參與到社區(qū)建設(shè)中來，和我們一道攜手共建。

?? 項目地址：https://github.com/apache/streampark
?? 提交問題和建議：https://github.com/apache/streampark/issues
?? 貢獻代碼：https://github.com/apache/streampark/pulls
?? Proposal：https://cwiki.apache.org/confluence/display/INCUBATOR/StreamPark+Proposal
?? 訂閱社區(qū)開發(fā)郵件列表：dev@streampark.apache.org [8]

參考資料

[1] https://nightlies.apache.org/flink/flink-docs-release-1.17/release-notes/flink-1.17
[2] https://github.com/apache/streampark/pull/2582
[3] https://github.com/apache/streampark/pull/2615
[4] https://github.com/apache/streampark/pull/2375
[5] https://github.com/apache/streampark/pull/2317
[6] https://github.com/macksonmu
[7] https://github.com/apache/streampark/issues/1335
[8] mailto:dev@streampark.apache.org 祝大家安裝、升級順利~~