前言 在日常的數(shù)據(jù)開發(fā)工作中，大家經(jīng)常會(huì)在編寫復(fù)雜的Spark SQL查詢時(shí)，使用WITH子句定義公共表表達(dá)式（common table expression, CTE）來簡...
發(fā)簡信
IP屬地：天津
-
糖分過量有害健康：關(guān)于重復(fù)引用的Spark SQL CTE -
小龍蝦的增強(qiáng)上下文管理：淺談OpenClaw Context Engine、LCM和lossless-claw前言 筆者自己養(yǎng)小龍蝦已有月余，燒了不少token，也親眼見證了OpenClaw的快速迭代。 近期上線的OpenClaw 2026.3.7版本提出了一項(xiàng)非常重要的更新——上下...
-
你不一定需要拉鏈表——從數(shù)倉變化維度處理說起前言 現(xiàn)在是2026年，在全員all in AI、人人言必稱agentic coding的時(shí)代，聊這種old-school話題或許顯得有些無趣。但是請別忘了：正是這些看起來...
-
幾行代碼快速實(shí)現(xiàn)小語種歌詞轉(zhuǎn)錄前言 情人節(jié)快樂！馬上過年了，寫點(diǎn)不費(fèi)腦子的小東西。 筆者日常聽歌以J-Pop、J-Rock、ACG、拉丁音樂為主，語言主要是日語、西班牙語等小語種，經(jīng)常遇到歌詞不全或完全找...
-
基于LSM Tree Hudi表的超大流量準(zhǔn)實(shí)時(shí)入湖實(shí)踐前言 去年12月，JDR大佬聯(lián)合部分社區(qū)大佬舉辦了一場Apache Hudi Meetup（Ref.：https://blog.csdn.net/zheli1969917/a...
-
關(guān)于有狀態(tài)Flink作業(yè)改變Kafka Consumer UID后位點(diǎn)跳變到EARLIEST這檔事前言 這是很多Flink用戶不太注意的一個(gè)隱藏得比較深的坑（嚴(yán)格來講不算bug），近期組內(nèi)同學(xué)頻繁踩坑，故十分有必要快速記錄一下，以提請注意。 復(fù)現(xiàn)問題 用戶意圖：將有狀態(tài)F...
-
本地部署DeepSeek R1與RAG簡單實(shí)驗(yàn)前言 疊個(gè)甲，流水賬，非專業(yè)，只是蹭一下DeepSeek的熱度（ 實(shí)驗(yàn)環(huán)境為家用PC，配備NVidia GeForce RTX 4090D顯卡、AMD銳龍9 9950X處理器...
-
「Transistor」又到了一年一度揭曉冠軍單曲的時(shí)間~ 2024年的Top 1是來自著名二人組「Endorfin.」的「Transistor」[https://y.qq.com/n/ryqq/s...
-
Flink RocksDB狀態(tài)縮放加速：RocksDB原生DeleteRange原理簡析又見Rescale 筆者在很久之前的一篇文章（傳送門[http://www.itdecent.cn/p/f0a13f98dac2]）中講解過Flink的狀態(tài)縮放（Resca...
-
再談Java類型擦除與其對Flink類型和序列化的影響前言 本文前半部分的內(nèi)容在很久之前講過，但是最近又有交接到團(tuán)隊(duì)內(nèi)的歷史任務(wù)出現(xiàn)這方面導(dǎo)致的性能問題，故有必要再講一次，并擴(kuò)展一部分新內(nèi)容。先通過兩個(gè)例子來引入Java類型擦除...
-
Java bug搬運(yùn)工，小數(shù)據(jù)攻城獅^O^
-
StarRocks Elasticsearch Catalog原理簡析前言 Elasticsearch不僅是強(qiáng)大的全文搜索引擎，在很多場景下（特別是TiDB、ShardingSphere等框架成熟之前）也被當(dāng)做分布式HTAP數(shù)據(jù)庫使用，在存儲(chǔ)、...
-
「渋谷アクアリウム」（澀谷水族館）重操舊業(yè)。 2024年4月動(dòng)畫《夜晚的水母不會(huì)游泳》第5話插曲https://y.qq.com/n/ryqq/songDetail/498420410?songtype=0[...
-
淺談SIMD、向量化處理及其在StarRocks中的應(yīng)用前言 單指令流多數(shù)據(jù)流（SIMD）及其衍生出來的向量化處理技術(shù)已經(jīng)有了相當(dāng)?shù)臍v史，并且也是高性能數(shù)據(jù)庫、計(jì)算引擎、多媒體庫等組件的標(biāo)配利器。筆者在兩年多前曾經(jīng)做過一次有關(guān)該主...
-
聊聊存算分離StarRocks的垃圾清理機(jī)制前言 大家已經(jīng)了解，StarRocks的更新模型、主鍵模型等在Flush和Compaction過程中會(huì)產(chǎn)生歷史版本數(shù)據(jù)，這些垃圾數(shù)據(jù)需要及時(shí)被清理，以防止存儲(chǔ)空間浪費(fèi)。而St...
-
大數(shù)據(jù)集群Linux系統(tǒng)參數(shù)預(yù)調(diào)優(yōu)指南前言 當(dāng)我們自建大數(shù)據(jù)集群（如OLAP集群、實(shí)時(shí)計(jì)算集群、分布式存儲(chǔ)集群、全文搜索集群等）的時(shí)候，除了硬件資源要合理配備外，在操作系統(tǒng)層面也要進(jìn)行一些事前配置，讓大數(shù)據(jù)組件能...
-
淺談Deletion Vector及其在StarRocks中的應(yīng)用前言 我們知道，列式存儲(chǔ)的數(shù)據(jù)組織形式使得它適合海量數(shù)據(jù)在線查詢、分析的場景，而寫入性能相對于讀取性能似乎并不那么重要（傳統(tǒng)的ORC / Parquet on Hive方案就...
-
「Excαlibur」因?yàn)榭缒暧心藓绯鲇斡?jì)劃，所以稍微打破一下傳統(tǒng)，選在平安夜發(fā)布2023年度最佳單曲。 今年的Top 1是來自著名Indie樂團(tuán)Mili的「Excαlibur」，同時(shí)是近十年來所...
-
簡析StarRocks JNI Connector及其在數(shù)據(jù)湖Reader中的應(yīng)用前言 最近在進(jìn)行StarRocks與數(shù)據(jù)湖集成方面的一些工作（重點(diǎn)是SR 3.2與Paimon 0.6的適配），同時(shí)閱讀和修改了部分代碼，發(fā)現(xiàn)StarRocks JNI Co...
-
哈哈是的，不嫌棄的話歡迎聽聽
關(guān)于使用Flink RocksDB狀態(tài)后端時(shí)一定要寫MapState而非ValueState<Map>這檔事（以及解決方法）
前言 抱歉起這種爛大街的日本輕小說風(fēng)格標(biāo)題來吸引注意力。原本我認(rèn)為這是常識，不需要專門寫一篇文章來講解如此細(xì)碎的點(diǎn)。但是在最近工作巡檢中發(fā)現(xiàn)了越來越多如同ValueState...
個(gè)人介紹
本博客所有內(nèi)容均適用知識共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。