以下是本人AI 系列文檔目錄，歡迎大家查閱和參與討論。 Ollama 服務(wù)Docker部署簡明教程[http://www.itdecent.cn/p/4f48bcce734...
發(fā)簡信
IP屬地：海南
-
AI 相關(guān)文檔目錄 -
第三方MCP服務(wù)在Cherry Studio的配置和使用前言 在MCP 簡介和使用[http://www.itdecent.cn/p/51947e68a690]一文中我們了解了如何編寫自己的MCP服務(wù)和在Langchain中調(diào)用...
-
Kyuubi Spark Flink Hive 引擎使用
前言 Kyuubi 1.9.2 on Yarn模式官方支持Spark、Flink和Hive引擎。本片分別介紹它們的部署方式。 環(huán)境信息 Kyuubi 1.9.2 Spark ...
-
基于Kafka+Flink+Redis的電商大屏實(shí)時計(jì)算案例前言 一年一度的雙11又要到了，阿里的雙11銷量大屏可以說是一道特殊的風(fēng)景線。實(shí)時大屏（real-time dashboard）正在被越來越多的企業(yè)采用，用來及時呈現(xiàn)關(guān)鍵的數(shù)...
-
Flink SQL空閑狀態(tài)保留時間（idle state retention time）實(shí)現(xiàn)原理前言 如果要列舉Flink SQL新手有可能犯的錯誤，筆者認(rèn)為其中之一就是忘記設(shè)置空閑狀態(tài)保留時間導(dǎo)致狀態(tài)爆炸。2021年的第一篇技術(shù)文，時間很緊張，聊聊這個簡單的話題吧。 ...
-
Flink on Zeppelin問題四則（并沒有優(yōu)雅的解決方案前言 最近我們正式調(diào)研Zeppelin作為Flink SQL開發(fā)套件的可能性，于是clone了最新的Zeppelin v0.10-SNAPSHOT源碼，自行編譯并部署到了預(yù)發(fā)...
-
關(guān)于有狀態(tài)Flink作業(yè)改變Kafka Consumer UID后位點(diǎn)跳變到EARLIEST這檔事前言 這是很多Flink用戶不太注意的一個隱藏得比較深的坑（嚴(yán)格來講不算bug），近期組內(nèi)同學(xué)頻繁踩坑，故十分有必要快速記錄一下，以提請注意。 復(fù)現(xiàn)問題 用戶意圖：將有狀態(tài)F...
-
Flink SQL 如何實(shí)現(xiàn)列轉(zhuǎn)行 ?
在 SQL 任務(wù)里面經(jīng)常會遇到一列轉(zhuǎn)多行的需求,下面就來總結(jié)一下在 Flink SQL 里面如何實(shí)現(xiàn)列轉(zhuǎn)行的,先來看下面的一個具體案例. 需求 原始數(shù)據(jù)格式如下: named...
-
2024總結(jié)
前言 今年是我工作的第十個年頭，也是第十篇年度總結(jié)。按照慣例，對這一年的經(jīng)歷進(jìn)行回顧，總結(jié)所學(xué)和所得。希望我的思考能對你有所啟發(fā)。 工作 人常說，不怕達(dá)不成目標(biāo)，就怕沒有目標(biāo)...
-
Flink 源碼之異步state API
Flink源碼分析系列文檔目錄 請點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.itdecent.cn/p/d4a372809e3d] 前言 Flink 2...
-
Flink RocksDB狀態(tài)縮放加速：RocksDB原生DeleteRange原理簡析又見Rescale 筆者在很久之前的一篇文章（傳送門[http://www.itdecent.cn/p/f0a13f98dac2]）中講解過Flink的狀態(tài)縮放（Resca...
-
Kyuubi命令行工具的使用
前言 Kyuubi提供了兩個命令行工具：kyuubi-admin和kyuubi-ctl。這兩個工具的功能和用法非常相似，能夠獲取到Kyuubi server和engine的狀...
-
Flink 使用之Yarn模式故障退出TaskManager日志的查看方法
Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 如果Flink作業(yè)在...
-
Hudi 使用之Metadata Index
本篇帶來Hudi metadata index的介紹、配置和使用。本篇將Hudi官網(wǎng)內(nèi)容有關(guān)部分重新整理在一起，閱讀和查找起來更為容易。 Metadata Index依賴me...
-
聊聊存算分離StarRocks的垃圾清理機(jī)制前言 大家已經(jīng)了解，StarRocks的更新模型、主鍵模型等在Flush和Compaction過程中會產(chǎn)生歷史版本數(shù)據(jù)，這些垃圾數(shù)據(jù)需要及時被清理，以防止存儲空間浪費(fèi)。而St...
-
大數(shù)據(jù)集群Linux系統(tǒng)參數(shù)預(yù)調(diào)優(yōu)指南前言 當(dāng)我們自建大數(shù)據(jù)集群（如OLAP集群、實(shí)時計(jì)算集群、分布式存儲集群、全文搜索集群等）的時候，除了硬件資源要合理配備外，在操作系統(tǒng)層面也要進(jìn)行一些事前配置，讓大數(shù)據(jù)組件能...
-
Hudi 使用之Flink讀寫
前言 本篇從Hudi角度介紹Flink常用的幾種讀寫操作。內(nèi)容主要來源于官網(wǎng)例子和個人理解。 讀者如果想了解從編譯、部署到使用的步驟，請參考：Flink 使用之 Hudi 編...
-
2024一個短期的生活片段
自對大環(huán)境下的職場環(huán)境沒有信心后,我就開始琢磨著其他的方向了,計(jì)算機(jī)&互聯(lián)網(wǎng)這行,看去了投入所帶來的收益很低了,雖說數(shù)倉&數(shù)據(jù)行業(yè)門檻低得很,但是不至于一個城市幾乎沒什么崗位...
-
Java 類加載機(jī)制
何為類加載 類加載指的是JVM將class二進(jìn)制文件讀取到內(nèi)存方法區(qū)，在堆內(nèi)存中生成Class對象。 類加載過程 類加載的過程包含如下步驟： 加載 驗(yàn)證 準(zhǔn)備 解析 初始化 ...