前言 疊個(gè)甲，流水賬，非專業(yè)，只是蹭一下DeepSeek的熱度（ 實(shí)驗(yàn)環(huán)境為家用PC，配備NVidia GeForce RTX 4090D顯卡、AMD銳龍9 9950X處理器...
發(fā)簡(jiǎn)信
IP屬地：北京
-
本地部署DeepSeek R1與RAG簡(jiǎn)單實(shí)驗(yàn) -
-
Secondary NameNode不是高可用節(jié)點(diǎn)，主要功能是做checkpoint
Spark 處理小文件
1. 小文件合并綜述 1.1 小文件表現(xiàn) 不論是Hive還是Spark SQL在使用過(guò)程中都可能會(huì)遇到小文件過(guò)多的問(wèn)題。小文件過(guò)多最直接的表現(xiàn)是任務(wù)執(zhí)行時(shí)間長(zhǎng)，查看Spark...
-
Mac下終端工具iTerm2安裝一、iTerm2簡(jiǎn)介： Mac OS自帶的終端，用起來(lái)雖然有些不太方便，界面也不夠友好,iTerm2是一款相對(duì)比較好用的終端工具.iTerm2常用操作包括主題選擇、聲明高亮、...
-
-
HiveSQL優(yōu)化總結(jié)
列裁剪和分區(qū)裁剪 最基本的操作。所謂列裁剪就是在查詢時(shí)只讀取需要的列，分區(qū)裁剪就是只讀取需要的分區(qū)。當(dāng)列很多或者數(shù)據(jù)量很大時(shí)，如果select *或者不指定分區(qū)，全列掃描和全...
-
Flink 源碼之batch問(wèn)題處理
Flink源碼分析系列文檔目錄 請(qǐng)點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.itdecent.cn/p/d4a372809e3d] Flink 批處理問(wèn)...
-
從Flink SQL "doesn't support consuming update and delete changes" 錯(cuò)誤談起
前言 相信我們?cè)诔鯇W(xué)Flink SQL時(shí)，多少遇到過(guò)像這樣的錯(cuò)誤信息： 為什么有些下游算子不能接受上游算子發(fā)來(lái)的UPDATE和DELETE消息呢？本文以1.13版本為準(zhǔn)來(lái)簡(jiǎn)單...
-
-
debezium簡(jiǎn)單測(cè)試
現(xiàn)有需求，需要使用pg的數(shù)據(jù)實(shí)時(shí)統(tǒng)計(jì)一些指標(biāo)，經(jīng)過(guò)調(diào)研，決定使用kafkaCat或debezium將pg的操作日志同步到kafka中，現(xiàn)將簡(jiǎn)單測(cè)試debezium的過(guò)程總結(jié)一...
-
「巣立ちの歌」（離巢之歌）給別人的歌，最終也會(huì)是給自己的歌。 一切為了輝煌的明天。 再見(jiàn)，祝好~ 2021年1月動(dòng)畫《奇蛋物語(yǔ)》（Wonder Egg Priority）片頭曲https://y.qq...
-
-
Spark Core源碼精讀計(jì)劃#0：Hello Again, WordCount目錄 前言 Spark WordCountSparkConfSparkContextRDDRDD操作（算子） Spark Web UIApplicationJobStageT...
-
淺談Flink SQL代碼生成與UDF重復(fù)調(diào)用的優(yōu)化前言 之前講解Flink SQL執(zhí)行流程時(shí)留下了代碼生成的坑，在百忙之中抽時(shí)間補(bǔ)一補(bǔ)。 代碼生成簡(jiǎn)介 代碼生成（code generation）是當(dāng)今各種數(shù)據(jù)庫(kù)和數(shù)據(jù)處理引擎...
-
聊聊訪問(wèn)者模式與其在Calcite/Flink中的應(yīng)用前言 “訪問(wèn)者模式”在之前的文章里已經(jīng)出現(xiàn)過(guò)幾次了，擇日不如撞日，今天接著聊吧。 The Visitor Pattern 訪問(wèn)者模式屬于GoF設(shè)計(jì)模式分類中的行為型模式。它的...
-
Hive源碼學(xué)習(xí)——DriverHiveQL解析流程： 1.Hive根據(jù)Antlr定義的詞法、語(yǔ)法規(guī)則完成詞法、語(yǔ)法分析將HQL解析為AST Tree；2.遍歷AST Tree，抽象出查詢的基本組成單元Qu...
