IP屬地：香港
-
奇怪的知識
數(shù)據(jù)中臺(tái)是什么？ 是一種戰(zhàn)略選擇和組織形式， 是依據(jù)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu)，通過有形的產(chǎn)品和可實(shí)施方法構(gòu)建的一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服...
-
Spark 中join一定產(chǎn)生shuffle嗎？
產(chǎn)生shuffle的原因 其根本原因在于數(shù)據(jù)需要進(jìn)行遷移才能產(chǎn)出正確的數(shù)據(jù) join什么時(shí)候不需要數(shù)據(jù)遷移就能得出結(jié)果？ 當(dāng) 分區(qū)數(shù) 和 分區(qū)...
-
Kafka 保證分區(qū)有序
Kafka能做到全局有序嗎？ Kafka只能保證分區(qū)有序，如果只有一個(gè)分區(qū)，那也是變向的全局有序 Kafka如何保證分區(qū)有序 通過配置 max....
-
Kafka 水位詳解
什么是水位 kafka中用水位來描述，一個(gè)分區(qū)中的可見數(shù)據(jù)的offset。大概你需要知道這幾點(diǎn)： hw（水位）你可以理解成是一個(gè)全局（所有副本最...
-
《搬遷聲明》
我的博客即將同步至 OSCHINA 社區(qū)，這是我的 OSCHINA ID：solve，邀請大家一同入駐：https://www.oschina....
-
Flink WaterMaker詳解什么是 WaterMaker WaterMaker 水位線在很多地方都有應(yīng)用，其含義也不盡相同，在Flink中，水位線是用來觸發(fā)窗口計(jì)算的其本...
-
Flink系列——感性認(rèn)識
前言 可以當(dāng)做一個(gè)初步認(rèn)識 Flink 的文章，僅此而已?。。。?！ 我們以一個(gè)生產(chǎn)口罩的工廠為例來嘗試?yán)斫庖幌翭link的整個(gè)計(jì)算流程 工廠的老...
-
SparkSQL技巧——如何識別SQL語句 和 執(zhí)行一個(gè)SQL文件前言 這是一個(gè)非常小的技巧，但是應(yīng)該還是有點(diǎn)用。 怎么在SparkSQL中寫SQL？ 如果我們直接使用，那么大概是如下這樣：ss.sql("se...
-
SparkStreaming On Kafka —— Offset 管理
一、Kafka 消費(fèi)者如何管理 offset 我之前有寫一篇kafka Consumer — offset的控制如果你對于這方面的知識還不太清楚...