IP屬地：甘肅
-
奇怪的知識
數(shù)據(jù)中臺是什么？ 是一種戰(zhàn)略選擇和組織形式， 是依據(jù)企業(yè)特有的業(yè)務模式和組織架構，通過有形的產品和可實施方法構建的一套持續(xù)不斷把數(shù)據(jù)變成資產并服...
-
Spark 中join一定產生shuffle嗎？
產生shuffle的原因 其根本原因在于數(shù)據(jù)需要進行遷移才能產出正確的數(shù)據(jù) join什么時候不需要數(shù)據(jù)遷移就能得出結果？ 當 分區(qū)數(shù) 和 分區(qū)...
-
Kafka 保證分區(qū)有序
Kafka能做到全局有序嗎？ Kafka只能保證分區(qū)有序，如果只有一個分區(qū)，那也是變向的全局有序 Kafka如何保證分區(qū)有序 通過配置 max....
-
Kafka 水位詳解
什么是水位 kafka中用水位來描述，一個分區(qū)中的可見數(shù)據(jù)的offset。大概你需要知道這幾點： hw（水位）你可以理解成是一個全局（所有副本最...
-
《搬遷聲明》
我的博客即將同步至 OSCHINA 社區(qū)，這是我的 OSCHINA ID：solve，邀請大家一同入駐：https://www.oschina....
-
Flink WaterMaker詳解什么是 WaterMaker WaterMaker 水位線在很多地方都有應用，其含義也不盡相同，在Flink中，水位線是用來觸發(fā)窗口計算的其本...
-
Flink系列——感性認識
前言 可以當做一個初步認識 Flink 的文章，僅此而已?。。。。?我們以一個生產口罩的工廠為例來嘗試理解一下Flink的整個計算流程 工廠的老...
-
SparkSQL技巧——如何識別SQL語句 和 執(zhí)行一個SQL文件前言 這是一個非常小的技巧，但是應該還是有點用。 怎么在SparkSQL中寫SQL？ 如果我們直接使用，那么大概是如下這樣：ss.sql("se...
-
SparkStreaming On Kafka —— Offset 管理
一、Kafka 消費者如何管理 offset 我之前有寫一篇kafka Consumer — offset的控制如果你對于這方面的知識還不太清楚...