理解 首先，大家要明白為什么出現(xiàn)了類似Iceberg這樣的數(shù)據(jù)技術(shù)。大數(shù)據(jù)領(lǐng)域發(fā)展至今已經(jīng)經(jīng)歷了相當(dāng)長時(shí)間的發(fā)展和探索，雖然大數(shù)據(jù)技術(shù)的出現(xiàn)和迭代降低了用戶處理海量數(shù)據(jù)的門檻...
發(fā)簡信
IP屬地：江蘇
-
apache iceberg 數(shù)據(jù)湖 -
redis 分布式事物
實(shí)現(xiàn)代碼 問題：1、客戶端分片和中間件（我們目前使用的codis）分片均不支持transaction。因?yàn)閠ransaction提供了原子級(jí)的執(zhí)行保證，在instance之外...
-
數(shù)據(jù)倉庫模型設(shè)計(jì)心得
數(shù)據(jù)不丟失數(shù)據(jù)丟失，導(dǎo)致重新跑數(shù)據(jù)，統(tǒng)計(jì)不準(zhǔn)確，建議要長期保留歷史數(shù)據(jù) 數(shù)據(jù)不重復(fù)上游數(shù)據(jù)重復(fù)，會(huì)導(dǎo)致下游數(shù)據(jù)治理不干凈 數(shù)據(jù)模型可以共享例如明細(xì)事實(shí)表，維度表，匯總事實(shí)表（...
-
Spark 3.0 adaptive-query-execution-speeding-up-spark-sql-at-runtimespark 3.0 亮點(diǎn) the cost-based optimization framework 基于成本的優(yōu)化框架該框架收集并利用各種數(shù)據(jù)統(tǒng)計(jì)信息（如行數(shù)，不同值的數(shù)量...
-
mysql join原理
從左表讀出一條，選出所有與on匹配的右表紀(jì)錄(n條)進(jìn)行連接，形成n條紀(jì)錄(包括重復(fù)的，如果右邊沒有與on條件匹配的表，那連接的字段都是null.然后繼續(xù)讀下一條。 我們可以...
-
個(gè)性化召回算法LFM & spark ALS
在日常生活中，人們實(shí)際上經(jīng)常使用這種方法，如你哪天突然想看個(gè)電影，但你不知道具體看哪部，你會(huì)怎么做？大部分的人會(huì)問問周圍的朋友，最近有什么好看的電影，而我們一般更傾向于從興趣...
-
大數(shù)據(jù)面試題整理 -- 實(shí)時(shí)計(jì)算部分1. zookeeper 在 kafka 中起到什么作用 Controller 選舉Controller 是一個(gè)特殊的 Broker, 其負(fù)責(zé)維護(hù)所有 Partition 的...
-
flink spark strom 反壓機(jī)制strom 反壓 實(shí)現(xiàn)原理 Storm 是通過監(jiān)控 Bolt 中的接收隊(duì)列負(fù)載情況，如果超過高水位值就會(huì)將反壓信息寫到 Zookeeper ，Zookeeper 上的 wat...
-
spark thrift server HA
參考：http://liguo86.com/2017/09/25/spark-thriftserver-ha%E6%94%AF%E6%8C%81/ 實(shí)際使用過程中發(fā)現(xiàn)這篇帖子...
