前言 批流一體是數(shù)據(jù)計(jì)算的未來趨勢，Pulsar Flink Connector 為基于 Apache Pulsar 在 Apache Flin...
投稿
收錄了25篇文章 · 25人關(guān)注
-
Apache Flink——Pulsar Flink Connector 打造全新批流融合 -
Label Hierarchies（二）6段由來過程 1. 數(shù)據(jù)資產(chǎn)發(fā)展的4個(gè)階段 數(shù)據(jù)資產(chǎn)1.0:構(gòu)建消費(fèi)者信息庫 數(shù)據(jù)側(cè)與業(yè)務(wù)側(cè)的初次接觸 激發(fā)業(yè)務(wù)人員使用數(shù)據(jù)的興趣 實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)...
-
Label Hierarchies（三）3點(diǎn)產(chǎn)生必要 1. 數(shù)據(jù)資產(chǎn)可復(fù)用 標(biāo)簽類目體系是中臺(tái)概念的核心落地點(diǎn) 前臺(tái),中臺(tái),后臺(tái)三者之間的關(guān)系 后臺(tái)就像海面以下部分的海島，有些可以連接...
-
大數(shù)據(jù)之流批一體化1、流批一體的理念 隨著互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的不斷發(fā)展，各行各業(yè)都積累海量的業(yè)務(wù)數(shù)據(jù)。而企業(yè)為了改善用戶體驗(yàn)，提升產(chǎn)品在市場上的競爭力，都采取了實(shí)...
-
銷售數(shù)據(jù)建設(shè)-Hive案例分析需求：從性別、年齡、 職業(yè)、城市、居住年限，婚姻狀況等維度找到高質(zhì)量用戶，并查看高質(zhì)量用戶人群的占比，為其提供高價(jià)值消費(fèi)品 (定位高價(jià)值消費(fèi)品以...
-
Kafka 消費(fèi)者組成員reblance機(jī)制
為什么需要reblance 由于消費(fèi)者組訂閱了topic，因topic partition數(shù)和消費(fèi)者組成員個(gè)數(shù)不同而存在的分配機(jī)制。 什么情況下...
-
flink的背壓問題產(chǎn)生原因和解決方法最近flink job出現(xiàn)了背壓的問題, 后果是導(dǎo)致了checkpoint的生成超時(shí), 影響了flink job的運(yùn)行. 定位問題: 如下圖: ...
-
Redis-Bitmap
基礎(chǔ)概念 “a”ASCll碼是97，二進(jìn)制是0110 0001，每個(gè)數(shù)“1”，“0”叫做位（bit），每8位叫做一個(gè)字節(jié)（byte），偏移量從左...
-
SpringBoot2.x中使用Redis的bitmap結(jié)構(gòu)（工具類）
一億個(gè)用戶，有的用戶頻繁登錄，也有不經(jīng)常登錄的。如何記錄用戶的登錄信息？如何查詢活躍用戶？[如一周內(nèi) 登錄三次的] Redis中文教程[http...
-
布隆過濾器
引言 我們知道檢查一個(gè)元素是否在某一個(gè)集合中，使用HashSet是比較好的選擇，因?yàn)樵诓话l(fā)生Hash碰撞的情況下它的時(shí)間復(fù)雜度為常數(shù)級(jí)別，但是在...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1832734/%E5%86%85%E7%BD%91%E9%80%9A%E6%88%AA%E5%9B%BE20191107112814.png', '推薦專題《大數(shù)據(jù)(Hadoop,Spark,Flink,Storm,Hive,Hbase...)》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/9743f5f203ae?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}