發(fā)簡信
IP屬地：江蘇
-
-
Spark內(nèi)存管理前言 Spark作為一個(gè)基于內(nèi)存的分布式計(jì)算引擎，程序在運(yùn)行時(shí)可能會(huì)被集群中的任何資源阻塞：CPU | 網(wǎng)絡(luò)帶寬 | 內(nèi)存。然而Spark的內(nèi)存...
-
HBase之?dāng)?shù)據(jù)寫入再認(rèn)識前言：本篇文章主要介紹自己工作中對HBase數(shù)據(jù)寫入的一些淺淺的認(rèn)識和理解。最近剛接到一個(gè)需求是將Hive的數(shù)據(jù)加工處理成用戶標(biāo)簽數(shù)據(jù)存于HBa...
-
HBase 之工作原理借用HBase官網(wǎng)對其的介紹來初步認(rèn)識一下HBase，當(dāng)你需要對大量的數(shù)據(jù)進(jìn)行隨機(jī)，實(shí)時(shí)的讀/寫訪問時(shí)，請使用Apache HBase?。這個(gè)項(xiàng)...
-
Flink之狀態(tài)管理
最近看了看Flink中state方面的知識，F(xiàn)link中的state是啥？state的作用是啥？為什么Flink中引入了state這個(gè)概念？既然...
-
Flink之?dāng)?shù)據(jù)流類型Flink為流處理和批處理分別提供了DataStream API和DataSet API。在開發(fā)工作中這些API極大的便利了開發(fā)者開發(fā)大數(shù)據(jù)應(yīng)用...
-
ELK 集群搭建本片文章記錄的大概是18年ELK的搭建過程，現(xiàn)在找個(gè)時(shí)間記錄下來。由于當(dāng)時(shí)業(yè)務(wù)沒有涉及到Logstash組件的應(yīng)用，下文介紹不包括Logstas...
-
HBase之?dāng)?shù)據(jù)遷移
由于公司前期沒法及時(shí)提供生成環(huán)境的服務(wù)器，導(dǎo)致現(xiàn)有的業(yè)務(wù)開發(fā)在現(xiàn)有的服務(wù)器進(jìn)行，HBase相關(guān)的數(shù)據(jù)在后期需要遷移到新的環(huán)境里。HBase數(shù)據(jù)遷...
-
Flink之參數(shù)設(shè)置上篇文章啰里啰嗦說了那么多，不知道大家理解的怎么樣！寫本文也是銜接上篇文章繼續(xù)學(xué)習(xí)以便加深對Flink原理的理解。接下來主要是梳理一下-p, -...