本文說(shuō)明如何在已有的cdh集群上添加flink服務(wù)。分為如下幾步進(jìn)行說(shuō)明: 1.環(huán)境說(shuō)明 2.flink-parcel的制作 3.cm添加flink-parcel 4.cm上...
安裝好cdh后在cloudera-manager管理界面上并沒(méi)有kafka服務(wù),在CDH官網(wǎng)中關(guān)于Kafka的安裝和升級(jí)中已經(jīng)說(shuō)到,在CDH中,Kafka作為一個(gè)分布式的...
由于使用apache hadoop進(jìn)行部署,部署步驟繁多,管理運(yùn)維成本較高,于是使用Cloudera Manager進(jìn)行部署、管理hadoop集群,能夠加快部署,減少運(yùn)維...
前面的文章介紹了當(dāng)達(dá)到一定的條件后memstore會(huì)flush生成hfile,隨著hfile文件逐漸增多,查詢(xún)可能需要更多的IO操作,為了合并這些hfile文件從而衍生出了c...
個(gè)人覺(jué)得debug運(yùn)行代碼是理解代碼最為有效的方式,所以今天說(shuō)一下在window上使用idea進(jìn)行調(diào)試運(yùn)行hbase源碼(使用的是cdh版本的hbase)。下面將從環(huán)境配...
hbase region 切分是hbases水平擴(kuò)展一個(gè)重要因素,將一個(gè)region切分為兩個(gè)小region,并將切分后的region放在不同的節(jié)點(diǎn)上,以達(dá)到將負(fù)載進(jìn)行均...
memstore是hbase中一個(gè)非常重要的組件,對(duì)于hbase的讀寫(xiě)操作的性能起到舉足輕重的作用,下面講從memstore概述、memstore flush觸發(fā)條件、m...
雖說(shuō)hbase適合寫(xiě)多讀少,但是hbase的讀性能也是非常強(qiáng)悍的,hbase有如此好的讀性能其中少不了BlockCache。BlockCache是regionserver...
眾所周知hbase是一個(gè)寫(xiě)性能非常優(yōu)越的NOSQL,今天從源碼中分析一下put操作到了region中是如何進(jìn)行處理的。 region中處理put請(qǐng)求的大致流程如下圖所...
前文介紹了使用CountDownLatch來(lái)實(shí)現(xiàn)線(xiàn)程間同步,但是CountDownLatch的計(jì)數(shù)器是一次性的,當(dāng)計(jì)數(shù)器值減到0之后再調(diào)用await或countdown方...
說(shuō)到線(xiàn)程同步第一個(gè)想到的一定是Thread類(lèi)的join方法,當(dāng)需要等待一個(gè)線(xiàn)程執(zhí)行結(jié)束之后再接著執(zhí)行本線(xiàn)程接下去的邏輯,join經(jīng)常會(huì)在這種場(chǎng)景下被使用,但是join方法...
ScheduledThreadPoolExecutor是一個(gè)可以指定一定延遲時(shí)間后或者定時(shí)進(jìn)行任務(wù)調(diào)度執(zhí)行的線(xiàn)程池,繼承于ThreadPoolExecutor,關(guān)于Thre...
今天來(lái)說(shuō)一說(shuō)線(xiàn)程池ThreadPoolExecutor,線(xiàn)程池主要解決兩個(gè)問(wèn)題:一是當(dāng)執(zhí)行大量異步任務(wù)時(shí)線(xiàn)程池能夠提供較好的性能。在不使用線(xiàn)程池時(shí),每當(dāng)需要執(zhí)行異步任務(wù)時(shí)...
前面介紹了5種并發(fā)隊(duì)列的原理,ConcurrentLinkedQueue、LinkedBlockingQueue、ArrayBlockingQueue、PriorityB...
今天來(lái)說(shuō)一說(shuō)DelayQueue,DelayQueue并發(fā)隊(duì)列是一個(gè)無(wú)界阻塞延遲隊(duì)列,隊(duì)列中的每個(gè)元素都有一個(gè)過(guò)期時(shí)間,當(dāng)從隊(duì)列獲取元素時(shí),只有過(guò)期元素才會(huì)出隊(duì)列,不允許...
PriorityBlockingQueue是帶優(yōu)先級(jí)的無(wú)界阻塞隊(duì)列,每次出隊(duì)都返回優(yōu)先級(jí)最高或最低的元素。其內(nèi)部使用平衡二叉樹(shù)堆實(shí)現(xiàn)的,所以遍歷隊(duì)列元素不能保證有序性。默...
前面一文介紹了有界鏈表阻塞隊(duì)列LinkedBlockingQueue,今天來(lái)說(shuō)一說(shuō)有界數(shù)組阻塞隊(duì)列ArrayBlockingQueue。 ArrayBlockingQu...
前面的文章介紹了使用CAS算法實(shí)現(xiàn)的非阻塞有界隊(duì)列ConcurrentLinkedQueue(詳情點(diǎn)這里),今天介紹另一個(gè)并發(fā)隊(duì)列LinkedBlockingQueue。...