本文基于hbase-1.3.0源碼 1. 前言 HBase coprocessor(協(xié)處理器)按照工作方式分為兩種：endpoint和observer。 endpoint類似...
發(fā)簡(jiǎn)信
IP屬地：湖北
-
HBase學(xué)習(xí) - Coprocessor
-
maven插件(5) - antrun
1. antrun 簡(jiǎn)述 通過(guò)antrun插件可以在maven中運(yùn)行ant task， 具體參考antrun 2. 使用antrun 按照如下格式使用antrun 2.1 一...
-
Spark學(xué)習(xí)、項(xiàng)目使用相關(guān)。
-
IDEA遠(yuǎn)程調(diào)試Spark1.前言 本文講述如何使用IDEA遠(yuǎn)程調(diào)試spark，這里所說(shuō)的調(diào)試spark包括： 調(diào)試spark應(yīng)用程序，也就是使用spark算子編寫的driver applicatio...
-
Spark任務(wù)提交過(guò)程1. 前言 本文主要講述一下我對(duì)spark任務(wù)調(diào)度過(guò)程的理解，必要的地方會(huì)配合源碼。 2 . Spark任務(wù)調(diào)度 2.1 基本概念 Job用戶提交的spark應(yīng)用程序中任何一...
-
-
JDK并發(fā)包 - FutureTask1. FutureTask FutureTask實(shí)現(xiàn)了Runnable和Future接口，它主要用于包裝真實(shí)callable或runnable的task，其run方法內(nèi)運(yùn)行包...
-
Netty 使用Zero Copy傳輸文件
1. Zero Copy傳輸 一般情況下，將服務(wù)器上的文件傳輸?shù)娇蛻舳藭r(shí)，文件在服務(wù)端會(huì)經(jīng)歷如下copy過(guò)程：調(diào)用read方法從硬盤讀文件到內(nèi)核空間，從內(nèi)核空間讀到用戶內(nèi)存空...
-
HBase學(xué)習(xí) - HFile格式 以及 HFile的讀寫1.前言 HBase的數(shù)據(jù)最終是以HFile的形式存儲(chǔ)在HDFS中的，HBase中HFile有著自己的格式。一次memstore的flush會(huì)產(chǎn)生一個(gè)HFile，一次Comp...
-
spark如何只在map端做完成reduce的工作
1. 前言 有時(shí)候需要按照key去做reduce操作時(shí)，一般情況下調(diào)用reduceByKey就可以完成按照key reduce的任務(wù)，reduceByKey的調(diào)用就必然意味...
-
maven插件(4) - 項(xiàng)目打包插件
1. maven-assembly-plugin 參考maven-assembly-plugin, maven-assembly-plugin這個(gè)插件可用來(lái)打可發(fā)布可獨(dú)立運(yùn)行...
-
maven插件(3) - scala插件scala-maven-plugin
1. scala-maven-plugin 這個(gè)插件是用來(lái)讓maven能夠編譯、測(cè)試、運(yùn)行scala項(xiàng)目的，使用文檔參考scala-maven-plugin 1. 1使用插件...
-
maven插件(2) - spring boot 插件
1. Spring Boot Maven 插件 Spring Boot的maven插件能夠以maven命令行的方式提供對(duì)spring boot 應(yīng)用打包和運(yùn)行的支持。 使用s...
-
maven插件(1) - 使用插件
1. 前言 Maven is - at its heart - a plugin execution framework; all work is done by plugi...
-
Spark Sql 之 cacheTable
1. 前言 spark sql中使用DataFrame/DataSet來(lái)抽象表示結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫(kù)中的table），DataSet上支持和RDD類似的操作，和RDD上的操...
-
Spark內(nèi)存管理1. 存儲(chǔ)總體結(jié)構(gòu) Spark存儲(chǔ)結(jié)構(gòu)分為兩層：內(nèi)存存儲(chǔ)和磁盤存儲(chǔ)，其中內(nèi)存主要用作緩存以及任務(wù)計(jì)算時(shí)期數(shù)據(jù)存儲(chǔ)，磁盤用在內(nèi)存存儲(chǔ)不足時(shí)使用。Executor和Driver都...
-
JUC之AbstractQueuedSynchronizer
1. 前言 AbstractQueuedSynchronizer(AQS)基于FIFO等待隊(duì)列以及CAS操作實(shí)現(xiàn)了基礎(chǔ)了同步框架，JUC中包括ReentrantLock，Re...
-
Logback - SiftingAppender1. 作用 Logback將寫日志事件的任務(wù)委托給appender組件完成，SiftingAppender顧名思義就是篩選日志事件，具體點(diǎn)就是： 對(duì)于Logback委托給它的...
