發(fā)簡信
IP屬地：山西
-
HBase學習 - Coprocessor
本文基于hbase-1.3.0源碼 1. 前言 HBase coprocessor(協(xié)處理器)按照工作方式分為兩種：endpoint和obser...
-
maven插件(5) - antrun
1. antrun 簡述 通過antrun插件可以在maven中運行ant task， 具體參考antrun 2. 使用antrun 按照如下格...
-
IDEA遠程調(diào)試Spark1.前言 本文講述如何使用IDEA遠程調(diào)試spark，這里所說的調(diào)試spark包括： 調(diào)試spark應用程序，也就是使用spark算子編寫的dr...
-
Spark任務(wù)提交過程1. 前言 本文主要講述一下我對spark任務(wù)調(diào)度過程的理解，必要的地方會配合源碼。 2 . Spark任務(wù)調(diào)度 2.1 基本概念 Job用戶提...
-
-
JDK并發(fā)包 - FutureTask1. FutureTask FutureTask實現(xiàn)了Runnable和Future接口，它主要用于包裝真實callable或runnable的...
-
Netty 使用Zero Copy傳輸文件
1. Zero Copy傳輸 一般情況下，將服務(wù)器上的文件傳輸?shù)娇蛻舳藭r，文件在服務(wù)端會經(jīng)歷如下copy過程：調(diào)用read方法從硬盤讀文件到內(nèi)核...
-
HBase學習 - HFile格式 以及 HFile的讀寫1.前言 HBase的數(shù)據(jù)最終是以HFile的形式存儲在HDFS中的，HBase中HFile有著自己的格式。一次memstore的flush會產(chǎn)...
-
spark如何只在map端做完成reduce的工作
1. 前言 有時候需要按照key去做reduce操作時，一般情況下調(diào)用reduceByKey就可以完成按照key reduce的任務(wù)，redu...