發(fā)簡(jiǎn)信
IP屬地：重慶
-
HBase學(xué)習(xí) - Coprocessor
本文基于hbase-1.3.0源碼 1. 前言 HBase coprocessor(協(xié)處理器)按照工作方式分為兩種：endpoint和obser...
-
maven插件(5) - antrun
1. antrun 簡(jiǎn)述 通過(guò)antrun插件可以在maven中運(yùn)行ant task， 具體參考antrun 2. 使用antrun 按照如下格...
-
IDEA遠(yuǎn)程調(diào)試Spark1.前言 本文講述如何使用IDEA遠(yuǎn)程調(diào)試spark，這里所說(shuō)的調(diào)試spark包括： 調(diào)試spark應(yīng)用程序，也就是使用spark算子編寫的dr...
-
Spark任務(wù)提交過(guò)程1. 前言 本文主要講述一下我對(duì)spark任務(wù)調(diào)度過(guò)程的理解，必要的地方會(huì)配合源碼。 2 . Spark任務(wù)調(diào)度 2.1 基本概念 Job用戶提...
-
-
JDK并發(fā)包 - FutureTask1. FutureTask FutureTask實(shí)現(xiàn)了Runnable和Future接口，它主要用于包裝真實(shí)callable或runnable的...
-
Netty 使用Zero Copy傳輸文件
1. Zero Copy傳輸 一般情況下，將服務(wù)器上的文件傳輸?shù)娇蛻舳藭r(shí)，文件在服務(wù)端會(huì)經(jīng)歷如下copy過(guò)程：調(diào)用read方法從硬盤讀文件到內(nèi)核...
-
HBase學(xué)習(xí) - HFile格式 以及 HFile的讀寫1.前言 HBase的數(shù)據(jù)最終是以HFile的形式存儲(chǔ)在HDFS中的，HBase中HFile有著自己的格式。一次memstore的flush會(huì)產(chǎn)...
-
spark如何只在map端做完成reduce的工作
1. 前言 有時(shí)候需要按照key去做reduce操作時(shí)，一般情況下調(diào)用reduceByKey就可以完成按照key reduce的任務(wù)，redu...