注：下文中輸入數(shù)據(jù)大小指的是desc formatted 表名返回的rawDataSize，文件個數(shù)為返回的numFiles 1. 不跑MR程序進(jìn)行數(shù)據(jù)抽取 配置項(xiàng)：hive...
發(fā)簡信
IP屬地：湖北
-
hive優(yōu)化
-
RDD總結(jié)
1. 概述 按照官方文檔，RDD是表示不可變的、分區(qū)的、可并行計(jì)算的數(shù)據(jù)集合，有五個特點(diǎn) 編號特點(diǎn)變量名1由若干個分區(qū)組成getPartitions2一個函數(shù)用來計(jì)算每個分區(qū)...
-
YARN資源調(diào)度策略之Capacity Scheduler
背景 yarn默認(rèn)使用的是最簡單的FIFO調(diào)度器，即一個default隊(duì)列，所有用戶共享，分配資源也是先到先得，沒有優(yōu)先級之分。有時一兩個任務(wù)就把資源全占了，其他任務(wù)吃不到資...
-
那些被問懵的Flink面試題前言 1 Flink基礎(chǔ)（適合初入職場） 簡單介紹一下 Flink Flink相比傳統(tǒng)的Spark Streaming區(qū)別? Flink的組件棧有哪些？ Flink 的運(yùn)行必...
-
Flink 源碼：StreamTask 介紹及初始化過程詳解
本文僅為筆者平日學(xué)習(xí)記錄之用，侵刪原文：https://mp.weixin.qq.com/s/GuA9o09EEue66fEpGgoGaQ 本文是 Flink 源碼解析系列，...
-
Akka系列（五）：Java和Scala中的Future隨著CPU的核數(shù)的增加，異步編程模型在并發(fā)領(lǐng)域中的得到了越來越多的應(yīng)用，由于Scala是一門函數(shù)式語言，天然的支持異步編程模型，今天主要來看一下Java和Scala中的Fut...
-
Akka系列（二）：Akka中Actor系統(tǒng)Actor作為Akka中最核心的結(jié)構(gòu)，其在Akka中的中的組織結(jié)構(gòu)也至關(guān)重要，今天我們就來講講Akka中Actor系統(tǒng)。 Actor系統(tǒng) Actor作為一種封裝狀態(tài)和行為的對...
-
線程池（2）--線程池的狀態(tài)以及提供的方法1、RUNNING (1) 狀態(tài)說明：線程池處在RUNNING狀態(tài)時，能夠接收新任務(wù)，以及對已添加的任務(wù)(堵塞隊(duì)列中的任務(wù))進(jìn)行處理。 (02) 狀態(tài)切換：線程池的初始化狀態(tài)...
-
BitSet實(shí)現(xiàn)原理及源碼解析BitSet的結(jié)構(gòu)原理 BitSet, 是Java對位集合抽象出的一種數(shù)據(jù)結(jié)構(gòu)。它的內(nèi)部維護(hù)了一個long數(shù)組,數(shù)組里的每一個元素用64位的二進(jìn)制來表示，所以每一位只用來存儲...
