發(fā)簡(jiǎn)信
IP屬地：湖北
-
Java 8 知多少
一、函數(shù)式接口 函數(shù)式接口的定義： 函數(shù)式接口(Functional Interface)就是一個(gè)有且僅有一個(gè)抽象方法，但是可以有多個(gè)非抽象方法...
-
多事務(wù)事實(shí)表實(shí)踐
一：企業(yè)級(jí)數(shù)倉(cāng)多事務(wù)事實(shí)表的重要性 整個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)，從表的性質(zhì)來(lái)分，有維度表和事實(shí)表，事務(wù)表又分為多事務(wù)事實(shí)表，累積快照事實(shí)表，周期型快照...
-
flink狀態(tài)管理和容錯(cuò)一、有狀態(tài)計(jì)算 在flink的結(jié)構(gòu)體系當(dāng)中，有狀態(tài)的計(jì)算可以說(shuō)是flink非常重要的特性之一了。有狀態(tài)的計(jì)算是指在程序計(jì)算過(guò)程中，在flink程...
-
flink時(shí)間概念和watermark詳解一、flink支持的時(shí)間概念類型 1.1、流計(jì)算與時(shí)間屬性密不可分 相比較于離線計(jì)算，流計(jì)算往往離不開(kāi)討論時(shí)間這個(gè)概念，因?yàn)殡x線計(jì)算是有界數(shù)據(jù)，...
-
Spark性能優(yōu)化：數(shù)據(jù)傾斜調(diào)優(yōu)（轉(zhuǎn)）《Spark性能優(yōu)化：開(kāi)發(fā)調(diào)優(yōu)篇》《Spark性能優(yōu)化：資源調(diào)優(yōu)篇》《Spark性能優(yōu)化：數(shù)據(jù)傾斜調(diào)優(yōu)》《Spark性能優(yōu)化：shuffle調(diào)優(yōu)...
-
Spark性能優(yōu)化：資源調(diào)優(yōu)篇（轉(zhuǎn)）《Spark性能優(yōu)化：開(kāi)發(fā)調(diào)優(yōu)篇》《Spark性能優(yōu)化：資源調(diào)優(yōu)篇》《Spark性能優(yōu)化：數(shù)據(jù)傾斜調(diào)優(yōu)》《Spark性能優(yōu)化：shuffle調(diào)優(yōu)...
-
Spark性能優(yōu)化：開(kāi)發(fā)調(diào)優(yōu)篇（轉(zhuǎn)）《Spark性能優(yōu)化：開(kāi)發(fā)調(diào)優(yōu)篇》《Spark性能優(yōu)化：資源調(diào)優(yōu)篇》《Spark性能優(yōu)化：數(shù)據(jù)傾斜調(diào)優(yōu)》《Spark性能優(yōu)化：shuffle調(diào)優(yōu)...
-
Apache Spark 統(tǒng)一內(nèi)存管理模型詳解（轉(zhuǎn)）一、前言 本文將對(duì)Spark的內(nèi)存管理模型進(jìn)行分析，下面的分析全部是基于 Apache Spark 2.2.1 進(jìn)行的。為了讓下面的文章看起來(lái)不...
-
spark任務(wù)調(diào)度詳解一、spark scheduler（spark任務(wù)調(diào)度） 在使用spark-summit或者spark-shell提交spark程序后，根據(jù)提交...