發(fā)簡(jiǎn)信
IP屬地：云南
-
Springboot 2.X啟動(dòng)原理分析調(diào)用SpringApplication.run方法 對(duì)run方法總結(jié)如下：1.獲取創(chuàng)建SpringApplicationRunListener2...
-
Spark核心原理，組件介紹
standalone模式 master 負(fù)責(zé)集群資源的管理，主要負(fù)責(zé)worker的注冊(cè)，driver的注冊(cè) worker 負(fù)責(zé)向master注冊(cè)...
-
HashMap1.8和ConcurentHashMap1.8原理分析jdk1.8之后對(duì)HashMap做了很大的優(yōu)化，把原有的（數(shù)組+鏈表）結(jié)構(gòu)改成了（數(shù)組+鏈表+紅黑樹）。當(dāng)鏈表的長(zhǎng)度大于8的時(shí)候，自動(dòng)轉(zhuǎn)換成紅黑...
-
1.3 Spark-RDD的依賴關(guān)系RDD的依賴關(guān)系分為兩種： 窄依賴（A>B） 定義：父RDD的一個(gè)分區(qū)最多被子RDD的一個(gè)分區(qū)依賴。有兩中情況： 一對(duì)一的依賴 多對(duì)一的依賴im...
-
HashMap1.7和ConcurrentHashMap1.7原理分析面試的時(shí)候經(jīng)常問(wèn)到。這里對(duì)jdk1.7的HashMap和ConcurrentHashMap原理進(jìn)行分析。下篇將詳細(xì)分析jdk1.8的實(shí)現(xiàn)。 1 ...
-
1.2 Spark-RDD彈性的七大特性
1.自動(dòng)進(jìn)行內(nèi)存和磁盤存儲(chǔ)的切換 spark會(huì)優(yōu)先將數(shù)據(jù)存儲(chǔ)在內(nèi)存中，如果內(nèi)存放不下，才把數(shù)據(jù)寫入磁盤，不但能計(jì)算內(nèi)存中的數(shù)據(jù)，也能計(jì)算內(nèi)存放不...
-
1.1 Spark-RDD存儲(chǔ)機(jī)制以及特性RDD的存儲(chǔ)機(jī)制： 其數(shù)據(jù)分布存儲(chǔ)在多臺(tái)機(jī)器上，都是以block的形式存儲(chǔ)在服務(wù)器上。每個(gè)Executor都會(huì)啟動(dòng)一個(gè)BlockManagerS...