Kafka的分區(qū)數(shù)是不是越多越好？ 分區(qū)多的優(yōu)點(diǎn) kafka使用分區(qū)將topic的消息打散到多個(gè)分區(qū)分布保存在不同的broker上，實(shí)現(xiàn)了producer和consumer消...
發(fā)簡(jiǎn)信
IP屬地：北京
-
Kafka的分區(qū)數(shù)和消費(fèi)者個(gè)數(shù) -
-
Spark性能優(yōu)化總結(jié)總結(jié)一下個(gè)人看了一些Spark性能調(diào)優(yōu)文章之后的理解，主要框架來(lái)自于meituantech，會(huì)在此框架上加入個(gè)人關(guān)注點(diǎn)，目錄如下， Overview Spark的瓶頸一般來(lái)自...
-
Spark蓋中蓋（一篇頂五篇）-3 DAG詳解前方高能，減速慢行！ 看過(guò)了Spark的核心RDD和RDD算子以后，感覺(jué)Spark是不是很神奇，竟然可以減少計(jì)算次數(shù)，優(yōu)化計(jì)算。對(duì)于窄依賴是這樣的，但是寬依賴怎么辦？還是要等...
-
Spark蓋中蓋（一篇頂五篇）-2 RDD算子詳解前方高能減速慢行！ 在上一篇RDD結(jié)構(gòu)已經(jīng)介紹完了。雖然RDD結(jié)構(gòu)是spark設(shè)計(jì)思想最重要的組成，但是沒(méi)有輔助的功能只有結(jié)構(gòu)又不能獨(dú)立使用。真正使RDD完成計(jì)算優(yōu)化的，就是...
-
Spark蓋中蓋（一篇頂五篇）-1 RDD的數(shù)據(jù)結(jié)構(gòu)模型前言：自Google發(fā)表三大論文GFS、MapReduce、BigTable以來(lái)，衍生出的開(kāi)源框架越來(lái)越多，其中Hadoop更是以高可用、高擴(kuò)展、高容錯(cuò)等特性形成了開(kāi)源工業(yè)界...
-
java程序員，不懂JIT，你寫(xiě)的代碼慢死了
努力做程序員中的標(biāo)題黨，這個(gè)文章的副標(biāo)題 面向JIT編程-方法內(nèi)聯(lián) JIT的全稱是Just in time compilation，中文稱之為即時(shí)編譯。JIT是JVM最強(qiáng)大的...
