7種垃圾回收器特點(diǎn),優(yōu)劣及使用場(chǎng)景 一、常見(jiàn)垃圾收集器 ==++++常見(jiàn)的垃圾回收器種類(lèi)++++== 新生代收集器SerialParNewparallel 老年代收集器Ser...
7種垃圾回收器特點(diǎn),優(yōu)劣及使用場(chǎng)景 一、常見(jiàn)垃圾收集器 ==++++常見(jiàn)的垃圾回收器種類(lèi)++++== 新生代收集器SerialParNewparallel 老年代收集器Ser...
轉(zhuǎn)載請(qǐng)注明出處:http://www.itdecent.cn/p/9e6841a895b4[http://www.itdecent.cn/p/9e6841a895b4] ...
官方有專(zhuān)門(mén)的springboot-starter:https://github.com/apache/rocketmq-externals/blob/master/rocke...
本周在數(shù)據(jù)庫(kù)研發(fā)和運(yùn)營(yíng)組做了關(guān)于ELK的分享,這個(gè)分享主要是居于ES部分做的相關(guān)理論和測(cè)試的結(jié)論。下面是對(duì)此次分享的文字版整理,希望對(duì)研究學(xué)習(xí)ElasticSearch的朋友...
一、hdfs上傳和下載文件流程 hdfs上傳 客戶(hù)端向namenode發(fā)出請(qǐng)求建立通信獲得存儲(chǔ)文件塊的datanode節(jié)點(diǎn),然后客戶(hù)端將文件按照塊的大小進(jìn)行分塊(hadoop...
最近在逐步跟進(jìn)Hbase的相關(guān)工作,由于之前對(duì)Hbase并不怎么了解,因此系統(tǒng)地學(xué)習(xí)了下Hbase,為了加深對(duì)Hbase的理解,對(duì)相關(guān)知識(shí)點(diǎn)做了筆記,并在組內(nèi)進(jìn)行了Hbase...
一、hadoop概念 Hadoop由兩部分組成,一是負(fù)責(zé)存儲(chǔ)與管理文件的分布式文件系統(tǒng)HDFS、二是負(fù)責(zé)處理與計(jì)算的MapReduce的計(jì)算框架。 二、HDFS1.namen...
DAGScheduler的stage劃分算法總結(jié):會(huì)從觸發(fā)action操作的那個(gè)rdd開(kāi)始反向解析,首先會(huì)為最后一個(gè)rdd創(chuàng)建一個(gè)stage,反向解析的時(shí)候,遇到窄依賴(lài)就把當(dāng)...
1.沒(méi)有開(kāi)啟consolidation機(jī)制的性能低下的原理剖析 2.開(kāi)啟consolidation機(jī)制的性能低下的原理剖析 new SparkConf().set("spar...
一、數(shù)據(jù)本地化背景 數(shù)據(jù)本地化對(duì)于Spark job性能有著巨大的影響。如果數(shù)據(jù)以及要計(jì)算它的代碼一起的,那么性能當(dāng)然非常高,但是,如果數(shù)據(jù)和計(jì)算它的代碼是分開(kāi)的,那么其中之...
實(shí)際上Spark集群的資源并不一定會(huì)被充分利用到,所以要盡量設(shè)置合理的并行度,來(lái)充分地利用集群的資源。才能充分提高Spark應(yīng)用程序的性能。 Spark會(huì)自動(dòng)設(shè)置以文件作為輸...
一、Java虛擬機(jī)垃圾回收調(diào)優(yōu)的背景 如果在持久化RDD的時(shí)候,持久化了大量數(shù)據(jù),那么Java虛擬機(jī)的垃圾回收就可能成為一個(gè)性能瓶頸。因此Java虛擬機(jī)會(huì)定期進(jìn)行垃圾回收,此...
1.使用序列化的持久化級(jí)別 除了對(duì)多次使用的RDD進(jìn)行持久化操作之外,還可以進(jìn)一步優(yōu)化其性能。因?yàn)楹苡锌赡埽琑DD的數(shù)據(jù)是持久化到內(nèi)存,或者磁盤(pán)中的。那么,此時(shí),如果內(nèi)存大小...
一、前言 其實(shí)主要就是優(yōu)化算子函數(shù),內(nèi)部使用到局部數(shù)據(jù),或是算子函數(shù)外部數(shù)據(jù),都可以進(jìn)行數(shù)據(jù)結(jié)構(gòu)優(yōu)化,優(yōu)化之后,都會(huì)減少其對(duì)內(nèi)存的消耗和占用。 二、如何優(yōu)化數(shù)據(jù)結(jié)構(gòu) 優(yōu)先使用...
一、高性能序列化類(lèi)庫(kù) 數(shù)據(jù)序列化概述 1)在任何分布式系統(tǒng)中,序列化都是扮演著一個(gè)重要的角色的。如果使用的序列化技術(shù),在執(zhí)行序列化操作的時(shí)候很慢,或者是序列化后的數(shù)據(jù)還是很大...