IP屬地：上海
-
Spark 內(nèi)存管理Spark是基于內(nèi)存的計(jì)算引擎，就是說(shuō)它高效的使用了分布式節(jié)點(diǎn)上的內(nèi)存資源，盡可能多的使用內(nèi)存，而不是將數(shù)據(jù)寫(xiě)入磁盤(pán)。內(nèi)存管理機(jī)制就是其中的核心...
-
HBase最近看了Bigtable的論文，所以結(jié)合著看了HBase的實(shí)現(xiàn) HBase是一個(gè)開(kāi)源的，分布式，版本化的非關(guān)系型數(shù)據(jù)庫(kù)，模仿Google Big...
-
Java 火焰圖火焰圖是進(jìn)行性能分析的工具，可以通過(guò)Flame Graph獲取指定程序的火焰圖，目前IDEA也增添了火焰圖功能，叫做CPU Profiler F...
-
Spark ShutdownHook
按照優(yōu)先級(jí)在關(guān)閉時(shí)執(zhí)行一系列操作，在spark內(nèi)用途很廣泛，主要是釋放資源，刪除文件等 使用 ShutdownHookManager Shutd...
-
Docker 概念Docker是基于容器的應(yīng)用開(kāi)發(fā)，部署和運(yùn)行平臺(tái) 高性能：相比傳統(tǒng)虛擬機(jī)，不需要hepervisor的額外負(fù)載，而是直接在主機(jī)內(nèi)核中運(yùn)行，可以在...
-
Java CPU親和性
最近在項(xiàng)目中碰到整個(gè)進(jìn)程的CPU占用率極低，分析了很久，才排查到是CPU親和性相關(guān)的問(wèn)題，因?yàn)樵陧?xiàng)目啟動(dòng)配置過(guò)程中，調(diào)用了一個(gè)FPGA的初始化操...
-
Unsafe類(lèi)詳解
Unsafe類(lèi)是進(jìn)行底層操作的方法集合，可以直接操作內(nèi)存，進(jìn)行一些非常規(guī)操作，所以說(shuō)是"不安全"的操作，但是因?yàn)橹苯硬僮鲀?nèi)存，它的效率很高，通常...
-
Spark RPC 通信機(jī)制
相關(guān)概念 主要涉及RpcEnv，RpcEndpoint，RpcEndpointRef，其中RpcEnv是通信的基礎(chǔ)，每個(gè)通信節(jié)點(diǎn)上都需要實(shí)現(xiàn)該類(lèi)...
-
Spark SortShuffleWriter
這是三種ShuffleWriter中最通用的情況，對(duì)應(yīng)BaseShuffleHandle，此時(shí)可以在map端進(jìn)行數(shù)據(jù)合并，否則不向排序工具Ext...