IP屬地：山西
-
Spark 內(nèi)存管理Spark是基于內(nèi)存的計算引擎，就是說它高效的使用了分布式節(jié)點(diǎn)上的內(nèi)存資源，盡可能多的使用內(nèi)存，而不是將數(shù)據(jù)寫入磁盤。內(nèi)存管理機(jī)制就是其中的核心...
-
HBase最近看了Bigtable的論文，所以結(jié)合著看了HBase的實(shí)現(xiàn) HBase是一個開源的，分布式，版本化的非關(guān)系型數(shù)據(jù)庫，模仿Google Big...
-
Java 火焰圖火焰圖是進(jìn)行性能分析的工具，可以通過Flame Graph獲取指定程序的火焰圖，目前IDEA也增添了火焰圖功能，叫做CPU Profiler F...
-
Spark ShutdownHook
按照優(yōu)先級在關(guān)閉時執(zhí)行一系列操作，在spark內(nèi)用途很廣泛，主要是釋放資源，刪除文件等 使用 ShutdownHookManager Shutd...
-
Docker 概念Docker是基于容器的應(yīng)用開發(fā)，部署和運(yùn)行平臺 高性能：相比傳統(tǒng)虛擬機(jī)，不需要hepervisor的額外負(fù)載，而是直接在主機(jī)內(nèi)核中運(yùn)行，可以在...
-
Java CPU親和性
最近在項目中碰到整個進(jìn)程的CPU占用率極低，分析了很久，才排查到是CPU親和性相關(guān)的問題，因為在項目啟動配置過程中，調(diào)用了一個FPGA的初始化操...
-
Unsafe類詳解
Unsafe類是進(jìn)行底層操作的方法集合，可以直接操作內(nèi)存，進(jìn)行一些非常規(guī)操作，所以說是"不安全"的操作，但是因為直接操作內(nèi)存，它的效率很高，通常...
-
Spark RPC 通信機(jī)制
相關(guān)概念 主要涉及RpcEnv，RpcEndpoint，RpcEndpointRef，其中RpcEnv是通信的基礎(chǔ)，每個通信節(jié)點(diǎn)上都需要實(shí)現(xiàn)該類...
-
Spark SortShuffleWriter
這是三種ShuffleWriter中最通用的情況，對應(yīng)BaseShuffleHandle，此時可以在map端進(jìn)行數(shù)據(jù)合并，否則不向排序工具Ext...