IP屬地：北京
-
Spark Dag Scheduler學(xué)習(xí)記錄簡(jiǎn)介 spark作為實(shí)時(shí)及離線合為一體的大數(shù)據(jù)計(jì)算框架，由于其出色的批處理能力及高效的流計(jì)算能力，因此在大數(shù)據(jù)中依舊有著不可撼動(dòng)的地位。這篇文章...
-
深入Linux內(nèi)核架構(gòu)--內(nèi)存管理設(shè)計(jì)介紹前言 在互聯(lián)網(wǎng)時(shí)代，大部分的應(yīng)用程序基本都是IO密集型，而IO密集型的程序運(yùn)行效率的關(guān)鍵在于內(nèi)存管理，因此充分理解操作系統(tǒng)中內(nèi)存管理是一個(gè)優(yōu)秀程...
-
深入linux內(nèi)核架構(gòu)--進(jìn)程&線程簡(jiǎn)介 進(jìn)程和線程這兩個(gè)詞，每個(gè)程序員都十分熟悉，但是想要很清晰的描述出來(lái)卻有一種不知道從何說(shuō)起的感覺(jué)。所以今天結(jié)合一個(gè)具體的例子來(lái)描述一下進(jìn)程與...
-
Should we disable linux swap？隨著計(jì)算機(jī)硬件的飛速發(fā)展，內(nèi)存的容量越來(lái)越大，服務(wù)器從最開(kāi)始的幾G到現(xiàn)在的幾百G，各大公司從來(lái)都不會(huì)在內(nèi)存上面吝嗇，因?yàn)閮?nèi)存是服務(wù)穩(wěn)定性的基礎(chǔ)，...
-
深入linux內(nèi)核架構(gòu)--內(nèi)核鎖簡(jiǎn)介 在多線程(進(jìn)程)并發(fā)模型中，多個(gè)線程如果同時(shí)處理同一塊數(shù)據(jù)的話，會(huì)引發(fā)競(jìng)態(tài)問(wèn)題，以及隨之而來(lái)的線程安全問(wèn)題。而鎖是解決線程安全的重要手段，...
-
深入linux內(nèi)核架構(gòu)--slab分配器簡(jiǎn)介 malloc對(duì)于大家來(lái)說(shuō)應(yīng)該都不陌生了，這是系統(tǒng)庫(kù)給我們提供了申請(qǐng)指定大小內(nèi)存的函數(shù)，之前介紹的伙伴系統(tǒng)，只能以頁(yè)的方式申請(qǐng)內(nèi)存，對(duì)于小塊...
-
golang 1.8 gc的演進(jìn)在java的gc中，主要有三種算法，即：標(biāo)記-刪除，標(biāo)記-整理，復(fù)制，網(wǎng)上有很多資料介紹相關(guān)內(nèi)容，其中標(biāo)記主要是為了找到內(nèi)存中不可達(dá)的對(duì)象，并將...
-
深入linux內(nèi)核架構(gòu)--內(nèi)存屏障簡(jiǎn)介 之前在看volatile 可見(jiàn)性的時(shí)候，經(jīng)常會(huì)看到內(nèi)存屏障，但是對(duì)于其基本原理似懂非懂，也對(duì)于內(nèi)存屏障是如何保障多個(gè)CPU之間的數(shù)據(jù)可見(jiàn)性...
-
深入linux內(nèi)核架構(gòu)--核心調(diào)度器內(nèi)存中保存了每個(gè)進(jìn)程的唯一描述信息，并通過(guò)若干結(jié)構(gòu)與其他進(jìn)程連接起來(lái)，那么調(diào)度器的核心任務(wù)就是高效公平的執(zhí)行各個(gè)進(jìn)程中的內(nèi)存代碼段。那么一個(gè)好的...