發(fā)簡信
IP屬地：江蘇
-
隨筆-2022-05-10
突然想到一些東西，隨便記記吧。之前聽到一首歌，翻來覆去的唱下面幾句。"春有百花秋有月，夏有涼風(fēng)冬有雪。若無閑事掛心頭，便是人間好時節(jié)。"這原是佛...
-
Scala - return in anonymous function
spark（spark-2.10）算子（如map、filter等）的源碼實(shí)現(xiàn)，都會調(diào)用ClosureCleaner.clean對傳入的funct...
-
記一次序列化導(dǎo)致的MR統(tǒng)計問題
類似簡單的wordcount，MapReduce輸出的統(tǒng)計結(jié)果卻不符預(yù)期。部分key丟失了，未丟失的key，其value值也不對。經(jīng)查，是因?yàn)榇?..
-
scala語法在spark withScope上的應(yīng)用withSpout在spark中是用來做DAG可視化的，它在代碼里的用法如下（以map為例，spark 1.5.0版本） 因?yàn)閷cala語法比...
-
avro源碼閱讀-讀avro文件在實(shí)際工作中，會將avro文件讀到一個類中。下面就看看代碼是如何實(shí)現(xiàn)的（這里看的是avro-1.7.7版本）。 讀取整個avro文件的類是Dat...
-
avro源碼閱讀-寫avro文件avro文件結(jié)構(gòu) avro文件格式大致如下（引用自avro官網(wǎng)Specification的Object Container Files一節(jié)） A...
-
Java AbstractQueuedSynchronizer源碼閱讀5-從await()和awaitUninterruptibly()看interrupt
這篇文章說是對AbstractQueuedSynchronizer源碼的閱讀，倒不如說是對java interrupt的理解。 在看await(...
-
Java AbstractQueuedSynchronizer源碼閱讀4-ConditionObjectAbstractQueuedSynchronizer為鎖機(jī)制維護(hù)了一個隊(duì)列，需要獲取鎖的線程們排在隊(duì)列中，只有排在隊(duì)首的線程才有資格獲取鎖。Co...
-
Java--Lock&Condition的理解
本文為后續(xù)介紹AbstractQueuedSynchronizer.ConditionObject做一下鋪墊。 Lock&Condition L...