（由于平臺限制，公式無法正常顯示，更好排版請?jiān)L問我的博客：https://tianle.me/2017/12/12/jd/）項(xiàng)目源代碼：https://github.com/...
發(fā)簡信
IP屬地：北京
-
2017京東金融信貸需求預(yù)測 賽題總結(jié) -
如何正確地解答海量數(shù)據(jù)處理面試題一. 基礎(chǔ)知識 1. 哈希函數(shù) 經(jīng)典的哈希函數(shù)有MD5, SHA1等, 不是必須掌握, 可以適當(dāng)了解. 2. map-reduce 原理展現(xiàn): 使用word-count案例 ...
-
Spark的Driver和ApplicationMaster進(jìn)程核數(shù)設(shè)置之我見
配置 源碼 具體可以參見yarn.Client.scala#L87，這邊用去讀取參數(shù)設(shè)置ApplicationMaster的對應(yīng)核數(shù)。 具體可以參見yarn.Client.s...
-
一個引發(fā)Spark在Executor端Shuffle Write發(fā)生StackOverFlow的case
引子 有一天，一個客戶帶著下面StackOverFlow錯誤棧來找我，簡單的主訴之后發(fā)現(xiàn)應(yīng)該是shuffle wtrite階段寫中間文件的時候序列化發(fā)生了死循環(huán)。 客戶：xs...
-
2018年 九大改變世界的技術(shù)趨勢技術(shù)的世界正在爆炸式發(fā)展，“日新月異”不再是一個修辭，而是正在發(fā)生的現(xiàn)實(shí)。在這其中，有一些發(fā)展趨勢注定要改變世界，改變我們的生活方式。在此，我們借鑒美國大數(shù)據(jù)專家Bernar...
-
Spark-sql[1]-antrl4的入門以及在spark中的實(shí)現(xiàn)we are all in the gutter,but some of us are looking at the stars. --王爾德Just For M 為了更方便...
-
深度學(xué)習(xí)思考
機(jī)器學(xué)習(xí)的套路 大部分機(jī)器學(xué)習(xí)算法(包括深度學(xué)習(xí))，其實(shí)是在一個理想空間里（接下來我們會以三維空間為例子）尋找一個最大/最小值。三維空間是無限大的，在某個實(shí)際場景，假設(shè)我們有...
