轉(zhuǎn)自 大蕉還有這個(gè)GANhttp://www.itdecent.cn/p/5842ca632816?utm_campaign=haruki&utm_content=note...
發(fā)簡信
IP屬地：北京
-
spark 經(jīng)常會(huì)碰到的一些異常 備忘
-
漏斗分析法--網(wǎng)站分析基礎(chǔ)方法作用： 能讓我們直觀地看到，網(wǎng)站機(jī)制是否能有效地推動(dòng)用戶進(jìn)入使用周期的下一階段，讓用戶逐漸從稍微感興趣變成忠實(shí)粉絲。這能有效地幫助我們定位網(wǎng)站設(shè)計(jì)問題。 基本畫法： 漏斗頂部...
-
-
@IT人故事會(huì) 好噠好噠~多謝提醒~
2018年京東數(shù)據(jù)開發(fā)崗筆試+面試
筆試選擇多是機(jī)器學(xué)習(xí)的知識(shí)點(diǎn)，憑著印象硬答多選是數(shù)據(jù)庫表查詢，表連接 一面 mysql的B+樹 Hive的表連接 問了問爬蟲 問了問在校課程 感覺面試官spark特別好，特別...
-
2018年愛奇藝春招筆試-大數(shù)據(jù)開發(fā)實(shí)習(xí)生
選擇 hdfs檢查節(jié)點(diǎn)健康狀態(tài)的指令 a,b,c,d,e五個(gè)數(shù)進(jìn)棧，隨意進(jìn)出請(qǐng)問a為開始有幾種情況 大題 輸入多個(gè)數(shù)，有一個(gè)不同，輸出不同的數(shù)所在的位數(shù) 輸入三個(gè)數(shù)，輸出經(jīng)過...
-
2018年京東數(shù)據(jù)開發(fā)崗筆試+面試
筆試選擇多是機(jī)器學(xué)習(xí)的知識(shí)點(diǎn)，憑著印象硬答多選是數(shù)據(jù)庫表查詢，表連接 一面 mysql的B+樹 Hive的表連接 問了問爬蟲 問了問在校課程 感覺面試官spark特別好，特別...
-
2018年春招水滴籌面試
深深意識(shí)到自己差在哪了，算是暴擊吧。一共也沒問幾個(gè)問題，就二十分鐘。 HDFS的寫過程 HDFS寫過程中備份問題，是先備份還是先寫入 Hive Partition是如何實(shí)現(xiàn)的...
-
MapReducer之Partitioner與Sort
排序大概分為以下幾類 MapReducer自帶排序就可以滿足 自定義sort規(guī)則，只設(shè)置1個(gè)Reducer Task 自定義Partition實(shí)現(xiàn)區(qū)內(nèi)有序 啟用多個(gè)Reduc...
-
MapReducer之Shuffle
shuffle是將Map的輸出結(jié)果進(jìn)行分區(qū)，排序，分組等處理之后交給Reduce進(jìn)行處理的過程 Map端的shuffle 寫入緩存每一個(gè)Map都會(huì)被分配一個(gè)環(huán)形的緩沖區(qū)，設(shè)置...
-
MapReducer之Map輸入
在整個(gè)MapReducer階段中，Map輸入的文件，Reducer輸出的文件都是存儲(chǔ)在分布式文件系統(tǒng)中，但是Map任務(wù)處理的中間結(jié)果需要保存在本地磁盤，所以Map階段需要考慮...
-
MapReducer之Combiner（歸約處理）
Commbiner相當(dāng)于本地的Reducer計(jì)算模式，但是并不是所有場(chǎng)合都適合，總結(jié)一下都是什么場(chǎng)合適合用。 作用 因?yàn)镸ap產(chǎn)生了太多的輸出，為了減少RPC傳輸，在本地進(jìn)行...
-
2018年春招去哪兒筆試+一面
選擇題， 1.java GetInstence()屬于什么設(shè)計(jì)模式 2.Redis數(shù)據(jù)庫存入數(shù)據(jù)時(shí)先將數(shù)據(jù)存入內(nèi)存中，過一段時(shí)間再存入硬盤中 ，屬于數(shù)據(jù)的一致性 編程題 ...
-
2018年春招網(wǎng)易筆試
只寫了幾個(gè)印象深的，做的不好的。 選擇題 1、hadoop的調(diào)度器 調(diào)度器的作用是將系統(tǒng)中空閑的資源按一定的策略分給作業(yè)，在Hadoop中，調(diào)度器是一個(gè)可插拔的模塊，可以根據(jù)...
-
2018年春招58數(shù)據(jù)開發(fā)崗筆試+面試
只對(duì)幾個(gè)自己做的比較困難的印象深刻，記下來回去復(fù)習(xí)。 填空題 1.最小堆問題：最小堆插入重排 2.二分查找問題：一個(gè)長512的名字序列，找出其中一個(gè)名字需要查找多少次 編程題...
-
Hive學(xué)習(xí)筆記
Hive的作用 使用Hive QL （語法類似于SQL）做一些MapReducer能做的事情，但是他并不完全支持SQL標(biāo)準(zhǔn)，不支持更新操作，不支持事務(wù)，子查詢和join也十分...
-
自測(cè)-5 Shuffling Machine（20 分）
Shuffling is a procedure used to randomize a deck of playing cards. Because standard sh...
-
自測(cè)-4 Have Fun with Numbers（20 分）
Notice that the number 123456789 is a 9-digit number consisting exactly the numbers fro...
