從3月份開(kāi)始,陸續(xù)面了阿里,頭條,美團(tuán),快手四家公司的大數(shù)據(jù)開(kāi)發(fā)崗位,近20場(chǎng)面試面下來(lái)挺耗費(fèi)腦力的,不過(guò)結(jié)果還行,除了頭條外,目前拿到了其他三...
隨著人口紅利的慢慢削減,互聯(lián)網(wǎng)產(chǎn)品的廝殺愈加激烈,大家開(kāi)始看好下沉市場(chǎng)的潛力,拼多多,趣頭條等廠商通過(guò)拉新獎(jiǎng)勵(lì),購(gòu)物優(yōu)惠等政策率先搶占用戶(hù),壯大...
隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展,萬(wàn)物互聯(lián)成為了可能,這種互聯(lián)所產(chǎn)生的數(shù)據(jù)也在爆發(fā)式地增長(zhǎng),而這些數(shù)據(jù)恰好可以作為分析關(guān)系的有效原料。如果說(shuō)以往的智能分析專(zhuān)...
雙生說(shuō):曹樂(lè)是典型學(xué)霸,清華本碩,多年互聯(lián)網(wǎng)大廠研發(fā)經(jīng)驗(yàn),所以“資深”。我剛到新部門(mén)的時(shí)候,約各位合作部門(mén)的Leader請(qǐng)教,也算幫我做新崗位入...
更多大數(shù)據(jù)技術(shù)干貨,歡迎關(guān)注“大數(shù)據(jù)技術(shù)進(jìn)階”微信公眾號(hào)。 前言:刪除kafka topic及其數(shù)據(jù),嚴(yán)格來(lái)說(shuō)并不是很難的操作。但是,往往給ka...
更多大數(shù)據(jù)技術(shù)干貨,歡迎關(guān)注“大數(shù)據(jù)技術(shù)進(jìn)階”微信公眾號(hào)。 Shuffle簡(jiǎn)介 Shuffle的本意是洗牌、混洗的意思,把一組有規(guī)則的數(shù)據(jù)盡量打...
當(dāng)我們對(duì)于數(shù)據(jù)結(jié)構(gòu)字段不夠確定或雜亂無(wú)章很難按一個(gè)概念去進(jìn)行抽取的數(shù)據(jù)適合用使用什么數(shù)據(jù)庫(kù)?答案是什么,如果我們使用的傳統(tǒng)數(shù)據(jù)庫(kù),肯定留有多余的...
0、背景上周四接到反饋,集群部分 spark 任務(wù)執(zhí)行很慢,且經(jīng)常出錯(cuò),參數(shù)改來(lái)改去怎么都無(wú)法優(yōu)化其性能和解決頻繁隨機(jī)報(bào)錯(cuò)的問(wèn)題??戳讼氯蝿?wù)的歷...
翻譯自Spark官網(wǎng)文檔:https://spark.apache.org/docs/2.1.0/tuning.html 前言 由于大多數(shù)Spa...