發(fā)簡(jiǎn)信
IP屬地：北京
-
阿里，頭條，美團(tuán)，快手大數(shù)據(jù)開(kāi)發(fā)崗面試總結(jié)
從3月份開(kāi)始，陸續(xù)面了阿里，頭條，美團(tuán)，快手四家公司的大數(shù)據(jù)開(kāi)發(fā)崗位，近20場(chǎng)面試面下來(lái)挺耗費(fèi)腦力的，不過(guò)結(jié)果還行，除了頭條外，目前拿到了其他三...
-
Flink實(shí)戰(zhàn)| Flink+Redis實(shí)時(shí)防刷接口作弊
隨著人口紅利的慢慢削減，互聯(lián)網(wǎng)產(chǎn)品的廝殺愈加激烈，大家開(kāi)始看好下沉市場(chǎng)的潛力，拼多多，趣頭條等廠商通過(guò)拉新獎(jiǎng)勵(lì)，購(gòu)物優(yōu)惠等政策率先搶占用戶(hù)，壯大...
-
知識(shí)圖譜在大數(shù)據(jù)中的應(yīng)用隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，萬(wàn)物互聯(lián)成為了可能，這種互聯(lián)所產(chǎn)生的數(shù)據(jù)也在爆發(fā)式地增長(zhǎng)，而這些數(shù)據(jù)恰好可以作為分析關(guān)系的有效原料。如果說(shuō)以往的智能分析專(zhuān)...
-
深度好文 | 資深技術(shù)Leader曹樂(lè)：如何成為技術(shù)大牛
雙生說(shuō)：曹樂(lè)是典型學(xué)霸，清華本碩，多年互聯(lián)網(wǎng)大廠研發(fā)經(jīng)驗(yàn)，所以“資深”。我剛到新部門(mén)的時(shí)候，約各位合作部門(mén)的Leader請(qǐng)教，也算幫我做新崗位入...
-
Kafka如何徹底刪除topic及數(shù)據(jù)
更多大數(shù)據(jù)技術(shù)干貨，歡迎關(guān)注“大數(shù)據(jù)技術(shù)進(jìn)階”微信公眾號(hào)。 前言：刪除kafka topic及其數(shù)據(jù)，嚴(yán)格來(lái)說(shuō)并不是很難的操作。但是，往往給ka...
-
MapReduce Shuffle 和 Spark Shuffle 原理概述
更多大數(shù)據(jù)技術(shù)干貨，歡迎關(guān)注“大數(shù)據(jù)技術(shù)進(jìn)階”微信公眾號(hào)。 Shuffle簡(jiǎn)介 Shuffle的本意是洗牌、混洗的意思，把一組有規(guī)則的數(shù)據(jù)盡量打...
-
【轉(zhuǎn)載】mysql和hbase應(yīng)用場(chǎng)景對(duì)比當(dāng)我們對(duì)于數(shù)據(jù)結(jié)構(gòu)字段不夠確定或雜亂無(wú)章很難按一個(gè)概念去進(jìn)行抽取的數(shù)據(jù)適合用使用什么數(shù)據(jù)庫(kù)？答案是什么，如果我們使用的傳統(tǒng)數(shù)據(jù)庫(kù)，肯定留有多余的...
-
【轉(zhuǎn)載】Spark 性能調(diào)優(yōu)0、背景上周四接到反饋，集群部分 spark 任務(wù)執(zhí)行很慢，且經(jīng)常出錯(cuò)，參數(shù)改來(lái)改去怎么都無(wú)法優(yōu)化其性能和解決頻繁隨機(jī)報(bào)錯(cuò)的問(wèn)題?？戳讼氯蝿?wù)的歷...
-
【轉(zhuǎn)載】Spark調(diào)優(yōu)（數(shù)據(jù)序列化和內(nèi)存調(diào)優(yōu)）
翻譯自Spark官網(wǎng)文檔：https://spark.apache.org/docs/2.1.0/tuning.html 前言 由于大多數(shù)Spa...
個(gè)人介紹