這是小編的一個(gè)讀者喜提offer后在群里做的分享，文中隱藏了讀者的個(gè)人隱私信息，小編這里把他的面經(jīng)分享出來供大家學(xué)習(xí)。群友們看到后都紛紛表示【我酸了，現(xiàn)在我就是個(gè)檸檬精系列】...
發(fā)簡信
IP屬地：重慶
-
所以說讀者們才是最優(yōu)秀的 | 某讀者喜提offer后的分享
-
所以說讀者們才是最優(yōu)秀的 | 某讀者喜提offer后的分享
這是小編的一個(gè)讀者喜提offer后在群里做的分享，文中隱藏了讀者的個(gè)人隱私信息，小編這里把他的面經(jīng)分享出來供大家學(xué)習(xí)。群友們看到后都紛紛表示【我酸了，現(xiàn)在我就是個(gè)檸檬精系列】...
-
2021年，開發(fā)者的落日
小說《三體》第一部結(jié)尾，葉文潔透過紅岸基地天空看到了最后一次日落。她親手發(fā)出的訊息讓人類太陽永遠(yuǎn)沉淪。多年以后，一顆小小的水滴瞬間摧毀龐大的人類星際艦隊(duì)，人類的驕傲與自尊灰飛...
-
【大數(shù)據(jù)嗶嗶集20210117】Kafka 的高可靠性是怎么實(shí)現(xiàn)的
數(shù)據(jù)可靠性 Kafka 作為一個(gè)商業(yè)級消息中間件，消息可靠性的重要性可想而知。本文從 Producter 往 Broker 發(fā)送消息、Topic 分區(qū)副本以及 Leader ...
-
【大數(shù)據(jù)嗶嗶集20210124】有人問我Kafka Leader選舉?我真沒慌
一條消息只有被ISR中所有Follower都從Leader復(fù)制過去才會被認(rèn)為已提交。這樣就避免了部分?jǐn)?shù)據(jù)被寫進(jìn)了Leader，還沒來得及被任何Follower復(fù)制就宕機(jī)了，而...
-
【大數(shù)據(jù)嗶嗶集20210122】面試官問我HDFS丟不丟數(shù)據(jù)？我啪就把這個(gè)文章甩到他臉上
數(shù)據(jù)一致性 HDFS作為分布式文件系統(tǒng)在分布式環(huán)境下如何保證數(shù)據(jù)一致性。HDFS中，存儲的文件將會被分成若干的大小一致的block分布式地存儲在不同的機(jī)器上，需要NameNo...
-
【大數(shù)據(jù)嗶嗶集20210122】面試官問我HDFS丟不丟數(shù)據(jù)？我啪就把這個(gè)文章甩到他臉上
數(shù)據(jù)一致性 HDFS作為分布式文件系統(tǒng)在分布式環(huán)境下如何保證數(shù)據(jù)一致性。HDFS中，存儲的文件將會被分成若干的大小一致的block分布式地存儲在不同的機(jī)器上，需要NameNo...
-
學(xué)不會去當(dāng)產(chǎn)品吧？Flink實(shí)戰(zhàn)任務(wù)調(diào)優(yōu)
背景 在大數(shù)據(jù)領(lǐng)域我們都知道，開發(fā)是最簡單，任務(wù)的合理調(diào)優(yōu)、問題排查才是最重要的。我們在之前的文章《Flink面試通關(guān)手冊》[https://mp.weixin.qq.com...
-
Presto在大數(shù)據(jù)領(lǐng)域的實(shí)踐和探索
小編在去年的時(shí)候，寫過一篇轟動(dòng)全網(wǎng)的文章《你需要的不是實(shí)時(shí)數(shù)倉 | 你需要的是一款強(qiáng)大的OLAP數(shù)據(jù)庫》[https://mp.weixin.qq.com/s?__biz=M...
-
哈哈，答案我寫了，可以照著看看
Flink 面試通關(guān)手冊
概述 2019 年是大數(shù)據(jù)實(shí)時(shí)計(jì)算領(lǐng)域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （內(nèi)部的 Flink 分支版本）開源，大數(shù)據(jù)領(lǐng)域一夜間從 Spark 獨(dú)步天下...
-
突破性能瓶頸！ElasticSearch百億級數(shù)據(jù)檢索優(yōu)化案例一、前言 本文中的數(shù)據(jù)平臺已迭代三個(gè)版本，從頭開始遇到很多常見的難題，終于有片段時(shí)間整理一些已完善的文檔，在此分享以供所需朋友的。實(shí)現(xiàn)參考，少走些彎路，在此篇幅中偏重于ES的...
-
great
Greenplum 數(shù)據(jù)庫 之 拉鏈表 的實(shí)現(xiàn)
??歷史拉鏈表是一種數(shù)據(jù)模型，主要是針對數(shù)據(jù)倉庫設(shè)計(jì)中表存儲數(shù)據(jù)的方式而定義的；顧名思義，所謂歷史拉鏈表，就是記錄一個(gè)事務(wù)從開始一直到當(dāng)前狀態(tài)的所有變化的信息，拉鏈表可以避免...
-
寫得太好了。支持作者。
Ogg 監(jiān)控 MySQL - Binlog 日志并對接 Kafka 實(shí)戰(zhàn)（一）
??對于 Flink 數(shù)據(jù)流的處理，一般都是去直接監(jiān)控 xxx.log 日志的數(shù)據(jù)，至于如何實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫數(shù)據(jù)的同步的話網(wǎng)上基本沒啥多少可用性的文章，基于項(xiàng)目的需求，經(jīng)過一...
-
觸類旁通Elasticsearch之吊打同行系列：分析篇
目錄 一、什么是分析 二、分析文 三、分析API 四、分析器、分詞器、分詞過濾器 內(nèi)置分析器 分詞器 分詞過濾器 五、N元語法、側(cè)邊N元語法、滑動(dòng)窗口 六、IK中文分詞插件 ...
-
我特別喜歡你的文章，三個(gè)贊??
基于ClickHouse的用戶行為（路徑）分析實(shí)踐
前言 ClickHouse為用戶提供了豐富的多參聚合函數(shù)（parametric aggregate function）和基于數(shù)組+Lambda表達(dá)式的高階函數(shù)（higher-...
-
flink與kafka結(jié)合1、概述 flink提供了一個(gè)特有的kafka connector去讀寫kafka topic的數(shù)據(jù)。flink消費(fèi)kafka數(shù)據(jù)，并不是完全通過跟蹤kafka消費(fèi)組的off...
-
Spark SQL CBO 基于代價(jià)的優(yōu)化
Spark CBO 背景 本文將介紹 CBO，它充分考慮了數(shù)據(jù)本身的特點(diǎn)（如大小、分布）以及操作算子的特點(diǎn)（中間結(jié)果集的分布及大小）及代價(jià)，從而更好的選擇執(zhí)行代價(jià)最小的物理執(zhí)...
-
解決Spark數(shù)據(jù)傾斜(三) 使用隨機(jī)前綴分散傾斜Key
原理 為數(shù)據(jù)量特別大的Key增加隨機(jī)前/后綴，使得原來Key相同的數(shù)據(jù)變?yōu)镵ey不相同的數(shù)據(jù)，從而使傾斜的數(shù)據(jù)集分散到不同的Task中，徹底解決數(shù)據(jù)傾斜問題。Join另一則的...