IP屬地：上海
-
大廠都在用的Hive優(yōu)化
作者 |TMH_ITBOY原文| https://blog.csdn.net/LLJJYY001/article/details/1139941...
-
最新Hadoop的面試題總結(jié)
1、集群的最主要瓶頸 ? 磁盤IO,網(wǎng)絡(luò)帶寬 2、Hadoop運(yùn)行模式 ? 單機(jī)版、偽分布式模式、完全分布式模式 3、Hadoop生態(tài)圈的組件并...
-
企業(yè)是如何解決HDFS單點(diǎn)問題的？前言 在早期Hadoop剛出來的時(shí)候是沒有解決HDFS單點(diǎn)問題的，這就意味著當(dāng)NameNode的服務(wù)器宕機(jī)了就會導(dǎo)致整個集群癱瘓，這是非常危險(xiǎn)...
-
你都知道那些Kafka副本機(jī)制？前言 在日常開發(fā)過程中使用kafka來實(shí)限流削峰作用但是往往kafka會存放多份副本來防止數(shù)據(jù)丟失，那你知道他的機(jī)制是什么樣的嗎？本篇文章就帶...
-
HDFS是如何設(shè)計(jì)架構(gòu)的？前言 Hadoop到目前為止發(fā)展已經(jīng)有10余年，版本經(jīng)過無數(shù)次的更新迭代，目前業(yè)內(nèi)大家把Hadoop大的版本分為Hadoop1.0、Hadoo...
-
企業(yè)是如何選擇技術(shù)棧來做離線數(shù)倉前言 最近在跟一位粉絲聊天，聊起來了做離線數(shù)倉時(shí)該用那些技術(shù)棧。于是根據(jù)我的經(jīng)驗(yàn)和參考一些資料于就有本篇文章。在這里我會分享三個案例，僅供參考...
-
原來Canal也可以做HA?前言 在做實(shí)時(shí)數(shù)倉時(shí)，數(shù)據(jù)量往往比較大的，如果使用Canal來監(jiān)聽MySQL的狀態(tài)當(dāng)Canal 是單節(jié)服務(wù)時(shí)，服務(wù)器掛掉是就會造成數(shù)據(jù)丟失，這...
-
萬字帶你深入阿里開源的Canal工作原理前言 上篇文章給大家講解了如何安裝一個Canal,以及講解了一部分的原理，今天我們就來深度聊一聊Canal的工作流程，以及他是怎么工作的，以及...
-
實(shí)時(shí)數(shù)倉|架構(gòu)設(shè)計(jì)與技術(shù)選型前言 當(dāng)我們做一個項(xiàng)目時(shí)往往都需要選擇該用什么技術(shù)。這一部分不是我們普通員工想的，而是架構(gòu)師會根據(jù)客戶的需求選擇出合適的技術(shù)。當(dāng)選擇合適的技術(shù)...
個人介紹
我是一名大數(shù)據(jù)開發(fā)工程師，我在簡書會分享一些我平常在工作用到的技術(shù)，以及后面會分享一些源碼內(nèi)容。我也在GitHub上搭建了我自己的代碼倉庫，里面有優(yōu)秀的項(xiàng)目會記錄我是如何從0到1走向大數(shù)據(jù)架構(gòu)師（https://github.com/lhh2002），我也開通的我自己的公眾號【大數(shù)據(jù)老哥】優(yōu)秀的文章會第一時(shí)間在公眾號發(fā)布，歡迎大家來觀看。