IP屬地：上海
-
大廠都在用的Hive優(yōu)化
作者 |TMH_ITBOY原文| https://blog.csdn.net/LLJJYY001/article/details/1139941...
-
最新Hadoop的面試題總結(jié)
1、集群的最主要瓶頸 ? 磁盤IO,網(wǎng)絡(luò)帶寬 2、Hadoop運(yùn)行模式 ? 單機(jī)版、偽分布式模式、完全分布式模式 3、Hadoop生態(tài)圈的組件并...
-
企業(yè)是如何解決HDFS單點(diǎn)問(wèn)題的？前言 在早期Hadoop剛出來(lái)的時(shí)候是沒有解決HDFS單點(diǎn)問(wèn)題的，這就意味著當(dāng)NameNode的服務(wù)器宕機(jī)了就會(huì)導(dǎo)致整個(gè)集群癱瘓，這是非常危險(xiǎn)...
-
你都知道那些Kafka副本機(jī)制？前言 在日常開發(fā)過(guò)程中使用kafka來(lái)實(shí)限流削峰作用但是往往kafka會(huì)存放多份副本來(lái)防止數(shù)據(jù)丟失，那你知道他的機(jī)制是什么樣的嗎？本篇文章就帶...
-
HDFS是如何設(shè)計(jì)架構(gòu)的？前言 Hadoop到目前為止發(fā)展已經(jīng)有10余年，版本經(jīng)過(guò)無(wú)數(shù)次的更新迭代，目前業(yè)內(nèi)大家把Hadoop大的版本分為Hadoop1.0、Hadoo...
-
企業(yè)是如何選擇技術(shù)棧來(lái)做離線數(shù)倉(cāng)前言 最近在跟一位粉絲聊天，聊起來(lái)了做離線數(shù)倉(cāng)時(shí)該用那些技術(shù)棧。于是根據(jù)我的經(jīng)驗(yàn)和參考一些資料于就有本篇文章。在這里我會(huì)分享三個(gè)案例，僅供參考...
-
原來(lái)Canal也可以做HA?前言 在做實(shí)時(shí)數(shù)倉(cāng)時(shí)，數(shù)據(jù)量往往比較大的，如果使用Canal來(lái)監(jiān)聽MySQL的狀態(tài)當(dāng)Canal 是單節(jié)服務(wù)時(shí)，服務(wù)器掛掉是就會(huì)造成數(shù)據(jù)丟失，這...
-
萬(wàn)字帶你深入阿里開源的Canal工作原理前言 上篇文章給大家講解了如何安裝一個(gè)Canal,以及講解了一部分的原理，今天我們就來(lái)深度聊一聊Canal的工作流程，以及他是怎么工作的，以及...
-
實(shí)時(shí)數(shù)倉(cāng)|架構(gòu)設(shè)計(jì)與技術(shù)選型前言 當(dāng)我們做一個(gè)項(xiàng)目時(shí)往往都需要選擇該用什么技術(shù)。這一部分不是我們普通員工想的，而是架構(gòu)師會(huì)根據(jù)客戶的需求選擇出合適的技術(shù)。當(dāng)選擇合適的技術(shù)...
個(gè)人介紹
我是一名大數(shù)據(jù)開發(fā)工程師，我在簡(jiǎn)書會(huì)分享一些我平常在工作用到的技術(shù)，以及后面會(huì)分享一些源碼內(nèi)容。我也在GitHub上搭建了我自己的代碼倉(cāng)庫(kù)，里面有優(yōu)秀的項(xiàng)目會(huì)記錄我是如何從0到1走向大數(shù)據(jù)架構(gòu)師（https://github.com/lhh2002），我也開通的我自己的公眾號(hào)【大數(shù)據(jù)老哥】?jī)?yōu)秀的文章會(huì)第一時(shí)間在公眾號(hào)發(fā)布，歡迎大家來(lái)觀看。