1 需求分析 WebServer/ApplicationServer分散在各個(gè)機(jī)器上，然而我們依舊想在Hadoop平臺(tái)上進(jìn)行統(tǒng)計(jì)分析，如何將日志...
投稿
收錄了11篇文章 · 11人關(guān)注
-
分布式日志收集框架 Flume -
淘寶、美團(tuán)、滴滴的大數(shù)據(jù)平臺(tái)淘寶大數(shù)據(jù)平臺(tái) 淘寶可能是中國互聯(lián)網(wǎng)業(yè)界較早搭建了自己大數(shù)據(jù)平臺(tái)的公司，下圖是淘寶早期的Hadoop大數(shù)據(jù)平臺(tái)，比較典型。 淘寶的大數(shù)據(jù)平臺(tái)基本...
-
Spark運(yùn)行原理本文主要分以下章節(jié)： 一、Spark專業(yè)術(shù)語定義 二、 Spark的任務(wù)提交機(jī)制 一、Spark專業(yè)術(shù)語定義 1、Application：Spa...
-
hive相關(guān)知識點(diǎn)
hive架構(gòu)組件：meta storecli clientjdbc clientdriversql parser解析器physical plan...
-
數(shù)倉--Hive--元數(shù)據(jù)表結(jié)構(gòu)學(xué)習(xí)以Hive2.3.4為例進(jìn)行學(xué)習(xí) 元數(shù)據(jù)表總覽 一共有57張表，大致分類下：image.png 版本表VERSION 如果該表出現(xiàn)問題，根本進(jìn)入...
-
數(shù)倉--Hive-面試之Hive架構(gòu)原理基礎(chǔ)性的東西，不過在回答的時(shí)候要能回答出彩來 什么是Hive Hive是由Facebook開源用于解決海量結(jié)構(gòu)化日志的數(shù)據(jù)統(tǒng)計(jì)；Hive是基于H...
-
三天拿到阿里、頭條跟美團(tuán)的offer，我做了這些準(zhǔn)備
1 回顧 透露一下,本人是雙非二本,自從高考失利以后還以為自己要一直這么平凡下去,沒想到過了三年終于又給我一個(gè)機(jī)會(huì)讓我重新證明了自己,能給我去阿...
-
SQL常用語句總結(jié)（面試很有用哦）【說明】看到這樣一篇文章https://towardsdatascience.com/sql-cheat-sheet-for-interview...
-
全面解析大數(shù)據(jù)同步工具DataX與Sqoop的區(qū)別DataX是一個(gè)在異構(gòu)的數(shù)據(jù)庫/文件系統(tǒng)之間高速交換數(shù)據(jù)的工具，實(shí)現(xiàn)了在任意的數(shù)據(jù)處理系統(tǒng)(RDBMS/Hdfs/Local filesyste...
-
螞蟻4輪Java面試真題看看自己會(huì)多少：悲觀鎖+G1收集器+幻讀+連接池+分布式架構(gòu)
阿里螞蟻金服專場面試系列題 01 技術(shù)一面 線程池有哪些參數(shù)？分別有什么用？如果任務(wù)數(shù)超過的核心線程數(shù)，會(huì)發(fā)生什么？阻塞隊(duì)列大小是多少？ 數(shù)據(jù)庫...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1691551/crop1543883676090.jpg', '推薦專題《大數(shù)據(jù)面試》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/0c0be8c6a6f8?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}