發(fā)簡信
IP屬地：浙江
-
Shuffle的執(zhí)行階段流程
1).Collect階段：將MapTask的結(jié)果輸出到默認(rèn)大小為100M的環(huán)形緩沖區(qū)，保存的是key/value序列化數(shù)據(jù)，Partition分...
-
大數(shù)據(jù)面試題以及答案整理（一）
hadoop的shuffle過程 一、Map端的shuffle Map端會(huì)處理輸入數(shù)據(jù)并產(chǎn)生中間結(jié)果，這個(gè)中間結(jié)果會(huì)寫到本地磁盤，而不是HDFS...
-
日志清洗案例
1.簡單解析版 需求:去除日志中字段長度小于等于11的日志。 輸入數(shù)據(jù) 實(shí)現(xiàn)代碼: 編寫LogMapper package com.itstar...
-
HDFS環(huán)境準(zhǔn)備1.配置Maven 2.修改本地倉庫位置 3.配置鏡像地址 4.pom文件配置 <dependencies><dependency> ...
-
大數(shù)據(jù)學(xué)習(xí)之MapReduce
1.MapReduce定義 Mapreduce是一個(gè)分布式運(yùn)算程序的編程框架，是用戶開發(fā)“基于hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架。 Mapr...
-
HFDS命令行操作
二、HFDS命令行操作 1）基本語法 bin/hadoop fs具體命令 2）參數(shù)大全 bin/hadoop fs [-appendToFile...
-
HDFS文件系統(tǒng)一HDFS概念 1.1概念 HDFS，它是一個(gè)文件系統(tǒng)，全稱：Hadoop Distributed File System，用于存儲(chǔ)文件通過目錄...
-
大數(shù)據(jù)技術(shù)之Hadoop
1、Hadoop的優(yōu)勢 1)高可靠性 因?yàn)镠adoop假設(shè)計(jì)算元素和存儲(chǔ)會(huì)出現(xiàn)故障，因?yàn)樗S護(hù)多個(gè)工作數(shù)據(jù)副本，在出現(xiàn)故障時(shí)可以對失敗的節(jié)點(diǎn)重新...
-
HDFS讀流程1）客戶端向namenode請求下載文件，namenode通過查詢元數(shù)據(jù)，找到文件塊所在的datanode地址。 2）挑選一臺(tái)datanode（...