發(fā)簡信
IP屬地：上海
-
【大數(shù)據(jù)學(xué)習(xí)】第十一篇-MapReduce簡介MapReduce定義 MapReduce是一個分布式計算的框架，是用戶開發(fā)機(jī)遇hadoop的數(shù)據(jù)分析應(yīng)用的核心框架。 MapReduce的優(yōu)缺...
-
【大數(shù)據(jù)學(xué)習(xí)】第十篇-DataNode工作機(jī)制
DataNode工作機(jī)制 DataNode啟動后，首先向NameNode節(jié)點注冊信息 成功后，開始定時執(zhí)行數(shù)據(jù)校驗和同步，將自身的數(shù)據(jù)塊列表信息...
-
【大數(shù)據(jù)學(xué)習(xí)】第九篇-NameNode工作機(jī)制1. NameNode與Secondary NameNode 簡述 NameNode負(fù)責(zé)管理編輯日志（edits文件）和記錄鏡像（fsimage...
-
【Mac大數(shù)據(jù)開發(fā)】第八篇-HDFS讀寫機(jī)制詳解1. 寫數(shù)據(jù)機(jī)制 Hadoop寫入數(shù)據(jù)的機(jī)制和流程如下圖所示簡述：客戶端與namenode創(chuàng)建連接，namenode返回可以存放副本的datan...
-
【Mac大數(shù)據(jù)開發(fā)】第七篇-HDFS的開發(fā)環(huán)境和JavaAPI1. 開發(fā)環(huán)境配置 添加Hadoop環(huán)境變量 注：網(wǎng)上相關(guān)教程要求本地也安裝hadoop，添加環(huán)境變量，然后才能使用Java客戶端。沒有看過官方...
-
【Mac大數(shù)據(jù)開發(fā)】第六篇-HDFS簡介
1. 概念 HDFS是一個分布式文件系統(tǒng)，Hadoop distributed file system。通過樹形結(jié)構(gòu)定位文件，由多臺服務(wù)組合實現(xiàn)...
-
【Mac大數(shù)據(jù)開發(fā)】第五篇-分布式集群和免密登陸1. 集群配置 此前使用的是偽分布式的單機(jī)模式，本篇使用分布式的集群配置。配置方案如下： 修改對應(yīng)的配置文件即可。同時更改hadoop的/etc...
-
【Mac大數(shù)據(jù)開發(fā)】第四篇-Hadoop安裝和配置(偽分布式集群)1. Hadoop的安裝 下載Hadoop安裝包，通過scp（或其他指令方式）發(fā)送到虛擬機(jī)上，并進(jìn)行解壓安裝。修改環(huán)境變量 使用hadoop命令...
-
【Mac大數(shù)據(jù)開發(fā)】第三篇-Hadoop概論1.Hadoop起源 Lucene的一個子項目 思想源于Google的三篇論文GFS - HDFS 分布式文件系統(tǒng)Map-Reduce - MR...