亚洲福利视频9,日韩精品久久人妻

簡述

hadoop 集群一共有4種部署模式，詳見《hadoop 生態(tài)圈介紹》。
完全分布式模式將hadoop部署在至少兩臺機(jī)子上，數(shù)據(jù)塊副本的數(shù)量通常也設(shè)置為2以上，擁有Namenode和Secondary Namenode。

所有四種模式的部署指南見：
hadoop 偽分布式搭建指南
 hadoop 完全分布式搭建指南
 hadoop HA高可用集群模式搭建指南
 hadoop HA+Federation（聯(lián)邦）模式搭建指南

搭建過程

系統(tǒng)環(huán)境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模擬三臺主機(jī)，內(nèi)存都為2G

節(jié)點(diǎn)角色

| IP |主機(jī)名 | 角色描述|
| --- | --- | --- | --- |
|192.168.100.201 | h01.vm.com | 主節(jié)點(diǎn) NameNode, job-history-server |
|192.168.100.202 |h02.vm.com |主節(jié)點(diǎn) Secondary-NameNode, (yarn)ResourceManager|
|192.168.100.203 | h03.vm.com| - |

另，以上所有節(jié)點(diǎn)都同時是 slave從節(jié)點(diǎn)，即 datanode。運(yùn)行Namenode和ResourceManager的節(jié)點(diǎn)即為主節(jié)點(diǎn)。

更新軟件源索引

分別在 h01 h02 h03 操作

sudo apt-get update

安裝基礎(chǔ)軟件

分別在 h01 h02 h03 操作

sudo apt-get install ssh
sudo apt-get install rsync

配置主機(jī)域名

分別在 h01 h02 h03 操作

sudo vim /etc/hostname # centos系統(tǒng)可能沒有該文件，創(chuàng)建即可
h01.vm.com # 該節(jié)點(diǎn)主機(jī)名

將該文件內(nèi)容修改為對應(yīng)的主機(jī)名，例如 h01.vm.com

域名解析

搭建內(nèi)網(wǎng)DNS服務(wù)器（可選，但推薦），可閱讀vincent的博文
http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
配置 /etc/hosts，將以下代碼追加到文件末尾即可（如搭建了DNS服務(wù)器，則跳過此步驟）
分別在 h01 h02 h03 操作

sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03

!!! Ubuntu系統(tǒng)，須刪掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove

不然可能會引起 hadoop、zookeeper 節(jié)點(diǎn)間通信的問題

時間同步（可選）

在內(nèi)網(wǎng)中搭建 ntp 服務(wù)器，可閱讀vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

準(zhǔn)備jdk、hadoop軟件包

須到官方網(wǎng)站下載stable版本
jdk-7u79-linux-x64.tar.gz
hadoop-2.7.2.tar.gz
所有的軟件包都統(tǒng)一解壓到 /home/vagrant/VMBigData 目錄下，其中 vagrant 是linux系統(tǒng)的用戶名，由于我是使用 vagrant 虛擬的主機(jī)，所以默認(rèn)是 vagrant
在 h01 操作

# 先在其中一臺機(jī)子操作，后面會使用 scp 命令或者其他方法同步到其他主機(jī)
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop

配置軟連接，方便以后升級版本

在 h01 操作，后面通過 scp 同步到其他主機(jī)

ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/  /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/  /home/vagrant/VMBigData/hadoop/default

配置環(huán)境變量

分別在 h01 h02 h03 操作

sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
source /etc/profile

配置免密碼ssh登錄

hadoop主節(jié)點(diǎn)需要能遠(yuǎn)程登陸集群內(nèi)的所有節(jié)點(diǎn)（包括自己），以執(zhí)行命令。所以需要配置免密碼的ssh登陸?？蛇x的ssh秘鑰對生成方式有rsa和dsa兩種，這里選擇rsa。

分別在 h01 h02 ，即兩個主節(jié)點(diǎn)上操作

ssh-keygen -t rsa -C "youremail@xx.com"
# 注意在接下來的命令行交互中，直接按回車跳過輸入密碼

以下命令將本節(jié)點(diǎn)的公鑰 id_rsa.pub 文件的內(nèi)容追加到遠(yuǎn)程主機(jī)的 authorized_keys 文件中（默認(rèn)位于 ~/.ssh/）

ssh-copy-id vagrant@h01.vm.com # vagrant是遠(yuǎn)程主機(jī)用戶名
ssh-copy-id vagrant@h02.vm.com # vagrant是遠(yuǎn)程主機(jī)用戶名
ssh-copy-id vagrant@h03.vm.com

在 h01 h02 上測試無密碼 ssh 登錄到 h01 h02 h03

ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com

!!! 注意使用rsa模式生成密鑰對時，不要輕易覆蓋原來已有的，確定無影響時方可覆蓋 !!!

配置從節(jié)點(diǎn)

在 slaves 文件中配置的主機(jī)即為從節(jié)點(diǎn)，將自動運(yùn)行datanode服務(wù)

在 h01 操作，后面通過 scp 同步到其他主機(jī)

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h01.vm.com 
h02.vm.com
h03.vm.com

建立存儲數(shù)據(jù)的相應(yīng)目錄

在 h01 操作，后面通過 scp 同步到其他主機(jī)

mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode
mkdir -p /home/vagrant/VMBigData/hadoop/data/namesecondary
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs

配置hadoop參數(shù)

在 h01 操作，后面通過 scp 同步到其他主機(jī)

etc/hadoop/hadoop-env.sh

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意注釋掉原來的這行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
# export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
# export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}

etc/hadoop/mapred-env.sh

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <!-- 指定hdfs的nameservice為h01 -->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://h01.vm.com:9000</value> 
  </property>  
  <!-- 指定hadoop數(shù)據(jù)存儲目錄 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>dfs.replication</name>  
    <!-- 單機(jī)版的一般設(shè)為1，若是集群，一般設(shè)為3 -->  
    <value>2</value> 
  </property>  
  <property> 
    <name>dfs.namenode.name.dir</name>  
    <!-- 創(chuàng)建的namenode文件夾位置，如有多個用逗號隔開。配置多個的話，每一個目錄下數(shù)據(jù)都是相同的，達(dá)到數(shù)據(jù)冗余備份的目的 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/namenode</value> 
  </property>  
  <property> 
    <name>dfs.datanode.data.dir</name>  
    <!-- 創(chuàng)建的datanode文件夾位置，多個用逗號隔開，實(shí)際不存在的目錄會被忽略 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> 
  </property>  
  <!-- 配置Secondary NameNode在另外一個節(jié)點(diǎn)上，該節(jié)點(diǎn)也將作為主節(jié)點(diǎn)之一 -->  
  <property> 
    <name>dfs.http.address</name>  
    <value>h01.vm.com:50070</value>  
    <description>Secondary get fsimage and edits via dfs.http.address</description> 
  </property>  
  <property> 
    <name>dfs.secondary.http.address</name>  
    <value>h02.vm.com:50090</value> 
  </property>  
  <property> 
    <name>dfs.namenode.checkpoint.dir</name>  
    <value>file:///home/vagrant/VMBigData/hadoop/data/hdfs/namesecondary</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>yarn.resourcemanager.hostname</name>  
    <value>h02.vm.com</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation-enable</name>  
    <!-- 打開日志聚合功能，這樣才能從web界面查看日志 -->  
    <value>true</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation.retain-seconds</name>  
    <!-- 聚合日志最長保留時間 -->  
    <value>86400</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <!-- NodeManager總的可用內(nèi)存，這個要根據(jù)實(shí)際情況合理配置 -->  
    <value>1024</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <!-- MapReduce作業(yè)時，每個task最少可申請內(nèi)存 -->  
    <value>256</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name>  
    <!-- MapReduce作業(yè)時，每個task最多可申請內(nèi)存 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name>  
    <!-- 可申請使用的虛擬內(nèi)存，相對于實(shí)際使用內(nèi)存大小的倍數(shù)。實(shí)際生產(chǎn)環(huán)境中可設(shè)置的大一些，如4.2 -->  
    <value>2.1</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-check-enabled</name>  
    <value>false</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.local-dirs</name>  
    <!-- 中間結(jié)果存放位置。注意，這個參數(shù)通常會配置多個目錄，已分?jǐn)偞疟PIO負(fù)載。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.log-dirs</name>  
    <!-- 日志存放位置。注意，這個參數(shù)通常會配置多個目錄，已分?jǐn)偞疟PIO負(fù)載。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
  <property> 
    <name>yarn.app.mapreduce.am.resource.mb</name>  
    <!-- 默認(rèn)值為 1536,可根據(jù)需要調(diào)整，調(diào)小一些也是可接受的 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>mapreduce.map.memory.mb</name>  
    <!-- 每個map task申請的內(nèi)存，每一次都會實(shí)際申請這么多 -->  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.map.java.opts</name>  
    <!-- 每個map task中的child jvm啟動時參數(shù)，需要比 mapreduce.map.memory.mb 設(shè)置的小一些 -->  
    <!-- 注意：map任務(wù)里不一定跑java，可能跑非java（如streaming） -->  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.memory.mb</name>  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.java.opts</name>  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.map.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapred.child.java.opts</name>  
    <!-- 默認(rèn)值為 -Xmx200m，生產(chǎn)環(huán)境可以設(shè)大一些 -->  
    <value>-Xmx384m</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.mb</name>  
    <!-- 任務(wù)內(nèi)部排序緩沖區(qū)大小 -->  
    <value>128</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.factor</name>  
    <!-- map計(jì)算完全后的merge階段，一次merge時最多可有多少個輸入流 -->  
    <value>100</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.shuffle.parallelcopies</name>  
    <!-- reuduce shuffle階段并行傳輸數(shù)據(jù)的數(shù)量 -->  
    <value>50</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.address</name>  
    <value>h01.vm.com:10020</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>h01.vm.com:19888</value> 
  </property> 
</configuration>

將hadoop所需文件同步到其他主機(jī)

在 h01 上操作

scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant

!!! 注意：default 軟連接需要重建 !!!

格式化namenode

在 h01 namenode 上執(zhí)行

hdfs namenode -format

!!! 注意僅在首次啟動時執(zhí)行，因?yàn)榇嗣顣h除hadoop集群所有的數(shù)據(jù) !!!

啟動hadoop集群，方法1（只能啟動當(dāng)前機(jī)器的服務(wù)）：

啟動NameNode守護(hù)進(jìn)程

在 h01 namenode 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh --script hdfs start namenode
# sbin/hadoop-daemon.sh --script hdfs stop namenode # 停止

啟動所有從節(jié)點(diǎn)的DataNode守護(hù)進(jìn)程

在 h01 h02 h03 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh --script hdfs start datanode
# sbin/hadoop-daemon.sh --script hdfs stop datanode # 停止

啟動ResourceManager守護(hù)進(jìn)程

在 h02 resourcemanager 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/yarn-daemon.sh start resourcemanager
# sbin/yarn-daemon.sh stop resourcemanager # 停止

啟動所有從節(jié)點(diǎn)的NodeManager守護(hù)進(jìn)程

在 h01 h02 h03 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/yarn-daemon.sh start nodemanager
# sbin/yarn-daemon.sh stop nodemanager # 停止

啟動MapReduce JobHistory Server（可選）

在 h01 job history server 上操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 停止

啟動hadoop集群，方法2（推薦）：

可在任意主節(jié)點(diǎn)操作，以啟動namenod和datanode等服務(wù)

cd  /home/vagrant/VMBigData/hadoop/default
sbin/start-dfs.sh
# sbin/stop-dfs.sh # 停止

在 h02 上啟動 yarn 服務(wù)

cd  /home/vagrant/VMBigData/hadoop/default
sbin/start-yarn.sh
# sbin/stop-yarn.sh # 停止

在 h01 上啟動 job history server（可選）

cd  /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 停止

瀏覽服務(wù)啟動情況

NameNode
http://192.168.100.201:50070

Secondary NameNode
http://192.168.100.202:50090

ResourceManager
http://192.168.100.202:8088

MapReduce JobHistory Server
http://192.168.100.201:19888

Datanode
http://192.168.100.201:50075
http://192.168.100.202:50075
http://192.168.100.203:50075

集群狀態(tài)
hdfs dfsadmin -report

hadoop進(jìn)程
jps

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

hadoop 完全分布式搭建指南

hadoop 完全分布式搭建指南

簡述

搭建過程

系統(tǒng)環(huán)境

節(jié)點(diǎn)角色

更新軟件源索引

安裝基礎(chǔ)軟件

配置主機(jī)域名

域名解析

時間同步（可選）

準(zhǔn)備jdk、hadoop軟件包

配置軟連接，方便以后升級版本

配置環(huán)境變量

配置免密碼ssh登錄

配置從節(jié)點(diǎn)

建立存儲數(shù)據(jù)的相應(yīng)目錄

配置hadoop參數(shù)

將hadoop所需文件同步到其他主機(jī)

格式化namenode

啟動hadoop集群，方法1（只能啟動當(dāng)前機(jī)器的服務(wù)）：

啟動hadoop集群，方法2（推薦）：

瀏覽服務(wù)啟動情況

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

hadoop 完全分布式搭建指南

簡述

搭建過程

系統(tǒng)環(huán)境

節(jié)點(diǎn)角色

更新軟件源索引

安裝基礎(chǔ)軟件

配置主機(jī)域名

域名解析

時間同步（可選）

準(zhǔn)備jdk、hadoop軟件包

配置軟連接，方便以后升級版本

配置環(huán)境變量

配置免密碼ssh登錄

配置從節(jié)點(diǎn)

建立存儲數(shù)據(jù)的相應(yīng)目錄

配置hadoop參數(shù)

將hadoop所需文件同步到其他主機(jī)

格式化namenode

啟動hadoop集群，方法1（只能啟動當(dāng)前機(jī)器的服務(wù)）：

啟動hadoop集群，方法2（推薦）：

瀏覽服務(wù)啟動情況

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

準(zhǔn)備jdk、hadoop軟件包

啟動hadoop集群，方法1（只能啟動當(dāng)前機(jī)器的服務(wù)）：

啟動hadoop集群，方法2（推薦）：