日韩美女网,88久久丁香花

我們可以選擇官方編譯好的Hadoop進(jìn)行安裝，但是自己機器或者公司內(nèi)部其他版本的Hadoop最好通過自己編譯來進(jìn)行。

源碼構(gòu)建

環(huán)境：

Ubuntu(Unix)
Java 1.7+
Maven 3.0 or later
ProtocolBuffer 2.5.0
CMake 2.6 + （native code）
Zlib devel (native code)
聯(lián)網(wǎng)

工具準(zhǔn)備

首先從GitHub下載Hadoop源碼：
解壓到任意文件夾 tar -zxvf

安裝JDK-1.7

$ sudo apt-get purge openjdk*
$ sudo apt-get install software-properties-common
$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update
$ sudo apt-get install oracle-java7-installer

安裝Maven
```
$ sudo apt-get -y install maven
```

安裝編譯Native Code(本機代碼)需要的組件

$ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

安裝ProtocolBuffer 2.5.0

$ sudo apt-get -y install libprotobuf-dev protobuf-compiler

從源碼構(gòu)建

切換到Hadoop源碼根目錄

$ mvn clean #清理mvn

有多種方式構(gòu)建，這里我們選擇不帶源碼的二進(jìn)制發(fā)行版（binary distribution）,編譯成本機代碼。

$ mvn package -Pdist,native -DskipTests -Dtar #使用maven 進(jìn)行構(gòu)建

這里視網(wǎng)絡(luò)情況和機器性能不等編譯時間也不同。因為maven需要向網(wǎng)絡(luò)請求依賴庫，構(gòu)建完成后顯示

[INFO] BUILD SUCCESS

這時在Hadoop源碼根目錄下切換到

$ cd ./hadoop-dist/target

找到Hadoop-2.7.3目錄，我們需要的編譯構(gòu)建好的Hadoop二進(jìn)制文件就在這里啦。

軟件結(jié)構(gòu)

total 120
drwxr-xr-x 2 root root  4096 9月   5 19:17 bin #Hadoop組件命令，包涵Windows的cmd
drwxr-xr-x 3 root root    19 9月   5 19:17 etc #Hadoop配置文件
drwxr-xr-x 2 root root   101 9月   5 19:17 include #對外提供的編程庫頭文件（具體動態(tài)庫和靜態(tài)庫在lib目錄中），這些頭文件均是C++定義的，通常用于C++程序訪問HDFS或者編寫MR程序
drwxr-xr-x 3 root root    19 9月   5 19:17 lib #該目錄提供了對外編程的靜態(tài)庫和動態(tài)庫，與include目錄下的頭文件結(jié)合使用（并不是一些依賴jar包）
drwxr-xr-x 2 root root  4096 9月   5 19:17 libexec #各個服務(wù)所對應(yīng)的shell配置文件所在目錄，可用于配置日志輸出目錄、啟動參數(shù)（比如JVM參數(shù)）等基本信息
-rw-r--r-- 1 root root 84854 9月   5 19:17 LICENSE.txt
drwxr-xr-x 3 root root  4096 9月  19 02:24 logs #日志文件
-rw-r--r-- 1 root root 14978 9月   5 19:17 NOTICE.txt
-rw-r--r-- 1 root root  1366 9月   5 19:17 README.txt
drwxr-xr-x 2 root root  4096 9月   9 03:49 sbin #對Hadoop組件操作的shell文件
drwxr-xr-x 4 root root    29 9月   5 19:17 share #hadoop 各個模塊編譯后的jar包所在目錄,以及文檔所在目錄

單機部署

參考Single Node Setup

安裝ssh和rsync

$ sudo apt-get install ssh
$ sudo apt-get install rsync

將剛剛編譯好的hadoop-2.7.3文件拷到想安裝的目錄下，配置 etc/hadoop/hadoop-env.sh文件中的JAVA_HOME為
```
 # set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest
```
嘗試運行bin/hadoop看能否正常輸出，同時可以運行
```
$ ./bin/hadoop version
```
查看版本和編譯情況

按照步驟進(jìn)行如下檢查，看是否報錯，沒有的話單機配置就完成了

$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
$ cat output/*

分布式部署

參考 Cluster Setup 及單機中Single Node Setup 偽分布式的配置

配置host

vi  /etc/hosts
192.168.0.1 master
192.168.0.2 salve1
192.168.0.3 salve2

配置ssh免密登陸

首先嘗試ssh localhost ，如果不成功首先要將自己主機加入授權(quán)key的列表中
```
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
```
然后照此法將每臺機子之間的key互通
關(guān)閉防火墻，每種系統(tǒng)方法不一樣，重要機器請慎重關(guān)閉

?

修改配置文件

這里的重點集中在etc/hadoop中的幾個配置文件中

core-site.xml

<configuration>
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://test1:9000</value>
 </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>test1:9001</value>
        <description>secondarynamenode的web地址</description>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
        <description>提供web訪問hdfs的權(quán)限</description>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>test1:10020</value>
        <description>jobhistory是Hadoop自帶了一個歷史服務(wù)器，記錄Mapreduce歷史作業(yè)</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>test1:19888</value>
    <description>jobhistory的http地址</description>
</property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
     <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
     <property>
       <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.allocation.file</name>
        <value>/path-of-fair-shceduler-xml/fair-scheduler.xml</value>
        <description>對fair-scheduler進(jìn)行設(shè)置，否則無法按找期望分配隊列資源</description>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
        <description>yarn資源管理的http地址</description>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
        <description>例子為20G，yarn的node資源，可不設(shè)置但是不可以太小</description>
    </property>
</configuration>

fair-scheduler.xml

<?xml version="1.0"?>

<allocations>


<userMaxAppsDefault>30</userMaxAppsDefault>


<queue name="root">

<minResources>10240mb,3vcores</minResources>

<maxResources>20480mb,6vcores</maxResources>

<maxRunningApps>100</maxRunningApps>

<weight>1.0</weight>

<schedulingMode>fair</schedulingMode>

<aclSubmitApps> </aclSubmitApps>

<aclAdministerApps> </aclAdministerApps>



<queue name="root">

<minResources>10240mb,3vcores</minResources>

<maxResources>20480mb,6vcores</maxResources>

<maxRunningApps>100</maxRunningApps>
<schedulingMode>fair</schedulingMode>

<weight>1.0</weight>

<aclSubmitApps>*</aclSubmitApps>

</queue>
</queue>
</allocations>

檢查是否成功

首先將配置同步到其他節(jié)點

$ scp -r /usr/local/hadoop-2.7.3/etc/* test2:/usr/local/hadoop-2.7.3/etc/

啟動hadoop組件

bin/hdfs namenode –format    
sbin/start-dfs.sh
sbin/start-yarn.sh

jps查看進(jìn)程

test1:
23297 SecondaryNameNode
22824 NameNode
18617 NodeManager
18443 ResourceManager
11596 Jps
test2:
31971 Jps
14170 NodeManager
28237 DataNode

通過瀏覽器查看

1.http://master-ip:50070                   namenode的hdfs頁面地址
2.http://master-ip:8088/cluster/         yarn資源的頁面地址

跑示例程序檢查

過程類似單機測試，不過文件要上傳hdfs，關(guān)于文件的命令請參考hdfs，這里只寫出了本地的

$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
$ cat output/*

查看運行日志

有問題及時查看./logs下的日志和Yarn的頁面，跟蹤解決。

其他

修改環(huán)境變量方便操作

Java

export JAVA_HOME=/usr/local/jdk1.8.0_111 #java-install-path
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

Hadoop

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL
export JAVA_HOME=/usr/local/jdk1.8.0_111
export HADOOP_HOME=/usr/local/hadoop-2.7.3 #Hadoop-install-path
export PATH=$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/bin

不要忘記source /etc/profile

關(guān)于環(huán)境變量的優(yōu)先級，我會再寫一篇文章探討

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

Hadoop 2.7.3 源碼編譯+單機及分布式部署

Hadoop 2.7.3 源碼編譯+單機及分布式部署

源碼構(gòu)建

工具準(zhǔn)備

從源碼構(gòu)建

軟件結(jié)構(gòu)

單機部署

分布式部署

配置host

配置ssh免密登陸

修改配置文件

檢查是否成功

查看運行日志

其他

修改環(huán)境變量方便操作

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

Hadoop 2.7.3 源碼編譯+單機及分布式部署

源碼構(gòu)建

工具準(zhǔn)備

從源碼構(gòu)建

軟件結(jié)構(gòu)

單機部署

分布式部署

配置host

配置ssh免密登陸

修改配置文件

檢查是否成功

查看運行日志

其他

修改環(huán)境變量方便操作

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av