macOS Hadoop 3.1.0的安裝及簡單使用

最近想接觸大數(shù)據(jù)，因為感覺太火了，默默往數(shù)據(jù)開發(fā)跨一小步。大數(shù)據(jù)比較基礎也很核心的框架就是Hadoop啦。
轉載或摘取勞煩添加引用，每個作者整理都不容易，而且寫免費博客本身為了提高自己知名度，多謝。本文檔永不取消發(fā)布，請放心mark ??give me five

概念

Hadoop

  • 開源的大數(shù)據(jù)框架
  • 分布式計算解決方案
  • Hadoop=HDFS(分布式文件系統(tǒng))+MapReduce(分布式計算)

HDFS

  • 數(shù)據(jù)塊
    • 抽象塊，真正存儲在HDFS的單元，而非單個文件
    • 默認大小64MB，一般設置128M，備份X3
  • NameNode（主）
    • 管理文件系統(tǒng)的命名空間，存放文件元數(shù)據(jù)
    • 維護著文件系統(tǒng)的所有文件和目錄，文件與數(shù)據(jù)塊的映射
    • 記錄每個文件中各個數(shù)據(jù)塊所在數(shù)據(jù)節(jié)點的信息
  • DataNode（存）
    • 存儲并檢索數(shù)據(jù)塊
    • 向NameNode更新所存儲模塊的列表
  • 優(yōu)點
    • 適合大文件存儲，支持TB、PB級別的數(shù)據(jù)存儲，有備份策略
    • 可以構建在廉價機器上，有一定的容錯和恢復機制
    • 支持流式數(shù)據(jù)訪問，一次寫入，多次讀取，效率高
  • 缺點
    • 不適合大量小文件的存儲
    • 不適合并發(fā)寫入，不支持文件隨機修改
    • 不適合隨機讀等低延時的訪問方式

MapReduce

  • 編程模型，編程方法，抽象理論
  • '分而治之'的思想
  • 編程模型核心
    • 輸入一個大文件，通過split，將其分割為多個分片
    • 每個文件分片由單獨機器去處理，map方法
    • 將各個機器的結果進行匯總，并得到最終結果，reduce方法

YARN

  • 資源管理器
  • 負責整個集群的資源管理和調(diào)度
  • 概念
    • ResourceManager
      • 分配和調(diào)度資源
      • 啟動并監(jiān)控ApplicationMaster
      • 監(jiān)控NodeManager
    • ApplicationMaster
      • 為MapReduce類型程序申請資源，并分配給內(nèi)部任務
      • 負責數(shù)據(jù)的切分
      • 監(jiān)控任務的執(zhí)行及容錯機制
    • NodeManager
      • 管理單個節(jié)點的資源
      • 處理來自ResourceManager的命令
      • 處理來自ApplicationMaster的命令

macOS系統(tǒng)下的安裝

樓主安裝的版本如下：

  • hadoop 3.1.0 ??
  • python 3.7
  • homebrew 1.7.1
  • java 1.8.0

1. 安裝Homebrew

Homebrew的官方解釋是 The missing package manager for macOS。Homebrew是一款Mac OS平臺下的軟件包管理工具，擁有安裝、卸載、更新、查看、搜索等很多實用的功能。

官網(wǎng)：https://brew.sh/

安裝命令

$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

常用命令

# 查看幫助
$ brew -help

# 查詢倉庫相關軟件版本
$ brew search python3

# 安裝軟件
$ brew install python3

# 安裝指定版本
$ brew install python@3

# 查看已安裝的軟件
$ brew list

# 更新軟件
$ brew upgrade python3

# 卸載軟件
$ brew uninstall python3

tips: Homebrew會自動注入相關命令的路徑到$PATH變量中，非常方便

2.打開本地電腦的ssh登錄方式

因為樓主喜歡gitlab，所以早早早就根據(jù)gitlab教程在電腦生成了SSH公鑰，教程地址：https://gitlab.com/help/ssh/README#generating-a-new-ssh-key-pair

# 生成公鑰
$ ssh-keygen -t rsa -C "your.email@example.com" -b 4096

# 一路默認

# 拷貝
$ cat ~/.ssh/id_rsa.pub

# 拷貝至電腦信任列表
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

系統(tǒng)設置(System Preferences) -> 共享(sharing) -> 勾選??遠程登錄(Remote Login)

最后可以在終端(Terminal)測試下

$ ssh localhost

3. 使用Homebrew安裝Hadoop

$ brew install hadoop

目前安裝的默認是3.1.0版本，跟3.0.0版本有差異，樓主踩過坑了，后續(xù)再更新版本，如有向前不兼容的部分，建議翻墻找找，，，最穩(wěn)妥就是安裝對應版本而非最新。安裝時間有點久，耐心等待??

4. 檢測安裝路徑

Tips: command + shift + G 快速打開go to folder

5. 修改配置文件

Hadoop有三種安裝模式：單機模式，偽分布式模式，分布式模式。Homebrew生成的默認是單機模式，單機和分布式樓主暫時未研究，后續(xù)補充到本博客，下面只涉及偽分布式配置。

首先用任意的ide打開剛剛的hadoop文件夾，樓主使用的是vscode。
我們需要修改的文件都在/usr/local/Celler/hadoop/3.1.0/libexec/etc/hadoop目錄下, 并且都是在對應xml下configuration添加屬性，無改刪

  • 修改core-site.xml
<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories</description>
  </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>
  • 修改mapred-site.xml
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9010</value>
  </property>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
</configuration>
  • 修改hdfs-site.xml
<configuration>
  <!-- 偽分布式配置 -->
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
  • yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <!-- 集群配置 -->
  <!-- <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property> -->
</configuration>
  • 修改hadoop-env.sh
# 打開注釋
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home"

# 打開注釋
export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Dsun.security.krb5.debug=true -Dsun.security.spnego.debug"

# 打開注釋
export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}

# 不動
case ${HADOOP_OS_TYPE} in
  Darwin*)
    export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.realm= "
    export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.kdc= "
    export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.conf= "
    export YARN_HOME=$HADOOP_HOME
  ;;
esac

詳情看棉花糖do的博客http://www.itdecent.cn/p/4a65fd034871寫的很好，后續(xù)樓主詳細了解了，完善此博客，暫時不拷貝其他作者撰寫的解釋，以免有紕漏。

  1. 初始化NameNode（只需要第一次,玩崩了也可以再執(zhí)行下）
    注意??建議不要往~/.bash_profile里PATH變量添加hadoop相關的路徑，樓主遇到過坑，每次在終端打開/usr/local/Celler/hadoop/3.1.0/
    2018/08/05 這樣配置可以使用

    19.03.14 add: ~/.bash_profile需要添加 export HADOOP_COMMON_HOME=$HADOOP_HOME 
$ ./bin/hdfs namenode -format
  1. 啟動
  • 啟動NameNode和DataNode
$ ./sbin/start-dfs.sh

啟動完畢即可登錄：http://localhost:9870

  • 啟動Yarn(ResourceManager和NodeManager)
$ ./sbin/start-yarn.sh

啟動完畢即可登錄：http://localhost:8088

Tips: 可以在終端任意位置使用jps查看啟動的java應用程序，理論啟動完畢其中會包括：NameNode, DataNode, NodeManager, ResoureManager四個java程序

簡單應用

常用命令

# 打開文件執(zhí)行位置
$ cd /usr/local/Cellar/hadoop/3.1.0/bin

# 查看已啟動內(nèi)容
$ jps

# 查看信息
$ hdfs dfsadmin -report

# 創(chuàng)建文件夾
$ hdfs dfs -mkdir /test

# 查看文件夾下文件
$ hdfs dfs -ls /

# 查看所有命令
$ hdfs dfs -help

# 查看文件內(nèi)容
$ hdfs dfs -cat /test/mk.txt

# 拷貝至hdfs
$ hdfs dfs -copyFromLocal /Users/goddy/repo/hadoop/hdfs-file/mk.txt /test/

# 拷貝至本地
$ hdfs dfs -copyToLocal /test/mk.txt /Users/goddy/repo/hadoop/hdfs-file/mk2.txt 

# 更改文件權限
$ hdfs dfs -chmod 777 /test/mk.txt 
[https://blog.csdn.net/u013197629/article/details/73608613?locationNum=10&fps=1]

# 執(zhí)行
$ hadoop jar /usr/local/Cellar/hadoop/3.1.0/libexec/share/hadoop/tools/lib/hadoop-streaming-3.1.0.jar -files '/Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_map.py,/Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_reduce.py' -input /test/mk.txt -output /tmp/wordcounttest -mapper 'python3 /Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_map.py' -reducer 'python3 /Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_reduce.py'
# 執(zhí)行
$ /usr/local/Cellar/hadoop/3.1.0/bin/hadoop jar /usr/local/Cellar/hadoop/3.1.0/libexec/share/hadoop/tools/lib/hadoop-streaming-3.1.0.jar -files 'hdfs_map.py,hdfs_reduce.py' -input /test/mk.txt -output /tmp/wordcounttest -mapper '/usr/local/bin/python3 hdfs_map.py' -reducer '/usr/local/bin/python3 hdfs_reduce.py'

//FIXME: 2018/09/04 待添加例子，準備用慕課網(wǎng)課程的例子，實操可實現(xiàn)...提前發(fā)布下文章，以免有人用hadoop 3.1.0遇坑

Appendixes

Reference

感謝??各位作者，摘取了大家博客的部分片段，只是想?yún)R總下，不作商業(yè)用途，感謝、！

最后編輯于 ：
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

  • 終極算法 關注微信號每天收聽我們的消息終極算法為您推送精品閱讀 前言 Hadoop 在大數(shù)據(jù)技術體系中的地位至關...
    Yespon閱讀 131,085評論 12贊 168
  • 關于Mongodb的全面總結 MongoDB的內(nèi)部構造《MongoDB The Definitive Guide》...
    中v中閱讀 32,288評論 2贊 89
  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf，添加如下配置，然后執(zhí)行s...
    張偉科閱讀 3,923評論 0贊 14
  • 簡介:Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構。Hadoop的框架最核心的設計就是：HDF...
    棉花糖do閱讀 6,168評論 9贊 6
  • 每個人一生遇到的人，機會，運氣等多種因素不同，造就了每個人不同的故事，不同的成就，不同的事業(yè)。所以，每個人的成功永...
    一只微笑的羊閱讀 176評論 0贊 0

友情鏈接更多精彩內(nèi)容