當(dāng)我們決定要自己動(dòng)手做一個(gè)Hadoop生態(tài)集群管理服務(wù)的時(shí)候我們已經(jīng)入了運(yùn)維的坑了。如果我們對(duì)于Hadoop生態(tài)集群管理服務(wù)到底有哪些功能，應(yīng)該如何設(shè)計(jì)的話我們需要對(duì)現(xiàn)有的成熟的Hadoop生態(tài)安裝管理服務(wù)進(jìn)行剖析，幫助明確我們需要的功能以及系統(tǒng)的設(shè)計(jì)。關(guān)于Apache頂級(jí)項(xiàng)目Ambari的簡(jiǎn)單介紹大家可以看這里。

Ambari的運(yùn)維部分是基于Puppet搞的，那么我們不會(huì)Ruby感覺(jué)Puppet上手很難怎么辦？其實(shí)這種集群運(yùn)維工具有很多，大家一起來(lái)看這張對(duì)比表。

Puppet

puppet由Ruby編寫(xiě)，為server-client模式的系統(tǒng)。運(yùn)行時(shí)由客戶端定時(shí)去獲取自己的配置文件進(jìn)而應(yīng)用更改。也可以通過(guò)master的push命令即可觸發(fā)變更。
將命令，文件，服務(wù)等抽象成資源，概念比較統(tǒng)一，時(shí)間悠久，文檔較多。
就可用操作，模塊，用戶界面等等功能而言，是三者之中最全面的，安裝部署難度一般，配置清單相對(duì)于其他工具較復(fù)雜。

SaltStack

saltStack由Python編寫(xiě)，為server-client模式的系統(tǒng)（在salstack中叫Master-Minion），自己本身支持多master，而puppet則需要依賴(lài)于web服務(wù)器。saltstack除了可以通過(guò)在節(jié)點(diǎn)安裝客戶端進(jìn)行管理還支持直接通過(guò)ssh進(jìn)行管理。運(yùn)行模式為master端下發(fā)指令，客戶端接收指令執(zhí)行。
saltstack依賴(lài)于zeromq消息隊(duì)列，采用yaml格式編寫(xiě)配置文件，比較簡(jiǎn)單。
支持api及自定義python模塊，能輕松實(shí)現(xiàn)功能擴(kuò)展。

Ansible

類(lèi)似與saltstack，基于python開(kāi)發(fā)，關(guān)注的重點(diǎn)是精簡(jiǎn)和快速。不需要在節(jié)點(diǎn)安裝代理軟件，通過(guò)ssh執(zhí)行所有功能。安裝運(yùn)行簡(jiǎn)單。
其模塊可以用任何語(yǔ)言開(kāi)發(fā)，采用yaml格式編寫(xiě)配置文件。
沒(méi)有客戶端，較難擴(kuò)展。

我們發(fā)現(xiàn)Saltstack好像還比較滿足我們的需要哈，同樣是S/C架構(gòu)，基于Python語(yǔ)言方便我們?nèi)胧謱W(xué)習(xí)。那我們的集群管理服務(wù)底層的運(yùn)維工具就基于Saltstack來(lái)擴(kuò)展好了。選定了工具我們當(dāng)然是要部署測(cè)試一下了，Saltstack安裝部署大家可以看官方文檔。

# 在Master機(jī)器
sudo yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest-2.el7.noarch.rpm

yum clean expire-cache
# 安裝master服務(wù)
sudo yum install salt-master
# 安裝minion服務(wù)
sudo yum install salt-minion
# 安裝api服務(wù)
sudo yum install salt-api

#啟動(dòng)服務(wù)
sudo systemctl restart salt-master
sudo systemctl restart salt-minion
sudo systemctl restart salt-api

# 在Minion機(jī)器
sudo yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest-2.el7.noarch.rpm

yum clean expire-cache
# 安裝minion服務(wù)
sudo yum install salt-minion
#啟動(dòng)服務(wù)
sudo systemctl restart salt-minion

安裝完成之后我們需要對(duì)Minion進(jìn)行簡(jiǎn)單配置：
修改Minion配置文件

vi /etc/salt/minion

# 添加master地址
#master: salt
master: 192.168.1.131

# 如果為分布式master配置添加多個(gè)
#master: salt
master:
 - {master1}
 - {master2}

修改Minion節(jié)點(diǎn)配置文件中的master為我們部署了salt-master的機(jī)器ip地址，然后我們?cè)贛aster機(jī)器上進(jìn)行如下操作：

1. 查看salt-minion節(jié)點(diǎn)，并簽發(fā)證書(shū)，在salt-master節(jié)點(diǎn)執(zhí)行以下命令。

# 輸入
salt-key -L
# 輸出
Accepted Keys:
Denied Keys:
Unaccepted Keys:
datanode-1
datanode-2
datanode-3
datanode-4
namenode-1
Rejected Keys:

# 可見(jiàn)未簽發(fā)證書(shū)的Minion節(jié)點(diǎn)，執(zhí)行命令簽發(fā)證書(shū)

# 輸入
salt-key -A -y              #添加salt-key
# 輸出
The following keys are going to be accepted:
Unaccepted Keys:
datanode-1
datanode-2
datanode-3
datanode-4
namenode-1
Key for minion datanode-1 accepted.
Key for minion datanode-2 accepted.
Key for minion datanode-3 accepted.
Key for minion datanode-4 accepted.
Key for minion namenode-1 accepted.

# 證書(shū)已簽發(fā)，查看所有節(jié)點(diǎn)

# 輸入
salt-key -L
# 輸出
Accepted Keys:
datanode-1
datanode-2
datanode-3
datanode-4
namenode-1
Denied Keys:
Unaccepted Keys:
Rejected Keys:


# 測(cè)試ping命令
# 輸入
salt datanode-* test.ping
#輸出
datanode-2:
    True
datanode-3:
    True
datanode-1:
    True
datanode-4:
    True

# 測(cè)試shell命令
# 輸入
salt datanode-* cmd.run 'uname -r'
# 輸出
datanode-1:
    3.10.0-514.26.2.el7.x86_64
datanode-4:
    3.10.0-514.26.2.el7.x86_64
datanode-3:
    3.10.0-514.26.2.el7.x86_64
datanode-2:
    3.10.0-514.26.2.el7.x86_64

這波操作看上去是不是非常的簡(jiǎn)單，簡(jiǎn)直666.除了通過(guò)命令行操作saltstack還提供了restful api供我們調(diào)用，還記得我們安裝了salt-api這個(gè)模塊嗎，這個(gè)就是saltstack的api服務(wù)模塊。當(dāng)然它也需要簡(jiǎn)單的進(jìn)行配置。

# 配置用戶
useradd -M -s /sbin/nologin admin
passwd admin

# 配置salt-master

vi /etc/salt/master.d/saltapi.conf
# 插入如下內(nèi)容

rest_cherrypy:
  port: 8000
  host: 0.0.0.0
  disable_ssl: true
external_auth:
  pam:
    admin:
      - .*
      - '@runner'
      - '@wheel'

重啟master和api

systemctl restart salt-master
systemctl restart salt-api

# 查看api是否啟動(dòng)
netstat -tnlp | grep 8000

1. api相關(guān)用法及api接口參考官方文檔 官方文檔

2. 安裝web ui進(jìn)行訪問(wèn) 主流web ui有halite 和saltshaker 。

這里我們只講述如何通過(guò)程序調(diào)用Salt-Api，由于SaltStack是基于Python語(yǔ)言開(kāi)發(fā)的，所以我們簡(jiǎn)單介紹一下如何通過(guò)Python程序操作SaltStack，當(dāng)然我們也可以通過(guò)Java調(diào)用salt-api，Java可以通過(guò)開(kāi)源模塊salt-netapi-client salt-netapi-client實(shí)現(xiàn)，通過(guò)pom引用即可，詳情可看其示例代碼。

無(wú)論是通過(guò)Python還是Java兩者邏輯一致，大概分為如下幾個(gè)步驟：

1. 構(gòu)造saltclient示例，使用saltstack用戶名和密碼進(jìn)行登錄，獲取訪問(wèn)token
2. 執(zhí)行相關(guān)指令，獲取返回值
3. 解析返回結(jié)果進(jìn)行展示

測(cè)試程序：

>>> import salt.client
>>> import salt.config
>>> client = salt.client.LocalClient()
>>> master = salt.config.client_config('/etc/salt/master')
>>> minion = salt.config.minion_config('/etc/salt/minion')
>>> ping_result = client.cmd('*', 'test.ping')
>>> print ping_result
{'datanode-1': True, 'namenode-1': True, 'datanode-3': True, 'datanode-2': True, 'datanode-4': True}

salt-api含有很多模塊，各個(gè)模塊的調(diào)用方式一致，均為：

client.cmd('cluster_node_iporname',  'module.command',  ['arg1','arg2'])

示例如下（包括命令行與api調(diào)用）：

# 指定datanode-1壓縮某個(gè)文件

salt 'datanode-1' archive.gzip /home/hadoop/test.sh # 命令行示例

client.cmd('datanode-1','archive.gunzip',['/home/hadoop/test.sh']) # python 調(diào)用示例

# 遠(yuǎn)程調(diào)用命令

salt '*' cmd.run 'ls' # 命令行示例

client.cmd('*', 'cmd.run', ['ls']) # python 調(diào)用示例

# copy命令

client.cmd('*','cp.get_file',['salt://1,sh','/root/1.sh'])    #salt://1,sh可以換成http://ww.baidu.com/1.tar.gz之類(lèi)的進(jìn)行下載到指定目錄

# 刪除文件命令

salt '*' file.remove /tmp/foo # 命令行示例

client.cmd('*','file.remove',['/tmp/foo']) # python 調(diào)用示例

通過(guò)上面的樣例程序我們對(duì)于saltstack的安裝使用已經(jīng)有了一個(gè)簡(jiǎn)單的認(rèn)識(shí)，我們的目的是仿照Ambari基于puppet的架構(gòu)來(lái)開(kāi)發(fā)一個(gè)基于Saltstack的Hadoop生態(tài)集群安裝管理服務(wù)。有興趣的話大家可以思考一下我們到底怎么設(shè)計(jì)，都有哪些功能呢？