zookeeper原理

Zookeeper雖然在配置文件中并沒有指定master和slave
但是，zookeeper工作時，是有一個節(jié)點為leader，其他則為follower
Leader是通過內部的選舉機制臨時產生的

zookeeper的選舉機制（全新集群paxos）

以一個簡單的例子來說明整個選舉的過程.
假設有五臺服務器組成的zookeeper集群,它們的id從1-5,同時它們都是最新啟動的,也就是沒有歷史數(shù)據(jù),在存放數(shù)據(jù)量這一點上,都是一樣的.假設這些服務器依序啟動,來看看會發(fā)生什么.

1. 服務器1啟動,此時只有它一臺服務器啟動了,它發(fā)出去的報沒有任何響應,所以它的選舉狀態(tài)一直是LOOKING狀態(tài)
2. 服務器2啟動,它與最開始啟動的服務器1進行通信,互相交換自己的選舉結果,由于兩者都沒有歷史數(shù)據(jù),所以id值較大的服務器2勝出,但是由于沒有達到超過半數(shù)以上的服務器都同意選舉它(這個例子中的半數(shù)以上是3),所以服務器1,2還是繼續(xù)保持LOOKING狀態(tài).
3. 服務器3啟動,根據(jù)前面的理論分析,服務器3成為服務器1,2,3中的老大,而與上面不同的是,此時有三臺服務器選舉了它,所以它成為了這次選舉的leader.
4. 服務器4啟動,根據(jù)前面的分析,理論上服務器4應該是服務器1,2,3,4中最大的,但是由于前面已經(jīng)有半數(shù)以上的服務器選舉了服務器3,所以它只能接收當小弟的命了.
5. 服務器5啟動,同4一樣,當小弟.

非全新集群的選舉機制(數(shù)據(jù)恢復)

那么，初始化的時候，是按照上述的說明進行選舉的，但是當zookeeper運行了一段時間之后，有機器down掉，重新選舉時，選舉過程就相對復雜了。需要加入數(shù)據(jù)id、leader id和邏輯時鐘。

• 數(shù)據(jù)id：數(shù)據(jù)新的id就大，數(shù)據(jù)每次更新都會更新id。
• Leader id：就是我們配置的myid中的值，每個機器一個。
• 邏輯時鐘：這個值從0開始遞增,每次選舉對應一個值,也就是說: 如果在同一次選舉中,那么這個值應該是一致的 ; 邏輯時鐘值越大,說明這一次選舉leader的進程更新.

選舉的標準就變成：
1、邏輯時鐘小的選舉結果被忽略，重新投票
2、統(tǒng)一邏輯時鐘后，數(shù)據(jù)id大的勝出
3、數(shù)據(jù)id相同的情況下，leader id大的勝出
根據(jù)這個規(guī)則選出leader。

zookeeper安裝使用

• 上傳zookeeper-3.4.5.tar.gz服務器
• 解壓到/apps/zookeeper目錄
• 刪除其他不會使用到的文件，剩下如下：

[root@hadoop zookeeper-3.4.5]# ll
total 1320
drwxr-xr-x.  2 501 games    4096 Aug 28 20:53 bin
drwxr-xr-x.  2 501 games    4096 Aug 28 21:04 conf
drwxr-xr-x. 10 501 games    4096 Aug 28 20:53 contrib
drwxr-xr-x.  4 501 games    4096 Aug 28 20:53 lib
drwxr-xr-x.  5 501 games    4096 Aug 28 20:53 recipes
-rw-r--r--.  1 501 games 1315806 Nov  5  2012 zookeeper-3.4.5.jar
-rw-r--r--.  1 501 games     833 Nov  5  2012 zookeeper-3.4.5.jar.asc
-rw-r--r--.  1 501 games      33 Nov  5  2012 zookeeper-3.4.5.jar.md5
-rw-r--r--.  1 501 games      41 Nov  5  2012 zookeeper-3.4.5.jar.sha1
[root@hadoop zookeeper-3.4.5]# 

• 進入配置文件目錄
  cd conf/
• 拷貝一份zoo_example.conf
cp zoo_example.conf zoo.conf
• 編輯zoo.conf，配置如下
  vi zoo.conf

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/apps/zookeeper/zkdata
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=mini1:2888:3888
server.2=mini2:2888:3888
server.3=mini3:2888:3888

• 創(chuàng)建zk的數(shù)據(jù)目錄
  mkdir -p /apps/zookeeper/zkdata
• cd /apps/zookeeper/zkdata
• 創(chuàng)建id文件，初始為1
  echo 1 > myid
  注意：上面語句的>兩邊一定要有空格
  cat myid

把配置好的zookeeper拷貝到其他的機器

• 確保每臺機器都已創(chuàng)建/apps/目錄
  mkdir -p /apps
• 開始拷貝到mini2
  scp -r apps/zookeeper/ root@mini2:/root
  如果當前是root用戶，第一個root可以省略
• 在mini2上執(zhí)行

[root@hadoop ~]# pwd
/root
[root@hadoop ~]# mv zookeeper/ /apps/
[root@hadoop ~]# cd /apps/zookeeper/zkdata/
[root@hadoop zkdata]# echo 2 > myid 
[root@hadoop zkdata]# cat myid 
2

• 拷貝到mini3
  scp -r apps/zookeeper/ root@mini3:/root
  如果當前是root用戶，第一個root可以省略
• 在mini3上執(zhí)行

[root@hadoop ~]# pwd
/root
[root@hadoop ~]# mv zookeeper/ /apps/
[root@hadoop ~]# cd /apps/zookeeper/zkdata/
[root@hadoop zkdata]# echo 3 > myid 
[root@hadoop zkdata]# cat myid 
3

• 關閉所有機器的防火墻

  
  
  點擊交換窗口

在交換窗口右鍵，選擇將交互發(fā)送給所有標簽

然后按回車，就關閉了所有機器的防火墻

• 啟動所有機器的zookeeper
  cd /apps/zookeeper/zookeeper-3.4.5/bin/
zkServer.sh start

• 第一次要zoo.conf中配置了的所有主機都啟動了，才不會報錯

zk命令

• 查看狀態(tài)
  zkServer.sh status