內(nèi)容翻譯自官方文檔
入門指南
本文介紹了如何快速入門 ZooKeeper,主要面向開發(fā)人員,提供單個 ZooKeeper 服務(wù)器的簡單安裝說明,一些驗證運(yùn)行的命令,以及一個簡單的編程實例。最后,介紹了一些相對復(fù)雜的知識點(diǎn),例如多副本部署,優(yōu)化事務(wù)日志等。有關(guān)商業(yè)部署的內(nèi)容,請參閱 ZooKeeper 管理員指南。
系統(tǒng)要求
平臺支持
- GNU/Linux 開發(fā)/生產(chǎn),服務(wù)端/客戶端都支持
- Sun Solaris 開發(fā)/生產(chǎn),服務(wù)端/客戶端都支持
- FreeBSD 僅支持客戶端的開發(fā)/生產(chǎn),因為 FreeBSD JVM 中的 Java NIO 選擇器不支持。
- Win32 僅支持作為開發(fā)平臺的服務(wù)端/客戶端
- MacOSX 僅支持作為開發(fā)平臺的服務(wù)端/客戶端
軟件要求
ZooKeeper 是運(yùn)行在 Java 上的,版本要求 1.6+。推薦的 ZooKeeper 最小集群需要包含 3 臺服務(wù)器,并且建議運(yùn)行在不同的機(jī)器上。在 Yahoo,ZooKeeper 通常部署在專用的 RHEL 盒子上,配備雙核處理器,2GB 內(nèi)存和 80GB IDE 硬盤。
下載
Apache 鏡像下載,請選擇最新穩(wěn)定版。
單副本部署
以單點(diǎn)模式部署 ZooKeeper 服務(wù)器是最直接的,服務(wù)端被包含在單個 JAR 文件中,所以安裝過程中,需要創(chuàng)建一個配置文件。
ZooKeeper 穩(wěn)定版 下載完成后,需要進(jìn)行解壓縮,然后 cd 到根目錄。
我們需要一個配置文件才能啟動 ZooKeeper,簡單示例如下(conf/zoo.cfg)
tickTime=2000
dataDir=/var/zookeeper
clientPort=2181
(Tips:生產(chǎn)環(huán)境啟動時可能會遇到?jīng)]有權(quán)限訪問 /var/zookeeper,此時可替換為 /tmp/zookeeper 或者 /home/admin/zookeeper 等其他目錄)
文件名可以是任意的,在本文中我們指定為 conf/zoo.cfg,目錄前綴可以通過 dataDir 來指定。
- tickTime,是 ZooKeeper 中的基本時間單元(單位是微秒),常被用于心跳檢測,并且最短會話超時時間就是兩倍的 tickTime。
- dataDir,存儲內(nèi)存數(shù)據(jù)庫鏡像的位置,也是數(shù)據(jù)庫更新的事務(wù)日志的默認(rèn)存儲位置。
- clientPort,監(jiān)聽客戶端連接的端口號。
當(dāng)你完成配置文件的創(chuàng)建后,就可以啟動 ZooKeeper 啦!
bin/zkServer.sh start
ZooKeeper 采用 Log4j 記錄日志消息,詳情見開發(fā)者指南中的日志章節(jié)。你可以在控制臺(默認(rèn))查看日志消息,也可以通過 Log4j 的配置文件將其輸出到指定日志文件中。
上面講述的是在單副本模式下 ZooKeeper 的部署與運(yùn)行。由于沒有備份,一旦 ZooKeeper 進(jìn)程失敗,就會導(dǎo)致服務(wù)關(guān)閉。在大多數(shù)簡單的開發(fā)環(huán)境中,單副本模式已經(jīng)足夠使用,如果想了解多副本部署模式,請參閱 ZooKeeper 多部署運(yùn)行
存儲管理
對于長期運(yùn)行的生產(chǎn)環(huán)境系統(tǒng),一定會涉及到 ZooKeeper 的外部存儲管理,詳情見維護(hù)章節(jié)
連接 ZooKeeper
當(dāng) ZooKeeper 正常運(yùn)行時,你可以通過如下方式進(jìn)行連接:
- Java
bin/zkCli.sh -server 127.0.0.1:2181
- C:進(jìn)入 ZooKeeper 源碼的 src/c 子目錄,運(yùn)行 make cli_mt 或 make cli_st 命令,完成編譯 cli_mt(多線程)或 cli_st(單線程),詳細(xì)信息可以參考 src/c 目錄下的 README。
LD_LIBRARY_PATH=. cli_mt 127.0.0.1:2181
or
LD_LIBRARY_PATH=. cli_st 127.0.0.1:2181
當(dāng)你成功連接 ZooKeeper 時,將看到如下界面
Connecting to localhost:2181
log4j:WARN No appenders could be found for logger (org.apache.zookeeper.ZooKeeper).
log4j:WARN Please initialize the log4j system properly.
Welcome to ZooKeeper!
JLine support is enabled
[zkshell: 0]
在 shell 中輸入 help ,將會顯示一系列客戶端可執(zhí)行命令,如下所示
[zkshell: 0] help
ZooKeeper host:port cmd args
get path [watch]
ls path [watch]
set path data [version]
delquota [-n|-b] path
quit
printwatches on|off
createpath data acl
stat path [watch]
listquota path
history
setAcl path acl
getAcl path
sync path
redo cmdno
addauth scheme auth
delete path [version]
setquota -n|-b val path
現(xiàn)在,我們可以開始練習(xí)一些簡單的命令,比如,輸入 ls 查看根目錄空間
[zkshell: 8] ls /
[zookeeper]
然后,輸入命令(create /zk_test my_data),它將創(chuàng)建一個新的 znode ,并將字符串 my_data 與之相關(guān)聯(lián)
[zkshell: 9] create /zk_test my_data
Created /zk_test
再次查看根目錄空間 ls /
[zkshell: 11] ls /
[zookeeper, zk_test]
我們發(fā)現(xiàn) zk_test 目錄已經(jīng)成功被創(chuàng)建了。
接下來,通過運(yùn)行 get 命令驗證數(shù)據(jù)是否與 znode 相關(guān)聯(lián)
[zkshell: 12] get /zk_test
my_data
cZxid = 5
ctime = Fri Jun 05 13:57:06 PDT 2009
mZxid = 5
mtime = Fri Jun 05 13:57:06 PDT 2009
pZxid = 5
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0
dataLength = 7
numChildren = 0
我們可以通過 set 命令更改 zk_test 關(guān)聯(lián)的數(shù)據(jù)
[zkshell: 14] set /zk_test junk
cZxid = 5
ctime = Fri Jun 05 13:57:06 PDT 2009
mZxid = 6
mtime = Fri Jun 05 14:01:52 PDT 2009
pZxid = 5
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0
dataLength = 4
numChildren = 0
[zkshell: 15] get /zk_test
junk
cZxid = 5
ctime = Fri Jun 05 13:57:06 PDT 2009
mZxid = 6
mtime = Fri Jun 05 14:01:52 PDT 2009
pZxid = 5
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0
dataLength = 4
numChildren = 0
最后,讓我們來刪除這個節(jié)點(diǎn)
[zkshell: 16] delete /zk_test
[zkshell: 17] ls /
[zookeeper]
[zkshell: 18]
OK,我們已經(jīng)完成了簡單的增刪改查,是不是很簡單?更多信息可以參閱編程指南
編程說明
ZooKeeper 提供了 Java 和 C 的 SDK,兩者的功能是相同的。C 版本有兩種變型:單線程和多線程,兩者的區(qū)別僅在于消息傳遞循環(huán)如何完成。更多信息可以參閱編程示例
運(yùn)行多副本 ZooKeeper
單副本模式適用于評估、開發(fā)與測試,但是,在生產(chǎn)環(huán)境中,我們應(yīng)該以多副本模式運(yùn)行 ZooKeeper。同一個應(yīng)用的服務(wù)器副本組稱之為 quorum,在多副本模式下, quorum 中的所有服務(wù)器都具有相同的配置文件。該文件與單點(diǎn)模式中的配置稍有不同,如下所示。
tickTime=2000
dataDir=/var/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888
參數(shù) initLimit 用于指定初始化連接時,追隨者和領(lǐng)導(dǎo)者之間的最長心跳時間;參數(shù) syncLimit 指定領(lǐng)導(dǎo)者和 追隨者之間消息同步的最大時間長度。
這兩個參數(shù)的值的單位都是 tickTime,比如 initLimit=5 表示 5 個 tickTime 間隔,也就是10秒。
表單 server.x 的條目列出了構(gòu)成 ZooKeeper 服務(wù)的服務(wù)器。當(dāng)服務(wù)器啟動時,它通過查找數(shù)據(jù)目錄中的文件 myid 來確定自己是哪個服務(wù)器。該文件以 ASCII 編碼格式記錄了服務(wù)器的編號信息。
最后,請注意每個服務(wù)器名稱后面的兩個端口號:“2888”和“3888”。每個服務(wù)器通過前一個端口連接其他服務(wù)器。這樣的連接是有必要的,使得服務(wù)器間可以進(jìn)行通信,例如,協(xié)商更新的順序。更具體地說,ZooKeeper 服務(wù)器通過該端口實現(xiàn) 追隨者到領(lǐng)導(dǎo)者的連接。當(dāng)一個新的領(lǐng)導(dǎo)者出現(xiàn)時,追隨者使用該端口創(chuàng)建一個與領(lǐng)導(dǎo)者的 TCP 連接。由于默認(rèn)的 領(lǐng)導(dǎo)者選舉也使用了 TCP ,所以我們需要另一個端口來選舉領(lǐng)導(dǎo)者,也就是服務(wù)器條目中的第二個端口。
其他優(yōu)化
此外,通過調(diào)節(jié)下述參數(shù),可以提供 ZooKeeper 運(yùn)行的性能。
- 要想降低更新操作的時延,可以指定一個專用的事務(wù)日志目錄。默認(rèn)情況下,事務(wù)日志將放在與數(shù)據(jù)快照和 myid 文件相同的目錄中??梢酝ㄟ^ dataLogDir 參數(shù)來指定事務(wù)日志目錄。