在技術選型swarm的時候,因為時間緊,任務重,所以選擇比較簡單的方式完成集群管理.
swarm
我們通過簡單的配置實現集群管理,具體的方法可以看參考 主要是通過token的方式.
場景
我們需要創(chuàng)建一個測試用例,假設, 我們提供3個服務,一個是mysql, 一個是hello-world,一個是nginx ,之間存在依賴關系,我們想實現運行compose.yml則運行到兩臺不同的機器上面,并且能夠保障host可以找到彼此.
version: '2'
services:
mysql:
image: mysql
ports:
- "3306:3306"
hello:
image: hello-world
links:
- mysql
nginx:
image: nginx
links:
- hello
我們執(zhí)行命令docker-compose up
提示信息:
Compose does not use swarm mode to deploy services to multiple nodes in a swarm. All containers will be scheduled on the current node.
To deploy your application across the swarm, use the bundle feature of the Docker experimental build.
More info:
https://docs.docker.com/compose/bundles
what?怎么跟想象中的不一樣呢?我們按照提示使用bundle試試.
nsupported key 'links' in services.nginx - ignoring
好吧好吧,重新梳理下,是否compose.yml寫的有問題呢?我們通過查看v1,2,3發(fā)現,如果 version中關于version2有描述,默認所有的容器都采用默認的network,他們通過服務名作為主機名進行發(fā)現.所以,大部分情況下,不需要指定links.那我們重新編寫compose.yml.
version: '2'
services:
mysql:
image: mysql
ports:
- "3306:3306"
networks:
- my-network
hello:
image: hello-world
networks:
- my-network
nginx:
image: nginx
networks:
- my-network
networks:
my-network:
driver: bridge
這樣好像不行 ,我們參考 swarm-compose 和multi-host network,swarm如果使用compose,則必須在集群中配置一個overlay的driver. 我們創(chuàng)建一個overlay的網絡.
docker network create \ --driver overlay \ --subnet 10.0.9.0/24 \ my-network
我們執(zhí)行bundle查看不支持top-level 的networks 那么我們刪除這個根networks配置.沒有定義my-network這個網絡,崩潰了,崩潰了,有木有有木有.
我們通過node 查看 network docker network ls 確實沒有master節(jié)點的這個網絡,手動創(chuàng)建吧,他還不讓, 通過查詢資料有兩個方案.
創(chuàng)建一個服務
通過執(zhí)行docker service create --replicas 2 --network my-network --name my-web nginx將會自動創(chuàng)建.這個問題不搜不知道,谷歌一搜發(fā)現,好多人在1.12遇到這個問題, 其中有一個用戶答復說了這個方案,通過嘗試,我們發(fā)現確實在node 自動創(chuàng)建了這個網絡. but ,當我bundle時候還是提示找不到 淚奔了!!!-
通過使用外部key-value 存儲 etcd實現
目前我有三臺虛擬機: ip為224,225,226.
因為我的開發(fā)環(huán)境無法保證docker-machine生成的ip和tls的合法性,所以我選擇使用etcd.挑選224作為etcd主機發(fā)現,并且作為管理者,255.226作為節(jié)點,我們在224上面安裝etcd 安裝方法 ,安裝之后如何使用呢,我們決定先用一臺etcd用于主機發(fā)現來測試,所以我們參照官方docker的配置方式,進行啟動參數的配置,參考,配置如下:
./etcd -name etcd0
-advertise-client-urls http://${HostIP}:2379,http://${HostIP}:4001
-listen-client-urls http://0.0.0.0:2379,http://0.0.0.0:4001
-initial-advertise-peer-urls http://${HostIP}:2380
-listen-peer-urls http://0.0.0.0:2380
-initial-cluster-token etcd-cluster-1
-initial-cluster etcd0=http://${HostIP}:2380
-initial-cluster-state new
在225.226節(jié)點執(zhí)行
docker run -d swarm join --addr=192.168.0.225:2375 etcd://192.168.0.224:2379/swarm
docker run -d swarm join --addr=192.168.0.226:2375 etcd://192.168.0.224:2379/swarm
開啟swarm-master
docker run -d -p 3376:3376 -t \
swarm manage
-H 0.0.0.0:3376
etcd://192.168.0.224:2379/swarm
檢查下etcd集群
docker run --rm swarm list etcd://192.168.0.224:2379/swarm
檢查swarm集群信息
export DOCKER_HOST=192.168.0.224:3376
docker info
一些問題
我在使用過程中出現了 2375不能訪問,還有就是,datastore for scope "global" is not initialized ,通過修改所有主機的配置文件 /lib/systemd/system/docker.service 增加了一些配置 -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --cluster-advertise 192.168.0.226:2375 --cluster-store
etcd://192.168.0.224:2379
最終實現了etcd的主機發(fā)現.
好了,我們開始測試下 compose.yml , 創(chuàng)建一個overlay網絡, binggo!!成功了, compose.yml文件運行,提示nginx 還是找不到網絡, 好了好了,配置一個默認網絡吧
networks:
default:
external:
name: my-network
通過運行發(fā)現mysql需要提供很多環(huán)境變量,測試方便,我們刪除,使用tomcat,nginx 進行測試 ,links就不寫了,因為如果運行成功則,所有的服務名稱就是hostname, 之間可以實現訪問, 通過3376swarm管理端進行運行,我們發(fā)現和我們設想的一樣
推薦資料
總結
我們通過dockerd 配置 --cluster-store and --cluster-advertise 開啟了swarm模式,我們再考慮是否自己理解錯了才導致走了這么多彎路,現在回頭來整理整理,假如我能夠連接到集成的swarm中那么我就可以進行compose服務操作了.查詢init中2377端口,怎么連接呢?找不到呀.v.1.12集成了swarm, swarm提供了init,join 操作, 而這只是提供了swarm基礎功能, 那么重點就是service, service通過swarm 實現了負載,容錯,和快速更新的功能, 這里的service的理解上面可能自己理解錯了,我的理解是鏡像通過配置啟動成為容器,很多個容器構成了一個完成的服務體系, 然而,通過使用發(fā)現,這里的服務應該是依鏡像為粒度進行的操作.比如,通過鏡像配置完成一個容器的,多份容器集群分布就構成了service,所以,基于理解的不同導致了浪費了許多時間, 我們在開發(fā)中更傾向于考慮多個服務如何部署到多臺電腦上面這個操作.而service更傾向于考慮,如果把單一鏡像部署在多個電腦上面, 所以,使用v1.12中提供的swarm為我們提供了單服務的彈性操作, 這里,我們還是使用服務發(fā)現,連接到swarm進行更加自定義的部署操作.以后如果需要為某個服務提供彈性操作可能會考慮使用service.好了,文章里充滿了血與淚.
