前言

我們搭建一個網(wǎng)絡(luò)環(huán)境，一般遵循一定的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。由于Linux可以模擬相應(yīng)的網(wǎng)絡(luò)設(shè)備，并可以創(chuàng)建“虛擬機”（也就是容器），因此在Linux系統(tǒng)內(nèi)，我們也可以遵循一定的網(wǎng)路拓?fù)浣Y(jié)構(gòu)，設(shè)計一個“內(nèi)網(wǎng)”，實現(xiàn)容器之間的通信。

本文主要講述容器跨主機網(wǎng)絡(luò)通信。

實現(xiàn)方式

容器跨主機的網(wǎng)絡(luò)通信，主要實現(xiàn)思路有兩種：二層VLAN網(wǎng)絡(luò)和Overlay網(wǎng)絡(luò)。

二層VLAN網(wǎng)絡(luò)的解決跨主機通信的思路是把原先的網(wǎng)絡(luò)架構(gòu)改造為互通的大二層網(wǎng)絡(luò)，通過特定網(wǎng)絡(luò)設(shè)備直接路由，實現(xiàn)容器點到點的之間通信。

Overlay網(wǎng)絡(luò)是指在不改變現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)設(shè)施的前提下，通過某種約定通信協(xié)議，把二層報文封裝在IP報文之上的新的數(shù)據(jù)格式。

libnetwork

Libnetwork是Docker團(tuán)隊將Docker的網(wǎng)絡(luò)功能從Docker核心代碼中分離出去，形成一個單獨的庫。 Libnetwork通過插件的形式為Docker提供網(wǎng)絡(luò)功能。 使得用戶可以根據(jù)自己的需求實現(xiàn)自己的Driver來提供不同的網(wǎng)絡(luò)功能。

官方目前計劃實現(xiàn)以下Driver：

1. Bridge ： 這個Driver就是Docker現(xiàn)有網(wǎng)絡(luò)Bridge模式的實現(xiàn)。 （基本完成，主要從之前的Docker網(wǎng)絡(luò)代碼中遷移過來）

2. Null ： Driver的空實現(xiàn)，類似于Docker 容器的None模式。

3. Overlay ： 隧道模式實現(xiàn)多主機通信的方案。

“Libnetwork所要實現(xiàn)的網(wǎng)絡(luò)模型（網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)）基本是這樣的： 用戶可以創(chuàng)建一個或多個網(wǎng)絡(luò)（一個網(wǎng)絡(luò)就是一個網(wǎng)橋或者一個VLAN ），一個容器可以加入一個或多個網(wǎng)絡(luò)。 同一個網(wǎng)絡(luò)中容器可以通信，不同網(wǎng)絡(luò)中的容器隔離?！?strong>我覺得這才是將網(wǎng)絡(luò)從docker分離出去的真正含義，即在創(chuàng)建容器之前，我們可以先創(chuàng)建網(wǎng)絡(luò)（即創(chuàng)建容器與創(chuàng)建網(wǎng)絡(luò)是分開的），然后決定讓容器加入哪個網(wǎng)絡(luò)。

Libnetwork定義的容器網(wǎng)絡(luò)模型

Alt text

• Sandbox：對應(yīng)一個容器中的網(wǎng)絡(luò)環(huán)境（沒有實體），包括相應(yīng)的網(wǎng)卡配置、路由表、DNS配置等。CNM很形象的將它表示為網(wǎng)絡(luò)的『沙盒』，因為這樣的網(wǎng)絡(luò)環(huán)境是隨著容器的創(chuàng)建而創(chuàng)建，又隨著容器銷毀而不復(fù)存在的；

• Endpoint：實際上就是一個容器中的虛擬網(wǎng)卡，在容器中會顯示為eth0、eth1依次類推；

• Network：指的是一個能夠相互通信的容器網(wǎng)絡(luò)，加入了同一個網(wǎng)絡(luò)的容器直接可以直接通過對方的名字相互連接。它的實體本質(zhì)上是主機上的虛擬網(wǎng)卡或網(wǎng)橋。

Libnetwork網(wǎng)絡(luò)使用方式

直接使用

1. 假設(shè)存在主機192.168.56.101,192.168.56.102

2. 修改每個主機的docker啟動參數(shù)DOCKER_OPTS=--insecure-registry 192.168.3.56:5000 -H 0.0.0.0:2375 --cluster-store=etcd://192.168.56.101:2379/ --cluster-advertise=192.168.56.101:2375，重啟docker。

3. docker創(chuàng)建overlay網(wǎng)絡(luò)net1和net2

• 192.168.56.101或192.168.56.102執(zhí)行docker network create -d overlay net1``docker network create -d overlay net2

• 192.168.56.101運行容器net1c1,net2c1docker run -itd --name net1c1 --net net1 ubuntu:14.04

• 192.168.56.102運行容器net1c2,net2c2。

通過docker swarm使用

1. 啟動etcd集群，存儲docker swarm節(jié)點信息

192.168.56.101上etcd配置

ETCD_OPTS=--data-dir=/var/lib/etcd/ \

--name wily1 \

--initial-advertise-peer-urls http://192.168.56.101:2380 \

--listen-peer-urls http://192.168.56.101:2380 \

--listen-client-urls http://192.168.56.101:2379,http://127.0.0.1:2379 \

--advertise-client-urls http://192.168.56.101:2379 \

--initial-cluster-token etcd-cluster-1 \

--initial-cluster-state new \

--initial-cluster wily1=http://192.168.56.101:2380,wily2=http://192.168.56.102:2380

192.168.56.102上etcd配置

ETCD_OPTS=--data-dir=/var/lib/etcd/ \

--name wily1 \

--initial-advertise-peer-urls http://192.168.56.102:2380 \

--listen-peer-urls http://192.168.56.102:2380 \

--listen-client-urls http://192.168.56.102:2379,http://127.0.0.1:2379 \

--advertise-client-urls http://192.168.56.102:2379 \

--initial-cluster-token etcd-cluster-1 \

--initial-cluster-state new \

--initial-cluster wily1=http://192.168.56.101:2380,wily2=http://192.168.56.102:2380

2. 啟動 docker swarm

• 192.168.56.101執(zhí)行docker run --name swarm-agent -d swarm join --addr=192.168.56.101:2375 etcd://192.168.56.101:2379/swarm

• 192.168.56.102執(zhí)行docker run --name swarm-agent -d swarm join --addr=192.168.56.102:2375 etcd://192.168.56.102:2379/swarm

• 192.168.56.101上啟動swarm-managerdocker run --name swarm-manager -d -p 3375:2375 swarm manage etcd://192.168.56.101:2379/swarm

3. 192.168.56.101上創(chuàng)建網(wǎng)絡(luò)net3并啟動容器

docker -H tcp://localhost:3375 network create -d overlay net3

docker -H tcp://localhost:3375 run -it --net net3 ubuntu bash

4. 192.168.56.101上創(chuàng)建網(wǎng)絡(luò)net4并啟動容器，并且指定容器的ip，這個效果在實際場景中很有用

docker -H tcp://localhost:3375 network create -d overlay net4 --subnet 172.19.0.0/16

docker -H tcp://localhost:3375 run -it --net net4 --ip=172.19.0.6 ubuntu bash

使用--ip參數(shù)時，必須值定特定的子網(wǎng)，參見https://github.com/docker/docker/issues/20547

5. 用docker-compose試試。docker-compose文件

version: '2'

services:

web:

image: reinblau/php-apache2

networks:

• net5

networks:

net5:

driver: overlay

使用systemd配置docker swarm

1. 192.168.56.101和192.168.56.102配置swarm-agent.service

[Unit]

Description=Docker Swarm Agent Container

Documentation=https://docs.docker.com

Requires=etcd.service

Requires=docker.service

After=etcd.service

After=docker.service

[Service]

Type=simple

EnvironmentFile=/etc/default/swarm-agent

ExecStartPre=-/usr/bin/docker stop ${CONTAINER_NAME}

ExecStartPre=-/bin/echo "/usr/bin/docker stop ${CONTAINER_NAME}"

ExecStartPre=-/usr/bin/docker rm ${CONTAINER_NAME}

ExecStartPre=/usr/bin/docker pull swarm

ExecStart=/usr/bin/docker run --rm --name ${CONTAINER_NAME} swarm join --addr=${DOCKER_ADDRESS} ${ETCD_SWARM_URL}

ExecStartPre=-/bin/echo "/usr/bin/docker run --rm --name ${CONTAINER_NAME} swarm join --addr=${DOCKER_ADDRESS} ${ETCD_SWARM_URL}"

[Install]

WantedBy=multi-user.target

2. 192.168.56.101配置swarm-manager.service

[Unit]

Description=Docker Swarm Manager Container

Documentation=https://docs.docker.com

Requires=etcd.service

Requires=docker.service

After=etcd.service

After=docker.service

[Service]

Type=simple

EnvironmentFile=/etc/default/swarm-manager

ExecStartPre=-/usr/bin/docker stop ${CONTAINER_NAME}

ExecStartPre=-/bin/echo "/usr/bin/docker stop ${CONTAINER_NAME}"

ExecStartPre=-/usr/bin/docker rm ${CONTAINER_NAME}

ExecStartPre=/usr/bin/docker pull swarm

ExecStart=/usr/bin/docker run --name ${CONTAINER_NAME} -p ${SWARM_PORT}:2375 swarm manage ${ETCD_SWARM_URL}

ExecStartPre=-/bin/echo "/usr/bin/docker run --rm --name ${CONTAINER_NAME} -p ${SWARM_PORT}:2375 swarm manage ${ETCD_SWARM_URL}"

[Install]

WantedBy=multi-user.target

一些坑

如果你使用virtual box虛擬了兩個主機192.168.56.101和192.168.56.102，并且192.168.56.102是由192.168.56.101克隆而來，則你需要清除xx/docker/key.json（不同系統(tǒng)位置不同），并重啟docker。否則兩個主機啟動的容器可能具有同一個id，進(jìn)而導(dǎo)致使用docker swarm時出現(xiàn)問題。參見https://github.com/docker/swarm/issues/380

小結(jié)

docker 真是做的越來越全面了，如果僅僅是用用，一切都是參數(shù)配置，搞得人家很沒有成就感嘛。

參考文獻(xiàn)

聊聊Docker 1.9的新網(wǎng)絡(luò)特性

理解Docker跨多主機容器網(wǎng)絡(luò)