參考文檔: https://kubeovn.github.io/docs/v1.10.x/guide/eip-snat/
和 neutron ovs|ovn運營商公網(wǎng)網(wǎng)絡(luò)類似，需要準備一張網(wǎng)卡接入 ovs 公網(wǎng)網(wǎng)絡(luò)的網(wǎng)橋
- 部署修改項
# install.sh 置為true
ENABLE_EIP_SNAT=${ENABLE_EIP_SNAT:-true}
# cat 01-ovn-external-gw-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: ovn-external-gw-config
namespace: kube-system
data:
enable-external-gw: "true"
#external-gw-nodes: "hci-dev-mst-1," # 目前先測試一個節(jié)點
## 目前先測試一個節(jié)點，分布式會自動加入所有匹配到指定網(wǎng)卡名的node，
## 這里即使填寫了，dvr模式也是會加載全部
type: "distributed" # 分布式模式也需要指定ge nodes
external-gw-nic: "eth3"
external-gw-addr: "172.20.10.1/24" # 物理網(wǎng)關(guān)的ip
nic-ip: "172.20.10.2/24" # 邏輯網(wǎng)關(guān)的ip 后續(xù)改為基于ipam分配
nic-mac: "fa:16:3e:08:82:34" # 邏輯網(wǎng)關(guān)的mac
- 測試結(jié)果
switch 7efe6de0-8291-4487-a256-af784117cec3 (ovn-external) # 可以看到公網(wǎng)網(wǎng)絡(luò)已創(chuàng)建
port ln-ovn-external
type: localnet
addresses: ["unknown"]
port ovn-external-ovn-cluster
type: router
router-port: ovn-cluster-ovn-external
switch adfdb9ec-8667-4a44-87b2-0cb9cb4ec20f (ovn-default)
#... 這里省略k8s的業(yè)務(wù)pod ip
port ovn-default-ovn-cluster
type: router
router-port: ovn-cluster-ovn-default
switch bd55a40d-b9c0-4b66-87cb-2d3374c8ac00 (join)
# 這個網(wǎng)段用于node聯(lián)通ovn默認網(wǎng)絡(luò)，每個node上都要一個端口
port node-hci-dev-work-1
addresses: ["00:00:00:E2:FF:69 100.64.0.4"]
port node-hci-dev-work-2
addresses: ["00:00:00:EA:D9:45 100.64.0.3"]
port node-hci-dev-mst-2
addresses: ["00:00:00:7B:F8:76 100.64.0.6"]
port node-hci-dev-mst-3
addresses: ["00:00:00:E1:EF:2B 100.64.0.2"]
port node-hci-dev-mst-1
addresses: ["00:00:00:D2:01:7D 100.64.0.5"]
port join-ovn-cluster # 連接到路由，從而和ovn-default子網(wǎng)聯(lián)通
type: router
router-port: ovn-cluster-join
router f1881036-6429-4b4b-87fd-2f3db69310d7 (ovn-cluster)
# 該路由既用于ovn-default和node聯(lián)通，也用于ovn-default 和 運營商公網(wǎng)聯(lián)通
port ovn-cluster-join
mac: "00:00:00:46:3F:20"
networks: ["100.64.0.1/16"]
port ovn-cluster-ovn-external
mac: "fa:16:3e:08:82:34"
networks: ["172.20.10.2/24"]
gateway chassis: [f54b5b37-dbc4-404c-a725-90d1a38866cd 8b63c9b3-1e23-4f0c-9d5a-d6422847618a 340ef751-b952-4ba4-94d0-a8d2eaca34db 556cf63f-e4e7-4f4b-9cad-1f35d39bd1ab 5a41b082-ea22-4a03-9ef3-4122653c7eb6]
port ovn-cluster-ovn-default
mac: "00:00:00:42:5E:18"
networks: ["10.16.0.1/16"]
vpc subnet ---- router ---- publicnet
租戶subnet ---- lsp ---- lrp ---- 租戶router ---- lrp ---- lsp ---- localnet(公共網(wǎng)絡(luò)) ---- localport ---- localnet
對標了一下neutron 幾乎是一模一樣的，只有一點點區(qū)別, 因為neutron要提供metadata訪問機制
# 梳理公網(wǎng)
switch e2331048-a7c3-4259-a1ba-74cc0d7fb974 (neutron-9989ffbf-6c71-47c9-b4bf-a747bc74f734) (aka pubnet)
port 4b2ca3d1-2b57-46c0-8a90-eeec87397d47 # neutron 多了一個這個 用于metadata訪問
type: localport
addresses: ["fa:16:3e:2a:a9:90 10.120.24.100"]
port provnet-b82c0de5-ae24-4f39-8fa9-6726593c6da9
# 這個是分布式路由本地直接node轉(zhuǎn)發(fā)到本地公網(wǎng)網(wǎng)絡(luò) provider net 運營商網(wǎng)絡(luò)
type: localnet
addresses: ["unknown"] # 這個端口應(yīng)該配合使用才能實現(xiàn)DVR
- 關(guān)于路由
kube-ovn 默認網(wǎng)絡(luò)，每創(chuàng)建一條nat（snat|snat_and_dnat），都會新增一條路由規(guī)則。
感覺這個路由的觸發(fā)場景還需要再調(diào)研下 >> 目前認為應(yīng)該是
這個實際上是出公網(wǎng)的路由，如果沒有eip snat機制，那么就走到node，再從node本地出去
如果有配置eip，snat，那么就走到公共網(wǎng)絡(luò)，再從本地出去
Subnet.Spec.NatOutgoing 這個就僅僅是用來控制策略路由的
但是這個在neutron 自定義vpc 租戶網(wǎng)絡(luò)的場景中是不需要這些路由的。
這個估計還需要再梳理下是否有更好的優(yōu)化方向。
- pkg/controller/external_vpc.go
這個命名是external vpc，這個邏輯只是用來處理非ovn的router，比如neutron的router
正常情況下應(yīng)該是，ovn自己創(chuàng)建（維護的）router ，subnet，都有指定vendor=ovn，用于標記供應(yīng)商
external_ids{!=}vendor=%s", util.CniTypeName
kube-ovn 只處理自己管轄的資源
