前言

K8S Ingress通過(guò)管理集群中的外部服務(wù)用的Service，把流量從Nginx轉(zhuǎn)到對(duì)應(yīng)部署的容器中，提供7層負(fù)載均衡能力。

在我們公司存在混合部署的情況，有業(yè)務(wù)同時(shí)在容器和物理機(jī)、云主機(jī)上部署服務(wù)實(shí)例，但是也需要通過(guò)K8S Ingress把外部流量轉(zhuǎn)入進(jìn)行，由于Ingress不支持流量轉(zhuǎn)到物理機(jī)上的實(shí)例，所以我們需要做一些擴(kuò)展來(lái)支持這種場(chǎng)景。

在Ingress Nginx主流程一文中，已經(jīng)介紹了Ingress Nginx的驅(qū)動(dòng)流程，系統(tǒng)的主要驅(qū)動(dòng)邏輯是監(jiān)控API Server中相關(guān)資源的變化，并通過(guò)事件回調(diào)去驅(qū)動(dòng)系統(tǒng)的運(yùn)行。

我們可以通過(guò)適當(dāng)改造Ingress Nginx Controller來(lái)讓他支持物理機(jī)實(shí)例。

實(shí)現(xiàn)思路

ingress-nginx-controller的實(shí)現(xiàn)是通過(guò)k8s中的資源發(fā)現(xiàn)，把Server或Pod的變化，實(shí)時(shí)更新配置到Nginx中，基于Nginx的反向代理服務(wù)，基于vhost子域名以及URL路由到后端的Pod中。

image.png

在K8S添加物理服務(wù)資源

K8S原生的資源無(wú)法發(fā)現(xiàn)物理部署的服務(wù)，所以我們需要利用K8S的資源擴(kuò)展機(jī)制，給K8S添加一種新的資源：PhysicalDeployment資源，下面是一個(gè)對(duì)應(yīng)的物理資源例子：

apiVersion: test.api.io/v1beta1
kind: PhysicalEndpoint
metadata:
  name: phyendpoint-example
  namespace: test
spec:
  endpoints:
  - 10.0.0.1:10001
  - 10.0.0.2:10001
  http_detect: /conf/
  interval: 10
statu:
  

phyendpoint-example有兩個(gè)實(shí)例，分別是10.0.0.1:10001和10.0.0.2:1001，由于ingress中的nginx使用的lua功能來(lái)實(shí)現(xiàn)upstream，沒(méi)有使用nginx原生的upstream，所以它暫時(shí)不具備被動(dòng)探測(cè)服務(wù)不可用的功能，也就是說(shuō)，當(dāng)一個(gè)endpoint故障或者不能工作時(shí)，ingress無(wú)法做到想nginx原生upstream那樣，先隔離該實(shí)例，10秒后重試這種被動(dòng)探測(cè)能力。

ingress主要依賴于k8s原生的pod的主動(dòng)探測(cè)能力來(lái)發(fā)現(xiàn)不可用服務(wù)，當(dāng)主動(dòng)探測(cè)一個(gè)endpoint不可用時(shí)，ingress能夠及時(shí)（當(dāng)然也不夠?qū)崟r(shí)）發(fā)現(xiàn)問(wèn)題，并隔離該pod。

所以，這里還需要針對(duì)PhysicalEndpoint實(shí)現(xiàn)自己的控制器，在控制器中定期對(duì)PhysicalEndpoint管理的Endpoint進(jìn)行探測(cè)，并及時(shí)更新它的狀態(tài)。

擴(kuò)展ingress-nginx-controller

ingress主要基于service來(lái)發(fā)現(xiàn)Endpoints，這里需要增加對(duì)PhysicalEndpoint的事件偵聽(tīng)服務(wù)，并與Service服務(wù)一起訂閱合并Endpoints后，通過(guò)nginx的API更新到對(duì)應(yīng)的upstream服務(wù)列表中。

為了合并容器與物理部署，需要對(duì)Service也做稍許擴(kuò)展，增加annotation，讓我們?cè)诜?wù)發(fā)現(xiàn)時(shí)除了發(fā)現(xiàn)該service的容器Endpoint之外，還去發(fā)現(xiàn)對(duì)應(yīng)的annotation中的PhysicalEndpoint中的Endpoint。

如下圖是一個(gè)例子：

apiVersion: v1
kind: Service
metadata:
  name: test-service
  namespace: test
  annotations:
      test.api.io/physical.deployment.endpoints: phyendpoint-example     
  labels:
    deploy-type: test    
    project-name: golang-test-project
spec:
  ports:
  - port: 10001
    targetPort: 10001
    protocol: TCP
  selector:
    project-name: abc

總結(jié)

通過(guò)簡(jiǎn)單的擴(kuò)展，就可以讓Ingress同時(shí)把流量向容器和物理機(jī)部署的服務(wù)進(jìn)行轉(zhuǎn)發(fā)，不僅能夠解決部分業(yè)務(wù)確實(shí)存在物理機(jī)部署的需求，同時(shí)對(duì)于我們公司的現(xiàn)狀的容器化推廣有很大幫助，排除了不少阻力。