我們有一個(gè)給設(shè)備做TCP直連的netty服務(wù)，這個(gè)服務(wù)要支持大量設(shè)備的直接連接，并且支持雙向通信（服務(wù)端要能夠向指定的設(shè)備發(fā)送消息，設(shè)備也要能向服務(wù)端發(fā)消息）
這樣的服務(wù)多實(shí)例部署的時(shí)候，就需要做TCP負(fù)載均衡。
要實(shí)現(xiàn)的目標(biāo)是：
1、TCP負(fù)載均衡，客戶(hù)端向一個(gè)ip和端口發(fā)起連接，均衡負(fù)載到不同的netty服務(wù)上。
2、Netty服務(wù)動(dòng)態(tài)伸縮的時(shí)候，負(fù)載均衡要能夠感知
3、其他服務(wù)要能調(diào)用Netty服務(wù)向指定的設(shè)備發(fā)送消息，這就需要設(shè)備連接成功后，Netty服務(wù)要記錄該設(shè)備所在服務(wù)的ip地址。其他服務(wù)請(qǐng)求時(shí)將請(qǐng)求路由到指定設(shè)備連接的Netty服務(wù)上。
服務(wù)部署到k8s集群上。然鵝在騰訊云服務(wù)器上構(gòu)建出來(lái)的k8s集群不支持LoadBalancer（如果可以，還請(qǐng)各位指點(diǎn)）。
雖然騰訊云有支持tcp負(fù)載均衡的產(chǎn)品，不過(guò)那個(gè)只是在服務(wù)器之間的四層負(fù)載均衡，如果要部署到k8s里面，需要pod之間的負(fù)載均衡。
最新發(fā)現(xiàn)這個(gè)項(xiàng)目《https://github.com/danderson/metallb》可以實(shí)現(xiàn)自建集群支持四層負(fù)載均衡
方案一：
Netty服務(wù)通過(guò)HostPort暴露端口，通過(guò)Nginx做upstream（或者通過(guò)騰訊云的負(fù)載均衡），配置多個(gè)k8s主機(jī)節(jié)點(diǎn)的ip和端口做TCP負(fù)載均衡。
upstream nettymq1{
????server 192.168.3.62:28866 weight=1;
????server 192.168.3.63:28866 weight=1;
????server 192.168.3.64:28866 weight=1;
????server 192.168.3.65:28866 weight=1;
}
server{
????listen 28866;
????proxy_pass nettymq1;
}
缺陷：HostPort方式暴露端口，會(huì)占用主機(jī)端口，一臺(tái)主機(jī)就只能部署一個(gè)服務(wù)，同一臺(tái)主機(jī)上調(diào)度兩個(gè)就會(huì)出現(xiàn)端口沖突。
并且netty服務(wù)不支持?jǐn)U展到多于集群主機(jī)的個(gè)數(shù)。
方案二：
通過(guò)k8s的statefulset方式部署，可以給pod產(chǎn)生規(guī)則的域名。這樣在Nginx upstream中配置主機(jī)節(jié)點(diǎn)的ip就變成了配置pod的規(guī)則域名的方式。
upstream nettymq1{
????server nettymq-0:28866 weight=1;
????server nettymq-1:28866 weight=1;
????server nettymq-2:28866 weight=1;
????server nettymq-3:28866 weight=1;
}
這樣可以解決方案一中，占用主機(jī)端口，一臺(tái)主機(jī)只能部署一個(gè)的問(wèn)題。
缺陷：由于upstream中配置的是域名，如果是開(kāi)源版的nginx沒(méi)法動(dòng)態(tài)解析域名，域名指向的ip改變之后，nginx無(wú)法解析到新ip上。需要nginx-plus版的resolve指令動(dòng)態(tài)更新域名。
并且還是無(wú)法動(dòng)態(tài)想擴(kuò)展多少個(gè)就擴(kuò)展多少個(gè)，受限于upstream中配置server個(gè)數(shù)。
友情提示：openresty 的?ngx_http_dyups_module?模塊只支持http下的upstream更新，不支持stream下的upstream更新。o(╥﹏╥)o
方案三：
這個(gè)方案要用到一個(gè)開(kāi)源項(xiàng)目：
?kubernetes-ingerss：GitHub - nginxinc/kubernetes-ingress: NGINX and NGINX Plus Ingress Controllers for Kubernetes
這個(gè)?kubernetes-ingerss 跟 Kubernetes 自帶的?NGINX Ingress Controller不是同一個(gè)東西。
它的 example/tcp-udp?下就有關(guān)于tcp負(fù)載均衡的介紹，可以通過(guò)configMap動(dòng)態(tài)注冊(cè)服務(wù)下的pod的ip到nginx的upstream上。看起來(lái)可以完美解決動(dòng)態(tài)擴(kuò)容縮容的問(wèn)題。
第一步：先要安裝?kubernetes-ingerss
1、將源碼中deployments目錄復(fù)制到可以執(zhí)行kubectl命令的主機(jī)上，進(jìn)入該目錄
2、根據(jù)?https://github.com/nginxinc/kubernetes-ingress/blob/master/docs/installation.md 的步驟執(zhí)行命令即可
Create a Namespace, a SA, the Default Secret and the Customization Config Map
kubectl apply -f common/ns-and-sa.yaml
kubectl apply -f common/default-server-secret.yaml
kubectl apply -f common/nginx-config.yaml
Configure RBAC
kubectl apply -f rbac/rbac.yaml
然后創(chuàng)建負(fù)載均衡服務(wù)，以下兩種方式選擇一種即可，兩種方式各有優(yōu)勢(shì)，自行選擇即可
Service with the Type LoadBalancer
1.Create a Deployment：只部署一個(gè)服務(wù)，然后轉(zhuǎn)發(fā)到不同的netty服務(wù)
kubectl apply -f deployment/nginx-ingress.yaml
2.Create a DaemonSet：每個(gè)主機(jī)一個(gè)服務(wù)
kubectl apply -f daemon-set/nginx-ingress.yaml
以上兩種方式任選其一即可，不要同時(shí)安裝兩個(gè)
Service with the Type NodePort? 選擇NodePort方式配置負(fù)載均衡（這里要根據(jù)自己的服務(wù)配置需要暴露哪些端口）
kubectl create -f service/nodeport.yaml
3、配置Netty服務(wù)的負(fù)載均衡
kubectl apply nginx-netty-config.yaml
nginx-netty-config.yaml 文件如下
kind: ConfigMap
apiVersion: v1
metadata:
????name: nginx-config
????namespace: nginx-ingress
data:
????stream-snippets: |
????????upstream netty-mq-tcp {
????????????server netty-mq:28866; ????????# netty-mq為k8s中部署的netty服務(wù)名稱(chēng)
????????}
? ??????server {
????????????listen 30001;
????????????proxy_pass? netty-mq-tcp;
????????}
4、驗(yàn)證?
將netty-mq服務(wù)修改為多個(gè)pod部署，
然后讓多個(gè)設(shè)備連接 nginx-ingress 暴露的30001端口，即可發(fā)現(xiàn)多個(gè)設(shè)備的連接負(fù)載均衡到不同的pod上了。
