? ? ? ?最近項(xiàng)目遇到一個(gè)問題，直播系統(tǒng)采用k8s集群部署，用到了nginx作緩存。
使用默認(rèn)k8s部署時(shí)，服務(wù)的pod的ip地址是變化的，這就會(huì)導(dǎo)致清理緩存的時(shí)，無法獲取正確的ip地址，從而導(dǎo)致nginx緩存無法清理。

這種情況下有2種方案解決：

1. k8s pod 使用固定ip
2. 遍歷k8s nginx pod的ip進(jìn)行清理

由于方案1 存在一個(gè)問題，當(dāng)nginx服務(wù)器增加時(shí)，同時(shí)也需要修改清理緩存的服務(wù)器，因此采用方案2來解決這個(gè)問題。

具體步驟如下：

1. 添加依賴

下圖是k8s和java client依賴的對(duì)應(yīng)關(guān)系表

image.png

由于當(dāng)前環(huán)境k8s版本時(shí)1.16，因此maven依賴如下

        <dependency>
            <groupId>io.kubernetes</groupId>
            <artifactId>client-java</artifactId>
            <version>8.0.2</version>
        </dependency>

2. 具體實(shí)現(xiàn)邏輯

package com.jd.mt.trade.platform.service.impl;

import com.alibaba.fastjson.JSON;
import com.jd.mt.trade.platform.service.K8sPodService;
import io.kubernetes.client.openapi.ApiClient;
import io.kubernetes.client.openapi.Configuration;
import io.kubernetes.client.openapi.apis.CoreV1Api;
import io.kubernetes.client.openapi.models.V1Pod;
import io.kubernetes.client.openapi.models.V1PodList;
import io.kubernetes.client.util.ClientBuilder;
import io.kubernetes.client.util.KubeConfig;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import org.springframework.util.ResourceUtils;

import java.io.File;
import java.io.FileReader;
import java.util.List;
import java.util.Objects;
import java.util.stream.Collectors;

/**
 * @Author: huangyichun
 * @Date: 2021/3/31
 */
@Slf4j
@Service
public class K8sPodServiceImpl implements K8sPodService {


    @Value("${k8s.config.label}")
    private String nginxPodLabel;

    @Override
    public List<String> queryNginxIps() {
        try {
            //讀取k8s證書的config配置文件
            File file = ResourceUtils.getFile("/export/Packages/csa-palteform/latest/config/k8sConfigFile");
            //創(chuàng)建客戶端， 如果服務(wù)是部署在k8s中，并且有權(quán)限?？梢允褂肅lientBuilder.defaultClient()創(chuàng)建客戶端
            ApiClient client = ClientBuilder.kubeconfig(KubeConfig.loadKubeConfig(new FileReader(file))).build();

            Configuration.setDefaultApiClient(client);
            CoreV1Api api = new CoreV1Api();
            
            //根據(jù)標(biāo)簽查詢對(duì)應(yīng)的pod
            V1PodList list = api.listPodForAllNamespaces(null, null, null, nginxPodLabel, null, null, null, null, null);
            List<V1Pod> items = list.getItems();
            List<String> collect = items.stream().map(pod -> Objects.requireNonNull(pod.getStatus()).getPodIP()).collect(Collectors.toList());
            log.info("nginx ips ={}", JSON.toJSONString(collect));
            return collect;
        } catch (Exception e) {
            log.error("nginx ip get error:", e);
        }
        return null;
    }
}

3. 單元測試

package com.jd.mt.trade.platform.service;

import com.jd.mt.trade.platform.BaseTest;
import org.junit.Test;
import org.springframework.beans.factory.annotation.Autowired;

import java.util.List;

/**
 * @Author: huangyichun
 * @Date: 2021/3/31
 */
public class K8sPodServiceTest extends BaseTest {

    @Autowired
    private K8sPodService k8sPodService;

    @Test
    public void queryNginxIps()  {
        List<String> list = k8sPodService.queryNginxIps();
        System.out.println(list);
    }
}

輸出：

[10.0.0.82]