K8s Pod調度

nodeSelector

pod只會運行在匹配nodeSelector的node上。

要使用這個功能需要先配置node label。

使用如下命令獲取集群中的節(jié)點

kubectl get nodes

為節(jié)點添加label

kubectl label nodes <node-name> <label-key>=<label-value>

查看所有node分配的label

kubectl get nodes --show-labels

查看某一個節(jié)點分配的label

kubectl describe node "nodename"

pod描述文件中添加nodeSelector

apiVersion: v1
kind: Pod
metadata:
  name: nginx
  labels:
    env: test
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
  nodeSelector:
    disktype: ssd

Node Affinity

用于限制node可以被調度在哪些node上。

Node Affinity有兩種類型：

  • requiredDuringSchedulingIgnoredDuringExecution: 強制要求，必須滿足條件。
  • preferredDuringSchedulingIgnoredDuringExecution: 非強制要求，k8s盡量滿足要求。

如果node的label改變后，已經(jīng)在這個node上運行的pod的nodeSelector不匹配修改后的label，這些pod仍會繼續(xù)運行。

一個使用例子如下：

apiVersion: v1
kind: Pod
metadata:
  name: with-node-affinity
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: kubernetes.io/e2e-az-name
            operator: In
            values:
            - e2e-az1
            - e2e-az2
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 1
        preference:
          matchExpressions:
          - key: another-node-label-key
            operator: In
            values:
            - another-node-label-value
  containers:
  - name: with-node-affinity
    image: k8s.gcr.io/pause:2.0

如果同時指定了nodeSelector和nodeAffinity, pod會調度到這兩個條件都滿足的節(jié)點上。

如果在nodeAffinity中使用了nodeSelectorTerms，node只要滿足其中的一個條件，pod就可以調度到這個節(jié)點上。

如果在nodeAffinity中使用了matchExpressions，pod只會調度到滿足所有表達式的節(jié)點上。

node label如果修改了，已經(jīng)運行的pod不會受到任何影響。nodeAffinity僅在調度階段起作用。

Inter-pod affinity and anti-affinity

和node affinity不同的是，這種親和性的目標指的是和pod的親和性，而不是node本身。比如pod X的親和性設置為Y，那么X會被調度到正在運行著Y的對象上去。這里的對象可以是node，機架或云提供商區(qū)域等，使用topologyKey來標記。

topologyKey的可能取值如下：

  • kubernetes.io/hostname
  • failure-domain.beta.kubernetes.io/zone
  • failure-domain.beta.kubernetes.io/region
  • topology.kubernetes.io/zone
  • topology.kubernetes.io/region
  • beta.kubernetes.io/instance-type
  • node.kubernetes.io/instance-type
  • kubernetes.io/os
  • kubernetes.io/arch

其中kubernetes.io/hostname為node級別。kubernetes.io/os為操作系統(tǒng)類型級別。kubernetes.io/arch為CPU架構級別。

和node affinity相同，pod affinity也具有強制(requiredDuringSchedulingIgnoredDuringExecution)和非強制(preferredDuringSchedulingIgnoredDuringExecution)配置。

pod affinity的一個例子：

apiVersion: v1
kind: Pod
metadata:
  name: with-pod-affinity
spec:
  affinity:
    podAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
          - key: security
            operator: In
            values:
            - S1
        topologyKey: failure-domain.beta.kubernetes.io/zone
    podAntiAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 100
        podAffinityTerm:
          labelSelector:
            matchExpressions:
            - key: security
              operator: In
              values:
              - S2
          topologyKey: failure-domain.beta.kubernetes.io/zone
  containers:
  - name: with-pod-affinity
    image: k8s.gcr.io/pause:2.0

如果pod affinity或anti-affinity使用requiredDuringSchedulingIgnoredDuringExecution，必須制定topologyKey。

如果pod affinity或anti-affinity使用preferredDuringSchedulingIgnoredDuringExecution，不指定topologyKey的含義為所有的topologies，即上述topologyKey所有可能值。

使用例子1：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: redis-cache
spec:
  selector:
    matchLabels:
      app: store
  replicas: 3
  template:
    metadata:
      labels:
        app: store
    spec:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - store
            topologyKey: "kubernetes.io/hostname"
      containers:
      - name: redis-server
        image: redis:3.2-alpine

以上配置app=store的pod不會在一個節(jié)點運行兩個。

使用例子2：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: web-server
spec:
  selector:
    matchLabels:
      app: web-store
  replicas: 3
  template:
    metadata:
      labels:
        app: web-store
    spec:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - web-store
            topologyKey: "kubernetes.io/hostname"
        podAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - store
            topologyKey: "kubernetes.io/hostname"
      containers:
      - name: web-app
        image: nginx:1.12-alpine

app=store這個pod不會在同一個節(jié)點運行多個，會和app=store（應該是in，但是上個例子中pod的label為app=store），運行在同一個節(jié)點中。

NodeName

Pod調度到特定name的節(jié)點上。

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  containers:
  - name: nginx
    image: nginx
  nodeName: kube-01

Taint and Toleration

Node Affinity（節(jié)點親和性）用于指定pod可以運行在哪些node上。Taint是相反的作用，用于指定Pod不能在哪些節(jié)點運行。

Taint意為污點，標記為污點的節(jié)點，不會有node調度到這臺機器上。一個污點具有3個組成部分，key、value和effect。

Toleration為容忍，如果一個pod配置的容忍和節(jié)點的污點相匹配，那么此pod可以被調度在這個節(jié)點上。

如果使用preferredDuringSchedulingIgnoredDuringExecution，它有一個權重值weight的配置。權重值大的條件會優(yōu)先被滿足。

Taint的配置

下面為node1增加一個taint：

kubectl taint nodes node1 key=value:NoSchedule

這里NoSchedule的含義為除非pod具有符合條件的toleration（容忍），任何pod都不會調度到這個節(jié)點上。

要刪除node1的污點，可以執(zhí)行如下命令：

kubectl taint nodes node1 key:NoSchedule-

Toleration的配置

在pod的spec下增加：

tolerations:
- key: "key"
  operator: "Equal"
  value: "value"
  effect: "NoSchedule"

意思為該pod可以調度到污點為key=value，effect為NoSchedule的節(jié)點上。

tolerations:
- key: "key"
  operator: "Exists"
  effect: "NoSchedule"

意思為該pod可以調度到污點存在名字為"key"的鍵，effect為NoSchedule的節(jié)點上。

一個完整的pod描述文件實例如下：

apiVersion: v1
kind: Pod
metadata:
  name: nginx
  labels:
    env: test
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
  tolerations:
  - key: "example-key"
    operator: "Exists"
    effect: "NoSchedule"

一個節(jié)點可以配置多個污點，pod只有容忍所有的污點，才有可能被調度到這個節(jié)點上。

特殊情況

tolerations:
- operator: "Exists"

使用Exists，不指定key的話，可以匹配所有的key，value和effect

tolerations:
- key: "key"
  operator: "Exists"

使用Exists，指定key，但是不指定effect，可以匹配所有的effect。

effect的三種類型

  • NoSchedule：不會調度到該節(jié)點上
  • PreferNoSchedule：盡最大可能不調度到該節(jié)點上，但是不保證絕不調度到該節(jié)點上
  • NoExecute：如果節(jié)點被標記為NoExecute污點之前有pod不容忍這個污點，這些pod會被立刻清除掉。

可以配置pod容忍在NoExecute節(jié)點下運行一段時間，配置如下所示。

tolerations:
- key: "key1"
  operator: "Equal"
  value: "value1"
  effect: "NoExecute"
  tolerationSeconds: 3600

查看pod在哪個節(jié)點運行的命令

kubectl get pods -o wide
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容