k8s 節(jié)點(diǎn)健康狀態(tài)

k8s 節(jié)點(diǎn)可分配資源限制 Node Allocatable

官方文檔

前言

默認(rèn)kubelet沒(méi)配置資源預(yù)留應(yīng)用沒(méi)做應(yīng)用資源限制情況下，那host上所有資源都是可以給pod調(diào)配使用的，這樣很容易引起集群雪崩效應(yīng)，比如集群內(nèi)有一臺(tái)上跑的pod沒(méi)做resource limt導(dǎo)致占用資源過(guò)大導(dǎo)致將宿主機(jī)壓死了，此時(shí)這個(gè)節(jié)點(diǎn)在kubernetes內(nèi)就是一個(gè)no ready的狀態(tài)了，kubernetes會(huì)將這臺(tái)host上所有的pod在其他節(jié)點(diǎn)上重建，也就意味著那個(gè)有問(wèn)題的pod重新跑在其他正常的節(jié)點(diǎn)上，將另外正常的節(jié)點(diǎn)壓跨。循懷下去直到集群內(nèi)所有主機(jī)都掛了，這就是集群雪崩效應(yīng)。

0. 查看節(jié)點(diǎn)的Capacity和Allocatable

~]# kubectl describe <node_name>
Capacity:
 cpu:                8
 ephemeral-storage:  101917688Ki
 hugepages-1Gi:      0
 hugepages-2Mi:      0
 memory:             32939412Ki
 pods:               110
Allocatable:
 cpu:                8
 ephemeral-storage:  93927341106
 hugepages-1Gi:      0
 hugepages-2Mi:      0
 memory:             32837012Ki
 pods:               110

一、CGROUP

1. 概念了解

cgroup 是control group的縮寫(xiě)，是linux內(nèi)核提供的一種可以限制，記錄，隔離進(jìn)程組所使用的物力資源的機(jī)制，其中物力資源包含(cpu/memory/io等等). cgroup是將任意進(jìn)程進(jìn)行分組化管理的linux內(nèi)核功能，CGroup 本身是提供將進(jìn)程進(jìn)行分組化管理的功能和接口的基礎(chǔ)結(jié)構(gòu)，I/O 或內(nèi)存的分配控制等具體的資源管理功能是通過(guò)這個(gè)功能來(lái)實(shí)現(xiàn)的。這些具體的資源管理功能稱為 CGroup 子系統(tǒng)或控制器。CGroup 子系統(tǒng)有控制內(nèi)存的 Memory 控制器、控制進(jìn)程調(diào)度的 CPU 控制器等。

2. DOCKER 中的CGROUP 驅(qū)動(dòng)

• systemd cgroup driver

  systemd cgroup driver 是systemd本身提供了一個(gè)cgroup的管理方式，使用systemd做cgroup驅(qū)動(dòng)的話，所有的cgroup操作都必須通過(guò)systemd的接口來(lái)完成，不能手動(dòng)更改cgroup的文件

• cgroupfs cgroup driver

  cgroupfs 比較好理解。比如說(shuō)要限制內(nèi)存是多少、要用 CPU share 為多少？其實(shí)直接把 pid 寫(xiě)入對(duì)應(yīng)的一個(gè) cgroup 文件，然后把對(duì)應(yīng)需要限制的資源也寫(xiě)入相應(yīng)的 memory cgroup 文件和 CPU 的 cgroup 文件就可以了.

二、配置docker和kubelet的cgroup驅(qū)動(dòng)

默認(rèn)kubeadm安裝的kubernetes集群 cgroup驅(qū)動(dòng)為systemd，這樣是開(kāi)啟不了Kubelet Node Allocatable

先確認(rèn)docker的cgroup driver：

[root@m1 ~]# docker info | grep "Cgroup Driver"
Cgroup Driver: cgroupfs

如果確認(rèn)docker的Cgroup Driver不是 cgroupfs，則可以通過(guò)以下方法配置。

• docker 配置cgroup驅(qū)動(dòng)為cgroupfs

編輯 vim /etc/docker/daemon.json

{
  "exec-opts": ["native.cgroupdriver=cgroupfs"],
  "registry-mirrors": ["http://f1361db2.m.daocloud.io"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "5"
  },
  "insecure-registries":["192.168.108.133:5000"]
}

• 修改kubelet cgroup 驅(qū)動(dòng)systemd為cgroupfs

  編輯 /var/lib/kubelet/kubeadm-flags.env ，給KUBELET_KUBEADM_ARGS添加 --cgroup-driver=cgroupfs

KUBELET_KUBEADM_ARGS="--cgroup-driver=cgroupfs --network-plugin=cni --pod-infra-container-image=nexus.10010sh.cn/pause:3.1"

三、Kubelet Node Allocatable

1. 概念

• Kubelet Node Allocatable用來(lái)為Kube組件和System進(jìn)程預(yù)留資源，從而保證當(dāng)節(jié)點(diǎn)出現(xiàn)滿負(fù)荷時(shí)也能保證Kube和System進(jìn)程有足夠的資源。
• 目前支持cpu, memory, ephemeral-storage三種資源預(yù)留。
• Node Capacity是Node的所有硬件資源，kube-reserved是給kube組件預(yù)留的資源，system-reserved是給System進(jìn)程預(yù)留的資源， eviction-threshold（閾值）是kubelet eviction(收回)的閾值設(shè)定，allocatable才是真正scheduler調(diào)度Pod時(shí)的參考值（保證Node上所有Pods的request resource不超過(guò)Allocatable）
• Node Allocatable Resource = Node Capacity - Kube-reserved - system-reserved - eviction-threshold

2. 配置 修改/var/lib/kubelet/kubeadm-flags.env

KUBELET_KUBEADM_ARGS="--cgroup-driver=cgroupfs --network-plugin=cni --pod-infra-container-image=nexus.10010sh.cn/pause:3.1 \
    --enforce-node-allocatable=pods,kube-reserved,system-reserved \
    --kube-reserved-cgroup=/system.slice/kubelet.service \
    --system-reserved-cgroup=/system.slice \
    --kube-reserved=cpu=1,memory=1Gi \
    --system-reserved=cpu=1,memory=1Gi  \
    --eviction-hard=memory.available<5%,nodefs.available<10%,imagefs.available<10% \
    --eviction-soft=memory.available<10%,nodefs.available<15%,imagefs.available<15% \
    --eviction-soft-grace-period=memory.available=2m,nodefs.available=2m,imagefs.available=2m \
    --eviction-max-pod-grace-period=30 \
    --eviction-minimum-reclaim=memory.available=0Mi,nodefs.available=500Mi,imagefs.available=500Mi"

3. 配置解析

1). 開(kāi)啟為kube組件和系統(tǒng)守護(hù)進(jìn)程預(yù)留資源的功能

--enforce-node-allocatable=pods,kube-reserved,system-reserved

2). 設(shè)置k8s組件的cgroup

--kube-reserved-cgroup=/system.slice/kubelet.service

3). 設(shè)置系統(tǒng)守護(hù)進(jìn)程的cgroup

--system-reserved-cgroup=/system.slice

4). 配置為k8s組件預(yù)留資源的大小，CPU、MEM

--kube-reserved=cpu=1,memory=1G

5). 配置為系統(tǒng)進(jìn)程（諸如 sshd、udev 等系統(tǒng)守護(hù)進(jìn)程）預(yù)留資源的大小，CPU、MEM

--system-reserved=cpu=1,memory=1Gi

6). 驅(qū)逐pod的配置：硬閾值（保證95%的內(nèi)存利用率)

--eviction-hard=memory.available<5%,nodefs.available<10%,imagefs.available<10%

我用k8s 1.14版本做實(shí)驗(yàn)時(shí)，這個(gè)選項(xiàng)還不支持百分比，可以用實(shí)際容量數(shù)字，例如：--eviction-hard=memory.available<500Mi。

7). 驅(qū)逐pod的配置：軟閾值

--eviction-soft=memory.available<10%,nodefs.available<15%,imagefs.available<15%

8). 定義達(dá)到軟閾值之后，持續(xù)時(shí)間超過(guò)多久才進(jìn)行驅(qū)逐

--eviction-soft-grace-period=memory.available=2m,nodefs.available=2m,imagefs.available=2m

9). 驅(qū)逐pod前最大等待時(shí)間=min(pod.Spec.TerminationGracePeriodSeconds, eviction-max-pod-grace-period)，單位秒

--eviction-max-pod-grace-period=30

10). 至少回收多少資源，才停止驅(qū)逐

--eviction-minimum-reclaim=memory.available=0Mi,nodefs.available=500Mi,imagefs.available=500Mi

四、修改Kubelet啟動(dòng)service文件 /lib/systemd/system/kubelet.service

[Unit]
Description=kubelet: The Kubernetes Node Agent
Documentation=https://kubernetes.io/docs/home/

[Service]
ExecStartPre=/bin/mkdir -p /sys/fs/cgroup/cpuset/system.slice/kubelet.service
ExecStartPre=/bin/mkdir -p /sys/fs/cgroup/hugetlb/system.slice/kubelet.service
ExecStart=/usr/bin/kubelet
Restart=always
StartLimitInterval=0
RestartSec=10

[Install]
WantedBy=multi-user.target

五、重啟kubelet 和docker服務(wù)，再次查看節(jié)點(diǎn)的Capacity和Allocatable

可以看到配置已經(jīng)生效

~]# systemctl restart docker && systemctl restart kubelet
~]# kubectl describe <node>
Capacity:
 cpu:                8
 ephemeral-storage:  102106104Ki
 hugepages-2Mi:      0
 memory:             32909464Ki
 pods:               110
Allocatable:
 cpu:                6
 ephemeral-storage:  94100985291
 hugepages-2Mi:      0
 memory:             30709912Ki
 pods:               110

轉(zhuǎn)自：https://chulinx.github.io/2019/12/11/Kubernetes1.16配置節(jié)點(diǎn)資源預(yù)留/