軟硬件要求

機(jī)器準(zhǔn)備

注：這里只是做環(huán)境測(cè)試，故只滿(mǎn)足了官方要求的最低 2 核 2 G

部署步驟

使用 kubeadm 部署 kubernetes 主要有以下四個(gè)步驟：

1. 安裝 Docker （所有主機(jī)）
2. 安裝 Kubeadm（所有主機(jī)）
3. 基礎(chǔ)環(huán)境配置（所有主機(jī)）
4. 創(chuàng)建 Kubernetes 集群

一. 安裝 Docker（所有主機(jī)）

安裝 Docker 引擎，主要執(zhí)行以下步驟：

1. 安裝 Docker 需要的一些系統(tǒng)工具
2. 設(shè)置 Docker 的 yum 倉(cāng)庫(kù)源
3. 安裝并啟動(dòng) Docker
4. 調(diào)整 Docker 部分參數(shù)（主要是配合 Kubernetes 的一些配置）

# 1. 安裝必要的一些系統(tǒng)工具
yum install -y yum-utils device-mapper-persistent-data lvm2

# 2. 設(shè)置 Docker 的 yum 倉(cāng)庫(kù)源（穩(wěn)定存儲(chǔ)庫(kù): 阿里云源）
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 

# 3. 安裝并啟動(dòng) Docker
yum install -y docker-ce
systemctl start docker && systemctl enable docker 

# 4. 調(diào)整 Docker 部分參數(shù)（修改國(guó)內(nèi)鏡像加速: 阿里云鏡像、修改cgroup 驅(qū)動(dòng)）
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
 "registry-mirrors": ["https://pcy9sknd.mirror.aliyuncs.com"],
 "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
systemctl daemon-reload && systemctl restart docker

二. 安裝 Kubeadm（所有主機(jī)）

安裝 Kubeadm 主要有以下三個(gè)步驟：

1. 配置 Kubernetes 的 yum 倉(cāng)庫(kù)源（這里選用阿里的源，你懂的）
2. 安裝 Kubeadm 和相關(guān)工具
3. 啟動(dòng) Kubelet

# 1. 設(shè)置 Kubernetes 的 yum 倉(cāng)庫(kù)源（阿里云源）
tee /etc/yum.repos.d/kubernetes.repo <<-'EOF'
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 2. 安裝 Kubeadm 和相關(guān)工具
yum install -y kubelet kubeadm kubectl

# 3. 啟動(dòng) Kubelet
systemctl start kubelet && systemctl enable kubelet

三. 基礎(chǔ)環(huán)境配置（所有主機(jī)）

基礎(chǔ)環(huán)境配置，主要執(zhí)行以下步驟：

1. 設(shè)置各節(jié)點(diǎn)時(shí)間精確同步
2. 關(guān)閉 firewalld/iptables 防火墻
3. 關(guān)閉 SElinux 安全模組
4. 關(guān)閉 Swap 交換分區(qū)
5. 導(dǎo)入 IPVS 模塊
6. 修改 Bridge 橋接規(guī)則
7. 開(kāi)啟 iptables 的 FORWARD 轉(zhuǎn)發(fā)鏈
8. 配置 Hosts 解析

# 1. 設(shè)置各節(jié)點(diǎn)時(shí)間精確同步
systemctl start chronyd.service && systemctl enable chronyd.service

# 2. 關(guān)閉 firewalld 防火墻（允許 master 和 node 的網(wǎng)絡(luò)通信）
systemctl stop firewalld && systemctl disable firewalld

# 3. 關(guān)閉 SElinux 安全模組（讓容器可以讀取主機(jī)的文件系統(tǒng)）
setenforce 0 && sed -i "s/SELINUX=enforcing$/SELINUX=disabled/g" /etc/selinux/config

# 4.  關(guān)閉 Swap 交換分區(qū)（啟用了 Swap，則 Qos 策略可能會(huì)失效）
swapoff -a && sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab

# 5. 導(dǎo)入 IPVS 模塊（用來(lái)為大量服務(wù)進(jìn)行負(fù)載均衡）
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

# 6.  修改 Bridge 橋接規(guī)則（部分 Docker 安裝時(shí)會(huì)為我們修改，這里統(tǒng)一進(jìn)行手動(dòng)修改）
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF
sysctl --system

# 7. 開(kāi)啟 iptables 的 FORWARD 轉(zhuǎn)發(fā)鏈（Docker 1.13 后禁用了 FORWARD 鏈，這可能會(huì)引起 Pod 間無(wú)法通信）
iptables -P FORWARD ACCEPT
sed -i '/ExecStart/a ExecStartPost=/sbin/iptables -P FORWARD ACCEPT' /usr/
lib/systemd/system/docker.service
systemctl daemon-reload

# 8.  配置 Hosts 解析（添加 k8s 所有節(jié)點(diǎn)的 IP 和對(duì)應(yīng)主機(jī)名，否則初始化的時(shí)候會(huì)出現(xiàn)告警甚至錯(cuò)誤）
tee /etc/hosts <<-'EOF'
::1     localhost       localhost.localdomain   localhost6      localhost6.localdomain6
127.0.0.1       localhost       localhost.localdomain   localhost4      localhost4.localdomain4
192.168.0.123 kube-master
192.168.0.122 kube-node1
192.168.0.121 kube-node2
EOF

# 9. 安裝一些必要的工具（這些工具在以后的命令中會(huì)用到）
yum install -y ipset
yum install -y ipvsadm
yum install -y bind-utils

四. 創(chuàng)建 Kubernetes 集群

創(chuàng)建 Kubernetes 集群主要有兩個(gè)步驟：

1. 初始化 Master 節(jié)點(diǎn)
2. 初始化 Node 節(jié)點(diǎn)

1. 初始化 Master 節(jié)點(diǎn)

初始化 Master 節(jié)點(diǎn)，主要有四個(gè)步驟：

1. 執(zhí)行初始化
2. 復(fù)制(分發(fā))配置文件
3. 安裝 CNI 網(wǎng)絡(luò)插件
4. 檢查 Master 的 Pod 及 集群狀態(tài)

1. 執(zhí)行初始化

• 較少自定義配置時(shí)，采用 配置參數(shù) 的方式進(jìn)行初始化

kubeadm init --kubernetes-version=v1.15.0 \
--pod-network-cidr=<network-segment> \
--image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers

• 較多自定義配置時(shí)，采用配置文件 的方式進(jìn)行初始化

# 獲取默認(rèn)初始化配置文件
kubeadm config print init-defaults > kubeadm-init.yaml

# 修改為自定義初始化配置文件
cat > master-init.yaml << EOF
apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
localAPIEndpoint:
 advertiseAddress: 192.168.0.123
 bindPort: 6443
---
apiVersion: kubeadm.k8s.io/v1beta2
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.15.0
networking:
 dnsDomain: cluster.local
 podSubnet: <network-segment>
EOF

# 執(zhí)行初始化
kubedam init --master-init.yaml

注意：
初始化之后會(huì)安裝網(wǎng)絡(luò)插件，由于各個(gè)網(wǎng)絡(luò)插件使用的網(wǎng)段不一樣，
故需對(duì) 命令中的--pod-network-cidr=<network-segment> 或文件中的 podSubnet: <network-segment> 進(jìn)行自定義配置，
Calico 的默認(rèn)網(wǎng)段：192.168.0.0/16，F(xiàn)lannel 的默認(rèn)網(wǎng)段：10.244.0.0/16

輸出以下內(nèi)容表示成功：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.0.123:6443 --token b0syjo.7q877s663mc1rbni \
    --discovery-token-ca-cert-hash sha256:cdbcbb721002cac7a7b347295922eabe65342e111a67d7f7acce50d0d9d8f27f
// 上面一句是 Node 節(jié)點(diǎn)加入集群的命令，記得保存一下

2. 按照提示，復(fù)制配置文件到普通用戶(hù)目錄

• 非 root 用戶(hù)

# 拷貝配置文件到 Master 節(jié)點(diǎn)
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 分發(fā)配置文件到各 Node 節(jié)點(diǎn)（讓 Node 節(jié)點(diǎn)使用 `kubectl`）
scp /etc/kubernetes/admin.conf KubernetesNode1:~/.kube/config
scp /etc/kubernetes/admin.conf KubernetesNode2:~/.kube/config
# 記得在 Node 上進(jìn)行授權(quán)，sudo chown $(id -u):$(id -g) $HOME/.kube/config

• root 用戶(hù)

# 拷貝配置文件到 Master 節(jié)點(diǎn)
mkdir /root/.kube
cp -i /etc/kubernetes/admin.conf /root/.kube/config

# 分發(fā)配置文件到各 Node 節(jié)點(diǎn)（讓 Node 節(jié)點(diǎn)使用 `kubectl`）
scp /etc/kubernetes/admin.conf KubernetesNode1:/root/.kube/config
scp /etc/kubernetes/admin.conf KubernetesNode2:/root/.kube/config

3. 安裝 CNI 網(wǎng)絡(luò)插件

• Flannel 插件

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

• Calico 插件

kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml

CNI 插件參考：

• Flannel Github - README.md
• Calico 官方文檔 - Quickstart for Calico on Kubernetes
• 更多可以參考：Kubernetes 官方文檔提供的教程 - Installing Addons

4. 檢查 Master 的 Pod 及 集群狀態(tài)

• 使用 kubectl get pod -n kube-system -o wide，查看 Pod 狀態(tài)均為 Runing 即可
• 使用 kubectl get node -o wide，查看 Node 狀態(tài)為 Ready 表示 Master 初始化完成

2. 初始化 Node 節(jié)點(diǎn)

初始化 Node 節(jié)點(diǎn)就比較簡(jiǎn)單了，只有兩步，即：

1. 執(zhí)行初始化
2. 檢查 Node 的 Pod 及 集群狀態(tài)

1. 初始化 Node

使用 Master 初始化時(shí)的命令進(jìn)行初始化即可，Node 節(jié)點(diǎn)初始化后，就直接加入了集群

kubeadm join <master-ip>:6443 --token <token> --discovery-token-ca-cert-hash sha256:<sha256>

注意：沒(méi)有記錄集群 join 命令的可以通過(guò)以下方式重新獲取

sudo kubeadm token create --print-join-command --ttl=0

2. 檢查 Node 的 Pod 及 集群狀態(tài)

• 使用 kubectl get pod -n kube-system -o wide，查看 Pod 狀態(tài)均為 Runing 即可
• 使用 kubectl get node -o wide，查看 所有節(jié)點(diǎn) 狀態(tài)均為 Ready 表示 Master 初始化完成

五. 重置 Kubernetes 集群

重置 Kubernetes 集群，主要的執(zhí)行步驟如下：

1. kubeadm 集群重置
2. iptables 規(guī)則清理
3. ipvs 規(guī)則清理
4. kubernetes 配置文件清理
5. etcd 配置清理
6. cni 網(wǎng)絡(luò)插件清理

kubeadm reset
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
ipvsadm --clear
rm -rf ~/.kube
rm -rf /var/lib/etcd
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/

參考：
https://kubernetes.io/zh/docs/setup/independent/install-kubeadm/
https://k8smeetup.github.io/docs/reference/setup-tools/kubeadm/kubeadm-init/
centos7使用kubeadm安裝部署kubernetes 1.14 - Adrian·Ding - 博客園
CentOS7中用kubeadm安裝Kubernetes-云棲社區(qū)-阿里云