目前,生產(chǎn)環(huán)境部署k8s集群主要有兩種方式:
- kubeadm
Kubeadm 是一個K8s 部署工具,提供kubeadm init 和kubeadm join,用于快速部署Kubernetes 集群。Kubeadm 降低部署門檻,但屏蔽了部署細節(jié)。 - 二進制包
從github 下載發(fā)行版的二進制包,手動部署每個組件,組成Kubernetes 集群。手動部署起來比較麻煩。但是可以根據(jù)自己的需求自定義環(huán)境。
1、環(huán)境準備
| 節(jié)點 | IP地址 |
|---|---|
| master | 192.168.1.51 |
| node1 | 192.168.1.52 |
| node2 | 192.168.1.53 |
2、基礎(chǔ)配置(所有節(jié)點需要配置)
2.1配置hosts文件
[root@master ~]# vi /etc/hosts
192.168.1.51 master
192.168.1.52 node1
192.168.1.53 node2
2.2關(guān)閉防火墻和Selinux
[root@master ~]# systemctl stop firewalld && systemctl disable firewalld
[root@master ~]# setenforce 0
[root@master ~]# vim /etc/sysconfig/selinux
SELINUX=disabled
2.3清空iptables規(guī)則
[root@master ~]# iptables -F
2.4調(diào)整系統(tǒng)內(nèi)核參數(shù)
[root@master ~]# modprobe br_netfilter
[root@master ~]# vim /etc/sysctl.d/kubernetes.conf
net.bridge.bridge-nf-call-iptables=1 #意味著二層的網(wǎng)橋在轉(zhuǎn)發(fā)包時也會被iptables的FORWARD規(guī)則所過濾
net.bridge.bridge-nf-call-ip6tables=1 #意味著ipv6二層的網(wǎng)橋在轉(zhuǎn)發(fā)包時也會被iptables的FORWARD規(guī)則所過濾
net.ipv4.ip_forward=1 #開啟IP轉(zhuǎn)發(fā)功能
net.ipv4.tcp_tw_recycle=0 #開啟TCP連接中TIME-WAIT sockets的快速回收
vm.swappiness=0 #禁止使用 swap 空間,只有當(dāng)系統(tǒng) OOM 時才允許使用它
vm.overcommit_memory=1 #不檢查物理內(nèi)存是否夠用
vm.panic_on_oom=0 #開啟 OOM
fs.inotify.max_user_instances=8192 #表示每一個user ID可創(chuàng)建的inotify instatnces的數(shù)量上限,默認128
fs.inotify.max_user_watches=1048576 #表示同一用戶同時可以添加的watch數(shù)目(watch一般是針對目錄,決定了同時同一用戶可以監(jiān)控的目錄數(shù)量)
fs.file-max=52706963 #系統(tǒng)所有進程一共可以打開的文件數(shù)量fs.nr_open=52706963 #一個進程可以打開的最大文件數(shù)
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
[root@master ~]# sysctl -p /etc/sysctl.d/kubernetes.conf
2.5設(shè)置rsyslogd和systemd journald
[root@master ~]# mkdir /var/log/journal
[root@master ~]# mkdir /etc/systemd/journald.conf.d
[root@master ~]# vim /etc/systemd/journald.conf.d/99-prophet.conf
[Journal]
Storage=persistent # 持久化保存到磁盤
Compress=yes # 壓縮歷史日志
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
SystemMaxUse=10G # 最大占用空間 10G
SystemMaxFileSize=200M # 單日志文件最大 200M
MaxRetentionSec=2week # 日志保存時間 2 周
ForwardToSyslog=no # 不將日志轉(zhuǎn)發(fā)到 syslog
[root@master ~]# systemctl restart systemd-journald
2.6開啟ipvs
[root@master ~]# vim /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
[root@master ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
2.7關(guān)閉swap分區(qū)
[root@master ~]# vim /etc/fstab
#/dev/mapper/centos-swap swap swap defaults 0 0
[root@master ~]# mount -a
[root@master ~]# swapoff -a
2.8配置yum源
自行配置國內(nèi)源,包括epel源,docker-ce源,kubernets源
我這里配置的為阿里云的源https://developer.aliyun.com/mirror/
2.9安裝所需軟件
[root@master ~]# yum -y install docker-ce kubeadm kubelet kubectl
Installed:
docker-ce.x86_64 3:20.10.10-3.el7 kubeadm.x86_64 0:1.22.3-0 kubectl.x86_64 0:1.22.3-0 kubelet.x86_64 0:1.22.3-0
yum list [包名] --showduplicates 用于查詢一個軟件包鏡像源中所支持的版本
yum -y install --setopt=obsoletes=0 [包全名] 用于安裝一個特定版本的軟件包
2.10配置docker
[root@master ~]# mkdir /etc/docker
[root@master ~]# vim /etc/docker/daemon.json
{
"registry-mirrors": ["docker加速器地址"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
}
}
"/etc/docker/daemon.json" [New] 8L, 174C written
[root@master ~]# systemctl daemon-reload && systemctl restart docker && systemctl enable docker
2.11設(shè)置kubelet開機自啟
[root@master ~]# systemctl enable kubelet
3、部署k8s集群
3.1部署master節(jié)點(master節(jié)點操作)
[root@master ~]# kubeadm init --image-repository registry.aliyuncs.com/google_containers --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16
Your Kubernetes control-plane has initialized successfully!
--image-repository registry.aliyuncs.com/google_containers 出于某些原因,鏡像倉庫配置阿里云的google_containers
--service-cidr=10.96.0.0/12 集群地址為10.96.0.0/12
--pod-network-cidr=10.244.0.0/16 pod地址為10.244.0.0/16
3.2配置master
[root@master ~]# mkdir -p $HOME/.kube
[root@master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
按照master節(jié)點集群初始化成功的輸出,配置認證信息,具有操作k8s集群的權(quán)限。如果是管理員,可以不用執(zhí)行更改權(quán)限的命令
3.3將node加入集群(node節(jié)點操作)
[root@node1 ~]# kubeadm join 192.168.1.51:6443 --token ej6ikm.24zso8lequk2x73s \
> --discovery-token-ca-cert-hash sha256:1f9d1aa1ac2e9bc2eb6cf7a6c3cb8511233a9bb8b0a25d11ba47f9d158f5390c
[root@node2 ~]# kubeadm join 192.168.1.51:6443 --token ej6ikm.24zso8lequk2x73s \
> --discovery-token-ca-cert-hash sha256:1f9d1aa1ac2e9bc2eb6cf7a6c3cb8511233a9bb8b0a25d11ba47f9d158f5390c
按照master節(jié)點集群初始化成功的輸出,將加入集群的命令復(fù)制在node節(jié)點上執(zhí)行
3.4安裝附件flannel(master節(jié)點操作)
[root@master ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
k8s集群自身不提供網(wǎng)絡(luò),網(wǎng)絡(luò)需要通過附件的形式進行提供,必須是overlay的網(wǎng)絡(luò),這里用的是flannel的網(wǎng)絡(luò)
3.5驗證環(huán)境
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 11m v1.22.3
node1 Ready <none> 9m24s v1.22.3
node2 Ready <none> 9m29s v1.22.3