kubernetes 入門

我來深入學習下 kubernetes 的集群架構及環(huán)境搭建以及運行一個簡單 docker 容器。

2.1 K8S集群架構方案

kubernetes集群架構

Kubernetes 集群組件：

• etcd 一個高可用的K/V鍵值對存儲和服務發(fā)現(xiàn)系統(tǒng)
• flannel 實現(xiàn)跨主機的容器網(wǎng)絡的通信
• kube-apiserver 提供kubernetes集群的API調(diào)用
• kube-controller-manager 確保集群服務
• kube-scheduler 調(diào)度容器，分配到Node
• kubelet 在Node節(jié)點上按照配置文件中定義的容器規(guī)格啟動容器
• kube-proxy 提供網(wǎng)絡代理服務

Kubernetes 集群部署方案

如下是集群部署策略，1個master + 2個node。存儲集群etcd是單點集群（真實環(huán)境不推薦此做法，需要集群）。網(wǎng)絡使用的是flannel虛擬二次網(wǎng)絡。

K8s集群部署架構

Kubernetes具有完備的集群管理能力：

1. 包括多層次的安全防護和準入機制
2. 多租戶應用支撐能力
3. 透明的服務注冊和服務發(fā)現(xiàn)機制
4. 內(nèi)建智能負載均衡器
5. 強大的故障發(fā)現(xiàn)和自我修復能力
6. 服務滾動升級和在線擴容能力
7. 可擴展的資源自動調(diào)度機制
8. 以及多粒度的資源管理能力

同時，kubernetes提供了完善的管理工具，這些工具涵蓋了包括開發(fā)、部署測試、運維監(jiān)控在內(nèi)的各個環(huán)節(jié)。

在kubernetes中，service（服務）是分布式集群架構的核心，一個service對象擁有如下關鍵特征：
擁有一個唯一指定的名字（比如mysql-service）。
擁有一個虛擬IP（Cluster IP、service IP或VIP）和端口號。
能夠提供某種遠程服務能力。
被映射到了提供這種服務能力的一組容器應用上。

Kubernetes.io開發(fā)了一個交互式教程，通過WEB瀏覽器就能使用預先部署好的一個Kubernetes集群，快速體驗kubernetes的功能和應用場景。

鏈接：https://kubernetes.io/docs/tutorials/kubernetes-basics/

K8s官方下載地址：https://github.com/kubernetes

環(huán)境準備

集群詳情

• OS：CentOS Linux release 7.3.1611 (Core) 3.10.0-514.el7.x86_64
• Kubernetes 1.6.0+（最低的版本要求是1.6）
• Docker：建議使用 Docker CE
• Etcd 3.3.10
• Flannel 0.7.1 vxlan或者host-gw 網(wǎng)絡
• TLS 認證通信 (所有組件，如 etcd、kubernetes master 和 node)
• RBAC 授權
• kubelet TLS BootStrapping
• kubedns、dashboard、heapster(influxdb、grafana)、EFK(elasticsearch、fluentd、kibana) 集群插件

環(huán)境說明

在下面的步驟中，我們將在三臺CentOS系統(tǒng)的物理機上部署具有三個節(jié)點的kubernetes1.12.3集群。

角色分配如下：
Master：192.168.1.10

Node：192.168.1.11、192.168.1.12

注意：192.168.1.10 這臺主機 master 和 node 復用。所有生成證書、執(zhí)行 kubectl 命令的操作都在這臺節(jié)點上執(zhí)行。一旦 node 加入到 kubernetes 集群之后就不需要再登陸node節(jié)點了。

1.1 集群環(huán)境搭建

本文檔介紹使用二進制部署最新 kubernetes v1.12.3 集群的所有步驟，而不是使用 kubeadm 等自動化方式來部署集群。

在部署的過程中，將詳細列出各組件的啟動參數(shù)，它們的含義和可能遇到的問題。

部署完成后，你將理解系統(tǒng)各組件的交互原理，進而能快速解決實際問題。

所以本文檔主要適合于那些有一定 kubernetes 基礎，想通過一步步部署的方式來學習和了解系統(tǒng)配置、運行原理的人。

1.2.1 組件版本和配置策略

1.2.1.1 組件版本

• Kubernetes 1.12.3
• Docker 18.09.0-ce
• Etcd 3.3.10
• Flanneld 0.10.0
  插件：
• Coredns
• Dashboard
• Heapster (influxdb、grafana)
• Metrics-Server
• EFK (elasticsearch、fluentd、kibana)
  鏡像倉庫：
• docker registry

1.2.1.2 主要配置策略

kube-apiserver：

• 使用節(jié)點本地 nginx 4 層透明代理實現(xiàn)高可用；
• 關閉非安全端口 8080 和匿名訪問；
• 在安全端口 6443 接收 https 請求；
• 嚴格的認證和授權策略 (x509、token、RBAC)；
• 開啟 bootstrap token 認證，支持 kubelet TLS bootstrapping；
• 使用 https 訪問 kubelet、etcd，加密通信；

kube-controller-manager：

• 3 節(jié)點高可用；
• 關閉非安全端口，在安全端口 10252 接收 https 請求；
• 使用 kubeconfig 訪問 apiserver 的安全端口；
• 自動 approve kubelet 證書簽名請求 (CSR)，證書過期后自動輪轉(zhuǎn)；
• 各 controller 使用自己的 ServiceAccount 訪問 apiserver；

kube-scheduler：

• 3 節(jié)點高可用；
• 使用 kubeconfig 訪問 apiserver 的安全端口；

kubelet：

• 使用 kubeadm 動態(tài)創(chuàng)建 bootstrap token，而不是在 apiserver 中靜態(tài)配置；
• 使用 TLS bootstrap 機制自動生成 client 和 server 證書，過期后自動輪轉(zhuǎn)；
• 在 KubeletConfiguration 類型的 JSON 文件配置主要參數(shù)；
• 關閉只讀端口，在安全端口 10250 接收 https 請求，對請求進行認證和授權，拒絕匿名訪問和非授權訪問；
• 使用 kubeconfig 訪問 apiserver 的安全端口；

kube-proxy：

• 使用 kubeconfig 訪問 apiserver 的安全端口；
• 在 KubeProxyConfiguration 類型的 JSON 文件配置主要參數(shù)；
• 使用 ipvs 代理模式；

集群插件：

• DNS：使用功能、性能更好的 coredns；
• Dashboard：支持登錄認證；
• Metric：heapster、metrics-server，使用 https 訪問 kubelet 安全端口；
• Log：Elasticsearch、Fluend、Kibana；
• Registry 鏡像庫：docker-registry、harbor；
  harbor私有鏡像倉庫：參考：https://github.com/goharbor/harbor

1.2.2 系統(tǒng)初始化和全局變量

1.2.2.1 集群機器

master：192.168.1.10
node1：192.168.1.11
node2：192.168.1.12

注意：

1. 需要在所有機器上執(zhí)行本文檔的初始化命令；
2. 需要使用具有 root 權限的賬號執(zhí)行這些命令。

1.2.2.2 主機名

設置永久主機名稱，然后重新登錄:
hostnamectl set-hostname master # 將 master 替換為當前主機名
設置的主機名保存在 /etc/hostname 文件中；
如果 DNS 不支持解析主機名稱，則需要修改每臺機器的 /etc/hosts 文件，添加主機名和 IP 的對應關系：

cat >> /etc/hosts <<EOF
192.168.1.10 master
192.168.1.11 node1
192.168.1.12 node2
EOF

1.2.2.3 添加 docker 賬戶

在每臺機器上添加 docker 賬戶：
useradd -m docker

1.2.2.4 無密碼 ssh 登錄其它節(jié)點

如果沒有特殊指明，本文所有操作均在 master 節(jié)點上執(zhí)行，然后遠程分發(fā)文件和執(zhí)行命令，所以需要添加該節(jié)點到其它節(jié)點的 ssh 信任關系。
設置 master 可以無密碼登錄所有節(jié)點的 root 賬戶：

ssh-keygen -t rsa
ssh-copy-id root@master
ssh-copy-id root@node1
ssh-copy-id root@node2

在這里卡了很久，也不知道之前搭建hadoop集群的時候為什么沒有遇到的問題在這里出現(xiàn)。使用ssh-copy-id時報ERROR: Host key verification failed.。由于找不到問題原因，只能耍賴將/etc/ssh/ssh_config內(nèi)的 StrictHostKeyChecking 值改為 no來跳過報錯。

1.2.2.5 將可執(zhí)行文件路徑 /opt/k8s/bin 添加到 PATH 變量中

在每臺機器上添加環(huán)境變量：

echo 'PATH=/opt/k8s/bin:$PATH' >>/root/.bashrc
source /root/.bashrc

1.2.2.6 安裝依賴包

在每臺機器上安裝依賴包：

yum install -y epel-release
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget
/usr/sbin/modprobe ip_vs

如果報Cannot retrieve metalink for repository: epel/x86_64. Please verify its path and try again。 請參考https://www.cnblogs.com/itor/p/11613783.html

• ipvs 依賴 ipset；
• ntp 保證各機器系統(tǒng)時間同步；

1.2.2.7 關閉防火墻

在每臺機器上關閉防火墻，清理防火墻規(guī)則，設置默認轉(zhuǎn)發(fā)策略：

systemctl stop firewalld
systemctl disable firewalld
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat
iptables -P FORWARD ACCEPT

1.2.2.8 關閉swap分區(qū)

如果開啟了 swap 分區(qū)，kubelet 會啟動失敗(可以通過將參數(shù) --fail-swap-on 設置為 false 來忽略 swap on)，故需要在每臺機器上關閉 swap 分區(qū)。同時注釋 /etc/fstab 中相應的條目，防止開機自動掛載 swap 分區(qū)：

swapoff -a
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

1.2.2.9 關閉 SELinux

關閉 SELinux，否則后續(xù) K8S 掛載目錄時可能報錯 Permission denied：

setenforce 0
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

1.2.2.10 關閉 dnsmasq（可選）

linux 系統(tǒng)開啟了 dnsmasq 后(如 GUI 環(huán)境)，將系統(tǒng) DNS Server 設置為 127.0.0.1，這會導致 docker 容器無法解析域名，需要關閉它：

systemctl stop dnsmasq
systemctl disable dnsmasq

1.2.2.11 加載內(nèi)核模塊

modprobe ip_vs_rr
modprobe br_netfilter

1.2.2.12 優(yōu)化內(nèi)核參數(shù)

這一步如果執(zhí)行有一些報錯不用理會，繼續(xù)往下執(zhí)行。

cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空間，只有當系統(tǒng) OOM 時才允許使用它
vm.overcommit_memory=1 # 不檢查物理內(nèi)存是否夠用
vm.panic_on_oom=0 # 開啟 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
cp kubernetes.conf  /etc/sysctl.d/kubernetes.conf
sysctl -p /etc/sysctl.d/kubernetes.conf

• 必須關閉 tcp_tw_recycle，否則和 NAT 沖突，會導致服務不通；
• 關閉 IPV6，防止觸發(fā) docker BUG；

1.2.2.13 設置系統(tǒng)時區(qū)

# 調(diào)整系統(tǒng) TimeZone
timedatectl set-timezone Asia/Shanghai

# 將當前的 UTC 時間寫入硬件時鐘
timedatectl set-local-rtc 0

# 重啟依賴于系統(tǒng)時間的服務
systemctl restart rsyslog 
systemctl restart crond

1.2.2.14 更新系統(tǒng)時間

ntpdate cn.pool.ntp.org

1.2.2.15 關閉無關的服務

systemctl stop postfix && systemctl disable postfix

1.2.2.16 設置 rsyslogd 和 systemd journal

systemd 的 journald 是 Centos 7 缺省的日志記錄工具，它記錄了所有系統(tǒng)、內(nèi)核、Service Unit 的日志。
相比 systemd，journald 記錄的日志有如下優(yōu)勢：

1. 可以記錄到內(nèi)存或文件系統(tǒng)；(默認記錄到內(nèi)存，對應的位置為 /run/log/jounal)
2. 可以限制占用的磁盤空間、保證磁盤剩余空間；
3. 可以限制日志文件大小、保存的時間；

journald 默認將日志轉(zhuǎn)發(fā)給 rsyslog，這會導致日志寫了多份，/var/log/messages 中包含了太多無關日志，不方便后續(xù)查看，同時也影響系統(tǒng)性能。

mkdir /var/log/journal # 持久化保存日志的目錄
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盤
Storage=persistent

# 壓縮歷史日志
Compress=yes

SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000

# 最大占用空間 10G
SystemMaxUse=10G

# 單日志文件最大 200M
SystemMaxFileSize=200M

# 日志保存時間 2 周
MaxRetentionSec=2week

# 不將日志轉(zhuǎn)發(fā)到 syslog
ForwardToSyslog=no
EOF
systemctl restart systemd-journald

1.2.2.17 創(chuàng)建相關目錄

創(chuàng)建目錄：
mkdir -p /opt/k8s/{bin,work} /etc/{kubernetes,etcd}/cert

1.2.2.18 檢查系統(tǒng)內(nèi)核和模塊是否適合運行 docker (僅適用于 linux 系統(tǒng)) 可選

curl https://raw.githubusercontent.com/docker/docker/master/contrib/check-config.sh > check-config.sh
bash ./check-config.sh