K8S最全面的企業(yè)部署（上），不信進(jìn)去看就知道啦

typora-root-url: ./
一：基礎(chǔ)集群環(huán)境搭建：
k8s基礎(chǔ)集群環(huán)境主要是運(yùn)行kubernetes管理端服務(wù)以及node節(jié)點(diǎn)上的服務(wù)部署及使用。
Kubernetes設(shè)計(jì)架構(gòu)：

https://www.kubernetes.org.cn/kubernetes%E8%AE%BE%E8%AE%A1%E6%9E%B6%E6%9E%84

CNCF 云原生容器生態(tài)系統(tǒng)概要：

http://dockone.io/article/3006

1.1：k8s高可用集群環(huán)境規(guī)劃信息：
安裝實(shí)際需求，進(jìn)行規(guī)劃與部署相應(yīng)的單master或者多master的高可用k8s運(yùn)行環(huán)境。
1.1.1：?jiǎn)蝝aster：
見(jiàn) kubeadm 安裝k8s


image.png

1.1.2：多master：


image.png

1.1.3：服務(wù)器統(tǒng)計(jì)：


image.png

1.2：主機(jī)名設(shè)置：


image.png

1.3：軟件清單：
見(jiàn)當(dāng)前目錄下 kubernetes軟件清單
API端口：

端口：192.168.7.248：6443 #需要配置在負(fù)載均衡上實(shí)現(xiàn)反向代理，dashboard的端口為8443
操作系統(tǒng)：ubuntu server 1804
k8s版本： 1.13.5
calico：3.4.4

1.4：基礎(chǔ)環(huán)境準(zhǔn)備：

http://releases.ubuntu.com/

系統(tǒng)主機(jī)名配置、IP配置、系統(tǒng)參數(shù)優(yōu)化，以及依賴(lài)的負(fù)載均衡和Harbor部署
1.4.1：系統(tǒng)配置：
主機(jī)名等系統(tǒng)配置略
1.4.2：高可用負(fù)載均衡：
k8s高可用反向代理

參見(jiàn)博客http://blogs.studylinux.net/?p=4579

1.4.2.1：keepalived：

root@k8s-ha1:~# cat /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 1
priority 100
advert_int 3
unicast_src_ip 192.168.7.108
unicast_peer {
192.168.7.109
}
authentication {
auth_type PASS
auth_pass 123abc
}
virtual_ipaddress {
192.168.7.248 dev eth0 label eth0:1
}
}

1.4.2.2：haproxy：

listen k8s_api_nodes_6443
bind 192.168.7.248:6443
mode tcp
#balance leastconn
server 192.168.7.101 192.168.7.101:6443 check inter 2000 fall 3 rise 5
#server 192.168.100.202 192.168.100.202:6443 check inter 2000 fall 3 rise 5

1.4.3：Harbor之https：
內(nèi)部鏡像將統(tǒng)一保存在內(nèi)部Harbor服務(wù)器，不再通過(guò)互聯(lián)網(wǎng)在線下載。

root@k8s-harbor1:/usr/local/src/harbor# pwd
/usr/local/src/harbor
root@k8s-harbor1:/usr/local/src/harbor# mkdir certs/
# openssl genrsa -out /usr/local/src/harbor/certs/harbor-ca.key #生成私有key
# openssl req -x509 -new -nodes -key /usr/local/src/harbor/certs/harbor-ca.key -subj
"/CN=harbor.magedu.net" -days 7120 -out /usr/local/src/harbor/certs/harbor-ca.crt #簽證
# vim harbor.cfg
hostname = harbor.magedu.net
ui_url_protocol = https
ssl_cert = /usr/local/src/harbor/certs/harbor-ca.crt
ssl_cert_key = /usr/local/src/harbor/certs/harbor-ca.key
harbor_admin_password = 123456
# ./install.sh

client 同步在crt證書(shū)：

master1:~# mkdir /etc/docker/certs.d/harbor.magedu.net -p
harbor1:~# scp /usr/local/src/harbor/certs/harbor-ca.crt
192.168.7.101:/etc/docker/certs.d/harbor.magedu.net
master1:~# vim /etc/hosts #添加host文件解析
192.168.7.103 harbor.magedu.net
master1:~# systemctl restart docker #重啟docker

測(cè)試登錄harbor：

root@k8s-master1:~# docker login harbor.magedu.net
Username: admin
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded

測(cè)試push鏡像到harbor：

master1:~# docker pull alpine
root@k8s-master1:~# docker tag alpine harbor.magedu.net/library/alpine:linux36
root@k8s-master1:~# docker push harbor.magedu.net/library/alpine:linux36
The push refers to repository [harbor.magedu.net/library/alpine]
256a7af3acb1: Pushed
linux36: digest:
sha256:97a042bf09f1bf78c8cf3dcebef94614f2b95fa2f988a5c07314031bc2570c7a size: 528

1.5：手動(dòng)二進(jìn)制部署：

見(jiàn) k8s 1.11 ubuntu1804部署文檔

1.6：ansible部署：
1.6.1：基礎(chǔ)環(huán)境準(zhǔn)備：

# apt-get install python2.7
# ln -s /usr/bin/python2.7 /usr/bin/python
# apt-get install git ansible -y
# ssh-keygen #生成密鑰對(duì)
# apt-get install sshpass #ssh同步公鑰到各k8s服務(wù)器
#分發(fā)公鑰腳本：
root@k8s-master1:~# cat scp.sh
#!/bin/bash
#目標(biāo)主機(jī)列表
IP="
192.168.7.101
192.168.7.102
192.168.7.103
192.168.7.104
192.168.7.105
192.168.7.106
192.168.7.107
192.168.7.108
192.168.7.109
192.168.7.110
192.168.7.111
"
for node in ${IP};do
  sshpass -p 123456 ssh-copy-id ${node} -o StrictHostKeyChecking=no
  if [ $? -eq 0 ];then
    echo "${node} 秘鑰copy完成"
  else
    echo "${node} 秘鑰copy失敗"
fi
done

#同步docker證書(shū)腳本：
#!/bin/bash
#目標(biāo)主機(jī)列表
IP="
192.168.7.101
192.168.7.102
192.168.7.103
192.168.7.104
192.168.7.105
192.168.7.106
192.168.7.107
192.168.7.108
192.168.7.109
192.168.7.110
192.168.7.111
"
for node in ${IP};do
  sshpass -p 123456 ssh-copy-id ${node} -o StrictHostKeyChecking=no
  if [ $? -eq 0 ];then
  echo "${node} 秘鑰copy完成"

  echo "${node} 秘鑰copy完成,準(zhǔn)備環(huán)境初始化....."
      ssh ${node} "mkdir /etc/docker/certs.d/harbor.magedu.net -p"
      echo "Harbor 證書(shū)目錄創(chuàng)建成功!"
       scp /etc/docker/certs.d/harbor.magedu.net/harbor-ca.crt
${node}:/etc/docker/certs.d/harbor.magedu.net/harbor-ca.crt
        echo "Harbor 證書(shū)拷貝成功!"
        scp /etc/hosts ${node}:/etc/hosts
        echo "host 文件拷貝完成"
        scp -r /root/.docker ${node}:/root/
        echo "Harbor 認(rèn)證文件拷貝完成!"
        scp -r /etc/resolv.conf ${node}:/etc/
else
   echo "${node} 秘鑰copy失敗"
  fi
done

#執(zhí)行腳本同步：
k8s-master1:~# bash scp.sh
root@s2:~# vim ~/.vimrc #取消vim 自動(dòng)縮進(jìn)功能
set paste

1.6.2：clone項(xiàng)目：

# git clone -b 0.6.1 https://github.com/easzlab/kubeasz.git
root@k8s-master1:~# mv /etc/ansible/* /opt/
root@k8s-master1:~# mv kubeasz/* /etc/ansible/
root@k8s-master1:~# cd /etc/ansible/
root@k8s-master1:/etc/ansible# cp example/hosts.m-masters.example ./hosts #復(fù)制hosts模板
文件

1.6.3：準(zhǔn)備hosts文件：

root@k8s-master1:/etc/ansible# pwd
/etc/ansible
root@k8s-master1:/etc/ansible# cp example/hosts.m-masters.example ./hosts
root@k8s-master1:/etc/ansible# cat hosts
# 集群部署節(jié)點(diǎn)：一般為運(yùn)行ansible 腳本的節(jié)點(diǎn)
# 變量 NTP_ENABLED (=yes/no) 設(shè)置集群是否安裝 chrony 時(shí)間同步
[deploy]
192.168.7.101 NTP_ENABLED=no
# etcd集群請(qǐng)?zhí)峁┤缦翹ODE_NAME，注意etcd集群必須是1,3,5,7...奇數(shù)個(gè)節(jié)點(diǎn)
[etcd]
192.168.7.105 NODE_NAME=etcd1
192.168.7.106 NODE_NAME=etcd2
192.168.7.107 NODE_NAME=etcd3
[new-etcd] # 預(yù)留組，后續(xù)添加etcd節(jié)點(diǎn)使用
#192.168.7.x NODE_NAME=etcdx

[kube-master]
192.168.7.101
[new-master] # 預(yù)留組，后續(xù)添加master節(jié)點(diǎn)使用
#192.168.7.5
[kube-node]
192.168.7.110
[new-node] # 預(yù)留組，后續(xù)添加node節(jié)點(diǎn)使用
#192.168.7.xx
# 參數(shù) NEW_INSTALL：yes表示新建，no表示使用已有harbor服務(wù)器
# 如果不使用域名，可以設(shè)置 HARBOR_DOMAIN=""
[harbor]
#192.168.7.8 HARBOR_DOMAIN="harbor.yourdomain.com" NEW_INSTALL=no
# 負(fù)載均衡(目前已支持多于2節(jié)點(diǎn)，一般2節(jié)點(diǎn)就夠了) 安裝 haproxy+keepalived
[lb]
192.168.7.1 LB_ROLE=backup
192.168.7.2 LB_ROLE=master

#【可選】外部負(fù)載均衡，用于自有環(huán)境負(fù)載轉(zhuǎn)發(fā) NodePort 暴露的服務(wù)等
[ex-lb]
#192.168.7.6 LB_ROLE=backup EX_VIP=192.168.7.250
#192.168.7.7 LB_ROLE=master EX_VIP=192.168.7.250
[all:vars]
# ---------集群主要參數(shù)---------------
#集群部署模式：allinone, single-master, multi-master
DEPLOY_MODE=multi-master
#集群主版本號(hào)，目前支持: v1.8, v1.9, v1.10，v1.11, v1.12, v1.13
K8S_VER="v1.13"
# 集群 MASTER IP即 LB節(jié)點(diǎn)VIP地址，為區(qū)別與默認(rèn)apiserver端口，設(shè)置VIP監(jiān)聽(tīng)的服務(wù)端口8443
# 公有云上請(qǐng)使用云負(fù)載均衡內(nèi)網(wǎng)地址和監(jiān)聽(tīng)端口
MASTER_IP="192.168.7.248"
KUBE_APISERVER="https://{{ MASTER_IP }}:6443"
# 集群網(wǎng)絡(luò)插件，目前支持calico, flannel, kube-router, cilium
CLUSTER_NETWORK="calico"
# 服務(wù)網(wǎng)段 (Service CIDR），注意不要與內(nèi)網(wǎng)已有網(wǎng)段沖突
SERVICE_CIDR="10.20.0.0/16"
# POD 網(wǎng)段 (Cluster CIDR），注意不要與內(nèi)網(wǎng)已有網(wǎng)段沖突
CLUSTER_CIDR="172.31.0.0/16"
# 服務(wù)端口范圍 (NodePort Range)
NODE_PORT_RANGE="20000-60000"
# kubernetes 服務(wù) IP (預(yù)分配，一般是 SERVICE_CIDR 中第一個(gè)IP)
CLUSTER_KUBERNETES_SVC_IP="10.20.0.1"
# 集群 DNS 服務(wù) IP (從 SERVICE_CIDR 中預(yù)分配)
CLUSTER_DNS_SVC_IP="10.20.254.254"
# 集群 DNS 域名
CLUSTER_DNS_DOMAIN="linux36.local."
# 集群basic auth 使用的用戶(hù)名和密碼
BASIC_AUTH_USER="admin"
BASIC_AUTH_PASS="123456"
# ---------附加參數(shù)--------------------
#默認(rèn)二進(jìn)制文件目錄
bin_dir="/usr/bin"
#證書(shū)目錄
ca_dir="/etc/kubernetes/ssl"
#部署目錄，即 ansible 工作目錄，建議不要修改
base_dir="/etc/ansible"

1.6.4：準(zhǔn)備二進(jìn)制文件：

k8s-master1:/etc/ansible/bin# pwd
/etc/ansible/bin
k8s-master1:/etc/ansible/bin# tar xvf k8s.1-13-5.tar.gz
k8s-master1:/etc/ansible/bin# mv bin/* .

1.6.4：開(kāi)始按步驟部署：
通過(guò)ansible腳本初始化環(huán)境及部署k8s 高可用集群
1.6.4.1：環(huán)境初始化

root@k8s-master1:/etc/ansible# pwd
/etc/ansible
root@k8s-master1:/etc/ansible# ansible-playbook 01.prepare.yml

1.6.4.2：部署etcd集群：
可選更改啟動(dòng)腳本路徑

root@k8s-master1:/etc/ansible# ansible-playbook 02.etcd.yml

各etcd服務(wù)器驗(yàn)證etcd服務(wù)：

root@k8s-etcd1:~# export NODE_IPS="192.168.7.105 192.168.7.106 192.168.7.107"
root@k8s-etcd1:~# for ip in ${NODE_IPS}; do ETCDCTL_API=3 /usr/bin/etcdctl --
endpoints=https://${ip}:2379 --cacert=/etc/kubernetes/ssl/ca.pem --
cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem endpoint health; done
https://192.168.7.105:2379 is healthy: successfully committed proposal: took =
2.198515ms
https://192.168.7.106:2379 is healthy: successfully committed proposal: took =
2.457971ms
https://192.168.7.107:2379 is healthy: successfully committed proposal: took =
1.859514ms

1.6.4.3：部署docker:
可選更改啟動(dòng)腳本路徑，但是docker已經(jīng)提前安裝，因此不需要重新執(zhí)行

root@k8s-master1:/etc/ansible# ansible-playbook 03.docker.yml

1.6.4.4：部署master：
可選更改啟動(dòng)腳本路徑

root@k8s-master1:/etc/ansible# ansible-playbook 04.kube-master.yml

1.6.4.5：部署node：
node節(jié)點(diǎn)必須安裝docker

root@k8s-master1:/etc/ansible# vim roles/kube-node/defaults/main.yml
# 基礎(chǔ)容器鏡像
SANDBOX_IMAGE: "harbor.magedu.net/baseimages/pause-amd64:3.1"
root@k8s-master1:/etc/ansible# ansible-playbook 05.kube-node.yml

1.6.4.5：部署網(wǎng)絡(luò)服務(wù)calico：
可選更改calico服務(wù)啟動(dòng)腳本路徑，csr證書(shū)信息

# docker load -i calico-cni.tar
# docker tag calico/cni:v3.4.4 harbor.magedu.net/baseimages/cni:v3.4.4
# docker push harbor.magedu.net/baseimages/cni:v3.4.4
# docker load -i calico-node.tar
# docker tag calico/node:v3.4.4 harbor.magedu.net/baseimages/node:v3.4.4
# docker push harbor.magedu.net/baseimages/node:v3.4.4

# docker load -i calico-kube-controllers.tar
# docker tag calico/kube-controllers:v3.4.4 harbor.magedu.net/baseimages/kube
controllers:v3.4.4
# docker push harbor.magedu.net/baseimages/kube-controllers:v3.4.4

執(zhí)行部署網(wǎng)絡(luò)：

root@k8s-master1:/etc/ansible# ansible-playbook 06.network.yml

驗(yàn)證calico:

root@k8s-master1:/etc/ansible# calicoctl node status
Calico process is running.
IPv4 BGP status
+---------------+-------------------+-------+----------+-------------+
| PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO |
+---------------+-------------------+-------+----------+-------------+
| 192.168.7.110 | node-to-node mesh | up | 14:22:44 | Established |
+---------------+-------------------+-------+----------+-------------+
IPv6 BGP status
No IPv6 peers found.

kubectl run net-test1 --image=alpine --replicas=4 sleep 360000 #創(chuàng)建pod測(cè)試夸主機(jī)網(wǎng)絡(luò)通信是否正常

1.6.4.6：添加node節(jié)點(diǎn)：

[kube-node]
192.168.7.110
[new-node] # 預(yù)留組，后續(xù)添加node節(jié)點(diǎn)使用
192.168.7.111
root@k8s-master1:/etc/ansible# ansible-playbook 20.addnode.yml

1.6.4.7：添加master節(jié)點(diǎn)：
注釋掉lb，否則無(wú)法下一步

[kube-master]
192.168.7.101
[new-master] # 預(yù)留組，后續(xù)添加master節(jié)點(diǎn)使用
192.168.7.102
root@k8s-master1:/etc/ansible# ansible-playbook 21.addmaster.yml

1.6.4.8：驗(yàn)證當(dāng)前狀態(tài)：

root@k8s-master1:/etc/ansible# calicoctl node status
Calico process is running.
IPv4 BGP status
+---------------+-------------------+-------+----------+-------------+
| PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO |
+---------------+-------------------+-------+----------+-------------+
| 192.168.7.110 | node-to-node mesh | up | 14:22:45 | Established |
| 192.168.7.111 | node-to-node mesh | up | 14:33:24 | Established |
| 192.168.7.102 | node-to-node mesh | up | 14:42:21 | Established |
+---------------+-------------------+-------+----------+-------------+
IPv6 BGP status
No IPv6 peers found.
root@k8s-master1:/etc/ansible# kubectl get nodes
NAME STATUS ROLES AGE VERSION
192.168.7.101 Ready,SchedulingDisabled master 37m v1.13.5
192.168.7.102 Ready,SchedulingDisabled master 41s v1.13.5
192.168.7.110 Ready node 33m v1.13.5
192.168.7.111 Ready node 15m v1.13.5

未完待續(xù)?。。?/p>

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • k8s源碼集群搭建 集群搭建： 1、生產(chǎn)環(huán)境k8s平臺(tái)規(guī)劃 老男孩老師文檔 ： https://www.cnblo...
    呆呆了閱讀 1,278評(píng)論 0贊 3
  • 1.規(guī)劃信息 1.1架構(gòu)示意圖 1.2服務(wù)器規(guī)劃 功能IP描述K8S Master 2臺(tái)192.168.7.101...
    趙國(guó)志_Morin閱讀 2,319評(píng)論 2贊 0
  • KubeOperator 支持兩種 Kubernetes 集群部署方式，一種是手動(dòng)模式，另外一種是自動(dòng)模式。手動(dòng)模...
    do_young閱讀 1,686評(píng)論 0贊 10
  • 一. 官方提供的三種部署方式 minikube Minikube是一個(gè)工具，可以在本地快速運(yùn)行一個(gè)單點(diǎn)的Kuber...
    六弦極品閱讀 1,681評(píng)論 0贊 2
  • 我是黑夜里大雨紛飛的人啊 1 “又到一年六月，有人笑有人哭，有人歡樂(lè)有人憂愁，有人驚喜有人失落，有的覺(jué)得收獲滿(mǎn)滿(mǎn)有...
    陌忘宇閱讀 8,849評(píng)論 28贊 54

友情鏈接更多精彩內(nèi)容