Centos7 安装部署 Kubernetes(k8s) 高可用集群

目录

• 一.系统环境

• 二.前言

• 三.Kubernetes(k8s)高可用简介

• 四.配置机器基本环境

• 五.部署haproxy负载均衡器

• 六.部署etcd集群

• 七.部署Kubernetes(k8s) master HA

• 7.1 配置docker

• 7.2 安装kubelet，kubeadm，kubectl

• 7.3 kubeadm初始化

• 7.4 添加master/worker节点到k8s集群

• 7.5 部署CNI网络插件calico

• 7.6 配置kubectl命令tab键自动补全

• 八.测试k8s的两个master节点数据是否能同步

• 九.使用客户端访问k8s集群

• 十.测试Kubernetes(k8s)集群高可用

• 十一.总结

一.系统环境

本文主要基于Kubernetes1.23.1和Linux操作系统CentOS7.4。

服务器版本	docker软件版本	Kubernetes(k8s)集群版本	CPU架构
CentOS Linux release 7.4.1708 (Core)	Docker version 20.10.14	v1.23.1	x86_64

Kubernetes高可用集群总体架构图：

Kubernetes高可用集群架构图描述：

Kubernetes(k8s)配置文件是放在etcd集群里的，2个Kubernetes master节点都连接到etcd集群，就可以保证Kubernetes的master节点

数据同步，信息对等，我们刚开始是连接到Kubernetes的master1上的，master1出现故障之后，还需要手动切换连接到master2上，我

们可以使用haproxy做负载均衡器，我们连接到haproxy后，haproxy会把请求转发到后端realserver(master1和master2)，master1故

障之后，haproxy检测到master1故障，会把请求转发给master2，如果害怕haproxy故障，可以使用Keepalive做haproxy的高可用，我

们连接Keepalive的VIP即可。

由于机器有限，我们本次Kubernetes高可用集群架构图如下：

Kubernetes高可用集群架构：k8sbalancemaster1作为master1节点，k8sbalancemaster2作为master2节点，k8sbalanceworker1作为worker节点，k8sbalanceetcd1作为etcd服务器，k8sbalanceetcd2作为etcd服务器，k8sbalancehaproxy1作为HAProxy服务器。

服务器	操作系统版本	CPU架构	进程	功能描述
k8sbalancehaproxy1/192.168.110.134	CentOS Linux release 7.4.1708 (Core)	x86_64	haproxy	HAProxy负载均衡器
k8sbalanceetcd1/192.168.110.135	CentOS Linux release 7.4.1708 (Core)	x86_64	etcd	etcd服务器
k8sbalanceetcd2/192.168.110.136	CentOS Linux release 7.4.1708 (Core)	x86_64	etcd	etcd服务器
k8sbalancemaster1/192.168.110.137	CentOS Linux release 7.4.1708 (Core)	x86_64	docker，kube-apiserver，kube-scheduler，kube-controller-manager，kubelet，kube-proxy，coredns，calico	k8s master1节点
k8sbalancemaster2/192.168.110.138	CentOS Linux release 7.4.1708 (Core)	x86_64	docker，kube-apiserver，kube-scheduler，kube-controller-manager，kubelet，kube-proxy，coredns，calico	k8s master2节点
k8sbalanceworker1/192.168.110.139	CentOS Linux release 7.4.1708 (Core)	x86_64	docker，kubelet，kube-proxy，calico	k8s worker节点

二.前言

Kubernetes是一个开源的容器编排平台，用于自动化地部署、扩展和管理容器化应用程序。在生产环境中，为了确保集群的高可用性，我们需要使用多个Master节点来实现冗余和故障切换。

关于Kubernetes(k8s)单master集群的安装部署，可以查看博客《Centos7 安装部署Kubernetes(k8s)集群》https://www.cnblogs.com/renshengdezheli/p/16686769.html。

三.Kubernetes(k8s)高可用简介

Kubernetes高可用集群由多个Master节点组成，每个Master节点都能够处理用户请求并执行相关操作。当任一Master节点发生故障时，其他节点可以接管其职责，从而保证整个集群的稳定运行。

本文将使用以下主要步骤来实现Kubernetes高可用集群：

• 准备环境：安装所需的软件包和依赖项。

• 配置负载均衡器：设置负载均衡器以实现流量的分发和故障切换。

• 配置etcd集群：etcd集群存储k8s的配置文件和集群信息。

• 初始化Master节点：选择一台Master节点，并进行初始化设置。

• 添加额外的Master节点：将其他Master节点加入到集群中。

• 添加worker节点：将worker节点加入到集群中。

• 部署CNI网络插件calico：calico用于节点间的通信和配置网络策略。

• 测试Kubernetes(k8s)的master节点数据同步。

• 测试Kubernetes(k8s)集群的高可用。

四.配置机器基本环境

本次Kubernetes高可用集群共6台机器，我们先把6台机器都配置好基本环境，后面部署应用才会顺风顺水。

先配置各个节点的基本环境，6个节点都要同时设置，在此以k8sbalancehaproxy1节点作为示例。

首先设置主机名。

[root@localhost ~]# vim /etc/hostname[root@localhost ~]# cat /etc/hostnamek8sbalancehaproxy1

查看默认的IP地址。

[root@localhost ~]# ifconfigens32: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.110.134  netmask 255.255.255.0  broadcast 192.168.110.255
        inet6 fe80::20c:29ff:fe09:7e88  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:09:7e:88  txqueuelen 1000  (Ethernet)
        RX packets 11476  bytes 4296221 (4.0 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 9366  bytes 6197543 (5.9 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1  (Local Loopback)
        RX packets 4020  bytes 239760 (234.1 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 4020  bytes 239760 (234.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

配置节点IP地址（可选），网卡配置详解，请查看博客《centos 7网卡配置文件详解（ifcfg-ens33）》。

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens32[root@localhost ~]# cat  /etc/sysconfig/network-scripts/ifcfg-ens32TYPE=EthernetBOOTPROTO=staticNAME=ens32DEVICE=ens32ONBOOT=yesDNS1=114.114.114.114IPADDR=192.168.110.134NETMASK=255.255.255.0GATEWAY=192.168.110.2ZONE=trusted

重启网络。

[root@localhost ~]# service network restartRestarting network (via systemctl):                        [  确定  ][root@localhost ~]# systemctl restart NetworkManager

重启机器之后，主机名变为k8sbalancehaproxy1。

测试机器是否可以访问网络。

[root@k8sbalancehaproxy1 ~]# ping www.baidu.comPING www.a.shifen.com (14.215.177.39) 56(84) bytes of data.64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=34.1 ms64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=34.2 ms64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=3 ttl=128 time=41.9 ms
^C
--- www.a.shifen.com ping statistics ---3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 34.123/36.765/41.958/3.672 ms

配置IP和主机名映射，其他节点的/etc/hosts文件内容也要一样。

[root@k8sbalancehaproxy1 ~]# vim /etc/hosts[root@k8sbalancehaproxy1 ~]# cat /etc/hosts127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.110.134 k8sbalancehaproxy1192.168.110.135 k8sbalanceetcd1192.168.110.136 k8sbalanceetcd2192.168.110.137 k8sbalancemaster1192.168.110.138 k8sbalancemaster2192.168.110.139 k8sbalanceworker1

可以ping通其他5个节点则成功。

[root@k8sbalancehaproxy1 ~]# ping k8sbalancehaproxy1PING k8sbalancehaproxy1 (192.168.110.134) 56(84) bytes of data.64 bytes from k8sbalancehaproxy1 (192.168.110.134): icmp_seq=1 ttl=64 time=0.041 ms64 bytes from k8sbalancehaproxy1 (192.168.110.134): icmp_seq=2 ttl=64 time=0.034 ms64 bytes from k8sbalancehaproxy1 (192.168.110.134): icmp_seq=3 ttl=64 time=0.023 ms
^C
--- k8sbalancehaproxy1 ping statistics ---3 packets transmitted, 3 received, 0% packet loss, time 2000ms
rtt min/avg/max/mdev = 0.023/0.032/0.041/0.009 ms[root@k8sbalancehaproxy1 ~]# ping k8sbalanceetcd1PING k8sbalanceetcd1 (192.168.110.135) 56(84) bytes of data.64 bytes from k8sbalanceetcd1 (192.168.110.135): icmp_seq=1 ttl=64 time=0.606 ms64 bytes from k8sbalanceetcd1 (192.168.110.135): icmp_seq=2 ttl=64 time=0.438 ms
^C
--- k8sbalanceetcd1 ping statistics ---2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.438/0.522/0.606/0.084 ms[root@k8sbalancehaproxy1 ~]# ping k8sbalanceetcd2[root@k8sbalancehaproxy1 ~]# ping k8sbalancemaster1[root@k8sbalancehaproxy1 ~]# ping k8sbalancemaster2[root@k8sbalancehaproxy1 ~]# ping k8sbalanceworker1

关闭屏保。

[root@k8sbalancehaproxy1 ~]# setterm -blank 0

下载新的yum源。

[root@k8sbalancehaproxy1 ~]# rm -rf /etc/yum.repos.d/* ;wget ftp://ftp.rhce.cc/k8s/* -P /etc/yum.repos.d/--2022-04-09 17:48:37--  ftp://ftp.rhce.cc/k8s/*           => “/etc/yum.repos.d/.listing”
正在解析主机 ftp.rhce.cc (ftp.rhce.cc)... 101.37.152.41
正在连接 ftp.rhce.cc (ftp.rhce.cc)|101.37.152.41|:21... 已连接。
正在以 anonymous 登录 ... 登录成功！......100%[=======================================================================================================================================================================>] 276         --.-K/s 用时 0s      

2022-04-09 17:48:40 (81.9 MB/s) - “/etc/yum.repos.d/k8s.repo” 已保存 [276]

新的repo文件如下。

[root@k8sbalancehaproxy1 ~]# ls /etc/yum.repos.d/CentOS-Base.repo  docker-ce.repo  epel.repo  k8s.repo

关闭selinux，设置SELINUX=disabled。

[root@k8sbalancehaproxy1 ~]# vim /etc/selinux/config[root@k8sbalancehaproxy1 ~]# cat /etc/selinux/config# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:#     enforcing - SELinux security policy is enforced.#     permissive - SELinux prints warnings instead of enforcing.#     disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of three two values:#     targeted - Targeted processes are protected,#     minimum - Modification of targeted policy. Only selected processes are protected. #     mls - Multi Level Security protection.SELINUXTYPE=targeted 

[root@k8sbalancehaproxy1 ~]# getenforceDisabled

配置防火墙允许所有数据包通过。

[root@k8sbalancehaproxy1 ~]# firewall-cmd --set-default-zone=trustedWarning: ZONE_ALREADY_SET: trusted
success[root@k8sbalancehaproxy1 ~]# firewall-cmd --get-default-zonetrusted

Linux swapoff命令用于关闭系统交换分区(swap area)，如果不关闭swap，就会在kubeadm初始化Kubernetes的时候报错：“[ERROR Swap]: running with swap on is not supported. Please disable swap”。

[root@k8sbalancehaproxy1 ~]# swapoff -a ;sed -i '/swap/d' /etc/fstab[root@k8sbalancehaproxy1 ~]# cat /etc/fstab## /etc/fstab# Created by anaconda on Thu Oct 18 23:09:54 2018## Accessible filesystems, by reference, are maintained under '/dev/disk'# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info#UUID=9875fa5e-2eea-4fcc-a83e-5528c7d0f6a5 /                       xfs     defaults        0 0

五.部署haproxy负载均衡器

haproxy作为负载均衡器，现在部署haproxy。

安装haproxy。

[root@k8sbalancehaproxy1 ~]# yum -y install haproxy     
 [root@k8sbalancehaproxy1 ~]# rpm -qa | grep haproxyhaproxy-1.5.18-9.el7_9.1.x86_64

修改haproxy配置文件/etc/haproxy/haproxy.cfg。

[root@k8sbalancehaproxy1 ~]# ls /etc/haproxy/haproxy.cfg[root@k8sbalancehaproxy1 ~]# vim /etc/haproxy/haproxy.cfg[root@k8sbalancehaproxy1 ~]# tail -10 /etc/haproxy/haproxy.cfg#k8s-masterlb这个名字可以随意起，*:6443表示监听6443端口，当有人通过haproxy访问6443端口#把请求转发给后端的real server（k8s的master节点）   weight 1权重都是1listen k8s-masterlb *:6443
    mode tcp    #balance roundrobin表示轮询调度
    balance roundrobin    #s1  s2 为k8s的两个master节点IP，weight都为1表示权重一样
    server s1 192.168.110.137:6443 weight 1
    server s2 192.168.110.138:6443 weight 1

设置haproxy开机自启动，现在启动haproxy。

[root@k8sbalancehaproxy1 ~]# systemctl enable haproxy --now[root@k8sbalancehaproxy1 ~]# systemctl is-active haproxyactive[root@k8sbalancehaproxy1 ~]# systemctl status haproxy● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since 六 2022-04-09 11:33:21 CST; 6h ago
 Main PID: 958 (haproxy-systemd)
   CGroup: /system.slice/haproxy.service
           ├─958 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
           ├─963 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
           └─964 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds

查看端口，已经开始监听6443端口了。

[root@k8sbalancehaproxy1 ~]# netstat -antup | grep 6443tcp        0      0 0.0.0.0:6443            0.0.0.0:*               LISTEN      964/haproxy

六.部署etcd集群

此次etcd集群只有两个etcd节点，关于etcd单节点配置，etcd三节点配置，更详细的内容，请查看博客《Kubernetes后台数据库etcd：安装部署etcd集群，数据备份与恢复》。

安装etcd。

[root@k8sbalanceetcd1 ~]# yum -y install etcd  [root@k8sbalanceetcd1 ~]# rpm -qa | grep etcdetcd-3.3.11-2.el7.centos.x86_64

修改etcd配置文件/etc/etcd/etcd.conf。

[root@k8sbalanceetcd1 ~]# ls /etc/etcd/etcd.conf[root@k8sbalanceetcd1 ~]# vim /etc/etcd/etcd.conf[root@k8sbalanceetcd1 ~]# cat /etc/etcd/etcd.conf#配置数据目录ETCD_DATA_DIR="/var/lib/etcd/cluster.etcd"ETCD_LISTEN_PEER_URLS="http://192.168.110.135:2380,http://localhost:2380"ETCD_LISTEN_CLIENT_URLS="http://192.168.110.135:2379,http://localhost:2379"ETCD_NAME="etcd135"ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.110.135:2380"ETCD_ADVERTISE_CLIENT_URLS="http://192.168.110.135:2379,http://localhost:2379"##目前是两个节点，所以这里是两个节点的etcdETCD_INITIAL_CLUSTER="etcd135=http://192.168.110.135:2380,etcd136=http://192.168.110.136:2380"##集群tokenETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"##新创建etcd集群的时候ETCD_INITIAL_CLUSTER_STATE="new"，往已经存在的etcd集群添加etcd节点时：ETCD_INITIAL_CLUSTER_STATE="existing"ETCD_INITIAL_CLUSTER_STATE="new"

设置etcd开机自启动并现在就启动。

[root@k8sbalanceetcd1 ~]# systemctl enable etcd --now   [root@k8sbalanceetcd1 ~]# systemctl status etcd● etcd.service - Etcd Server
   Loaded: loaded (/usr/lib/systemd/system/etcd.service; enabled; vendor preset: disabled)
   Active: active (running) since 六 2022-04-09 11:34:09 CST; 6h ago
 Main PID: 968 (etcd)
   CGroup: /system.slice/etcd.service
           └─968 /usr/bin/etcd --name=etcd135 --data-dir=/var/lib/etcd/cluster.etcd --listen-client-urls=http://192.168.110.135:2379,http://localhost:2379

另外一节点也安装etcd。

[root@k8sbalanceetcd2 ~]# yum -y install etcd

修改etcd配置文件。

[root@k8sbalanceetcd2 ~]# vim /etc/etcd/etcd.conf[root@k8sbalanceetcd2 ~]# ls /etc/etcd/etcd.conf[root@k8sbalanceetcd2 ~]# cat /etc/etcd/etcd.conf#配置数据目录ETCD_DATA_DIR="/var/lib/etcd/cluster.etcd"ETCD_LISTEN_PEER_URLS="http://192.168.110.136:2380,http://localhost:2380"ETCD_LISTEN_CLIENT_URLS="http://192.168.110.136:2379,http://localhost:2379"ETCD_NAME="etcd136"ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.110.136:2380"ETCD_ADVERTISE_CLIENT_URLS="http://192.168.110.136:2379,http://localhost:2379"##目前是两个节点，所以这里是两个节点的etcdETCD_INITIAL_CLUSTER="etcd135=http://192.168.110.135:2380,etcd136=http://192.168.110.136:2380"##集群tokenETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"##新创建etcd集群的时候ETCD_INITIAL_CLUSTER_STATE="new"，往已经存在的etcd集群添加etcd节点时：ETCD_INITIAL_CLUSTER_STATE="existing"ETCD_INITIAL_CLUSTER_STATE="new"

设置etcd开机自启动，并现在就启动。

[root@k8sbalanceetcd2 ~]# systemctl enable etcd --now  [root@k8sbalanceetcd2 ~]# systemctl status etcd

两个etcd节点都启动之后，查看etcd集群成员。

[root@k8sbalanceetcd1 ~]# etcdctl member list36adf18604130cea: name=etcd135 peerURLs=http://192.168.110.135:2380 clientURLs=http://192.168.110.135:2379,http://localhost:2379 isLeader=false
64d719893344455b: name=etcd136 peerURLs=http://192.168.110.136:2380 clientURLs=http://192.168.110.136:2379,http://localhost:2379 isLeader=true

查看集群健康状态。

[root@k8sbalanceetcd1 ~]# etcdctl cluster-healthmember 36adf18604130cea is healthy: got healthy result from http://192.168.110.135:2379
member 64d719893344455b is healthy: got healthy result from http://192.168.110.136:2379
cluster is healthy

查看/下的数据。

[root@k8sbalanceetcd1 ~]# etcdctl ls /

自此，做共享数据的etcd集群配置好了。

七.部署Kubernetes(k8s) master HA

本次Kubernetes(k8s)集群，有2个master节点，1个worker节点。

7.1 配置docker

k8s是容器编排工具，需要容器，所以三个节点同时安装docker。

[root@k8sbalancemaster1 ~]# yum -y install docker-ce

设置docker开机自启动并现在启动docker。

[root@k8sbalancemaster1 ~]# systemctl enable docker --now   [root@k8sbalancemaster1 ~]# systemctl status docker

查看docker版本。

[root@k8sbalancemaster1 ~]# docker --versionDocker version 20.10.14, build a224086

配置docker镜像加速器。

[root@k8sbalancemaster1 ~]# cat /etc/docker/daemon.json{"registry-mirrors": ["https://frz7i079.mirror.aliyuncs.com"]}

重启docker。

[root@k8sbalancemaster1 ~]# systemctl restart docker    [root@k8sbalancemaster1 ~]# systemctl status docker

设置iptables不对bridge的数据进行处理，启用IP路由转发功能。

[root@k8sbalancemaster1 ~]# cat <<EOF> /etc/sysctl.d/k8s.conf > net.bridge.bridge-nf-call-ip6tables = 1 > net.bridge.bridge-nf-call-iptables = 1 > net.ipv4.ip_forward = 1 > EOF

使配置生效。

[root@k8sbalancemaster1 ~]# sysctl -p /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1

7.2 安装kubelet，kubeadm，kubectl

查看可用的kubeadm版本。

[root@k8sbalancemaster1 ~]# yum list --showduplicates kubeadm --disableexcludes=kubernetes | grep 1.23kubeadm.x86_64                       1.23.1-0                        @kubernetes
kubeadm.x86_64                       1.23.0-0                        kubernetes 
kubeadm.x86_64                       1.23.1-0                        kubernetes 
kubeadm.x86_64                       1.23.2-0                        kubernetes 
kubeadm.x86_64                       1.23.3-0                        kubernetes 
kubeadm.x86_64                       1.23.4-0                        kubernetes 
kubeadm.x86_64                       1.23.5-0                        kubernetes

此次k8s集群，我们安装k8s 1.23.1版本，三个节点都安装kubelet，kubeadm，kubectl，--disableexcludes=kubernetes 禁掉除了这个之外的别的仓库。

[root@k8sbalancemaster1 ~]# yum -y install kubelet-1.23.1-0 kubeadm-1.23.1-0 kubectl-1.23.1-0 --disableexcludes=kubernetes

设置kubelet开机自启动并现在就启动。

[root@k8sbalancemaster1 ~]# systemctl enable kubelet --now

注意：kubelet现在是启动不了的。

[root@k8sbalancemaster1 ~]# systemctl status kubelet

docker的cgroup driver需要修改为systemd，默认docker的cgroup driver是cgroupfs，k8s 1.23.1版本，如果不加"exec-opts": ["native.cgroupdriver=systemd"]参数，进行kubeadm init初始化的时候会报错如下：failed to run Kubelet: misconfiguration: kubelet cgroup driver: "systemd" is differ 根据报错信息知道，是因为 k8s 和docker 的 cgroup driver 不一致导致的，k8s 的是 systemd ，而 docker 是cgroupfs。

[root@k8sbalancemaster1 ~]# cat /etc/docker/daemon.json {"registry-mirrors": ["https://frz7i079.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"]}

修改了/etc/docker/daemon.json之后，要重启docker进行生效。

[root@k8sbalancemaster1 ~]#  systemctl restart docker

可以查看docker的 Cgroup Driver。

[root@k8sbalancemaster1 ~]# docker info | grep Cgroup
 Cgroup Driver: systemd
 Cgroup Version: 1

7.3 kubeadm初始化

在k8sbalancemaster1节点进行kubeadm init初始化，kubeadm初始化命令：kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.23.1 --pod-network-cidr=10.244.0.0/16，本次我们使用的是外部的etcd集群，而不是以容器运行的etcd，所以不能使用以上命令初始化k8s集群，kubeadm init --help 可以查看k8s集群初始化的各种命令。本次我们使用kubeadm config文件进行k8s初始化。

kubeadm config文件可以去存在的k8s集群上生成，没有的话直接按照模板改就行。

[root@k8scloude1 ~]# kubeadm config viewCommand "view" is deprecated, This command is deprecated and will be removed in a future release, please use 'kubectl get cm -o yaml -n kube-system kubeadm-config' to get the kubeadm config directly.apiServer:

  extraArgs:

    authorization-mode: Node,RBAC  timeoutForControlPlane: 4m0sapiVersion: kubeadm.k8s.io/v1beta2certificatesDir: /etc/kubernetes/pkiclusterName: kubernetescontrollerManager: {}dns:

  type: CoreDNSetcd:

  local:

    dataDir: /var/lib/etcdimageRepository: registry.aliyuncs.com/google_containerskind: ClusterConfigurationkubernetesVersion: v1.21.9networking:

  dnsDomain: cluster.local  podSubnet: 10.244.0.0/16  serviceSubnet: 10.96.0.0/12scheduler: {}

生成kubeadm config文件。

[root@k8scloude1 ~]# kubeadm config view >kubeadm_config.yaml

把kubeadm config文件传到k8sbalancemaster1机器。

[root@k8scloude1 ~]# scp kubeadm_config.yaml 192.168.110.137:~/

修改kubeadm config文件：

• controlPlaneEndpoint: "192.168.110.134:6443"指向haproxy的6443端口

• http://192.168.110.135:2379 http://192.168.110.136:2379指向外部的etcd集群，数据是写入etcd集群的leader节点

• kubernetesVersion: v1.23.1 指定k8s的版本

• podSubnet: 10.244.0.0/16 指定pod网段地址

• serviceSubnet: 10.96.0.0/12 指定服务网段地址

[root@k8sbalancemaster1 ~]# vim kubeadm_config.yaml[root@k8sbalancemaster1 ~]# cat kubeadm_config.yamlapiServer:
  extraArgs:
    authorization-mode: Node,RBAC
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
controlPlaneEndpoint: "192.168.110.134:6443"clusterName: kubernetes
controllerManager: {}dns:
  type: CoreDNS
etcd:
  external:
    endpoints:
    - "http://192.168.110.135:2379"
    - "http://192.168.110.136:2379"imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.23.1
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16
  serviceSubnet: 10.96.0.0/12
scheduler: {}

进行kubeadm初始化时，注意内存不应该少于1700M，不然会报错如下： #[ERROR Mem]: the system RAM (1346 MB) is less than the minimum 1700 MB 内存不应该小于1700 MB。

kubeadm初始化。

[root@k8sbalancemaster1 ~]# kubeadm init --config=kubeadm_config.yaml

进行kubeadm初始化的时候会去下载相应镜像，可以使用 docker images查看镜像下载情况。

[root@k8sbalancemaster1 ~]# docker images

kubeadm初始化成功之后，按照提示拷贝kubeconfig文件并授权。

[root@k8sbalancemaster1 ~]# mkdir -p $HOME/.kube   [root@k8sbalancemaster1 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config   [root@k8sbalancemaster1 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

7.4 添加master/worker节点到k8s集群

如果一个k8s集群有多个master，则以控制面的方式加入k8s集群，命令为：kubeadm join 192.168.110.134:6443 --token 3pc2kl.36wdzgtwutm9fll0 --discovery-token-ca-cert-hash sha256:0b311caadf2439b261849f50edadda3926c42f15b6f8cf6489f0dfec6393cf0b --control-plane

worker节点加入k8s集群则使用命令：kubeadm join 192.168.110.134:6443 --token 3pc2kl.36wdzgtwutm9fll0 --discovery-token-ca-cert-hash sha256:0b311caadf2439b261849f50edadda3926c42f15b6f8cf6489f0dfec6393cf0b

下面把k8sbalanceworker1加入集群。

[root@k8sbalanceworker1 ~]# kubeadm join 192.168.110.134:6443 --token 3pc2kl.36wdzgtwutm9fll0 --discovery-token-ca-cert-hash sha256:0b311caadf2439b261849f50edadda3926c42f15b6f8cf6489f0dfec6393cf0b

k8sbalanceworker1加入集群之后，可以看到k8sbalanceworker1加入了集群，但是STATUS为NotReady，等我们安装了calico网络插件之后，STATUS会变为Ready的。

[root@k8sbalancemaster1 ~]# kubectl get nodeNAME                STATUS   ROLES                  AGE    VERSION
k8sbalancemaster1   NotReady    control-plane,master   3d9h   v1.23.1
k8sbalanceworker1   NotReady    <none>                 3d9h   v1.23.1

把k8sbalancemaster2以控制面的方式加入k8s集群，作为第二个k8s master节点，执行如下命令会报错，原因是没有各种证书。

如果我们把k8sbalancemaster1下/etc/kubernetes/pki的所有证书都拷贝过来，k8sbalancemaster2加入集群的时候还是会报错。

[root@k8sbalancemaster2 ~]# kubeadm join 192.168.110.134:6443 --token 3pc2kl.36wdzgtwutm9fll0 --discovery-token-ca-cert-hash sha256:0b311caadf2439b261849f50edadda3926c42f15b6f8cf6489f0dfec6393cf0b --control-plane

kubeadm reset清空设置。

[root@k8sbalancemaster2 ~]# kubeadm reset

把k8sbalancemaster1目录/etc/kubernetes/pki/下的ca.crt ， ca.key ，sa.key ，sa.pub ，front-proxy-ca.key ，front-proxy-ca.crt 文件拷贝到k8sbalancemaster2目录/etc/kubernetes/pki下，再次把k8sbalancemaster2以控制面的方式加入k8s集群，这次k8sbalancemaster2就加入k8s集群成功了。

[root@k8sbalancemaster2 ~]# kubeadm join 192.168.110.134:6443 --token 3pc2kl.36wdzgtwutm9fll0 --discovery-token-ca-cert-hash sha256:0b311caadf2439b261849f50edadda3926c42f15b6f8cf6489f0dfec6393cf0b --control-plane

按照提示拷贝kubeconfig文件并授权。

[root@k8sbalancemaster2 ~]# mkdir -p $HOME/.kube  [root@k8sbalancemaster2 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config   [root@k8sbalancemaster2 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

k8sbalancemaster2加入集群之后，可以发现此时三个节点的状态都是NotReady的，是因为没有CNI网络插件，为了节点间的通信，需要安装cni网络插件，需要去官网下载calico.yaml文件。

[root@k8sbalancemaster1 ~]# kubectl get nodeNAME                STATUS   ROLES                  AGE     VERSION
k8sbalancemaster1   NotReady    control-plane,master   3d10h   v1.23.1
k8sbalancemaster2   NotReady    control-plane,master   3d9h    v1.23.1
k8sbalanceworker1   NotReady    <none>                 3d10h   v1.23.1

7.5 部署CNI网络插件calico

虽然现在k8s集群已经有2个master节点，1个worker节点，但是此时三个节点的状态都是NotReady的，原因是没有CNI网络插件，为了节点间的通信，需要安装cni网络插件，常用的cni网络插件有calico和flannel，两者区别为：flannel不支持复杂的网络策略，calico支持网络策略，因为今后还要配置k8s网络策略networkpolicy，所以本文选用的cni网络插件为calico！

创建放calico文件的目录。

[root@k8sbalancemaster1 ~]# mkdir cni  [root@k8sbalancemaster1 ~]# cd cni/

下载calico部署文件。

[root@k8sbalancemaster1 cni]# curl https://docs.projectcalico.org/manifests/calico.yaml -O      [root@k8sbalancemaster1 cni]# lscalico.yaml

查看需要下载的calico镜像，这四个镜像需要在所有节点都下载。

[root@k8sbalancemaster1 cni]# grep image calico.yaml
          image: docker.io/calico/cni:v3.22.1
          image: docker.io/calico/cni:v3.22.1
          image: docker.io/calico/pod2daemon-flexvol:v3.22.1
          image: docker.io/calico/node:v3.22.1
          image: docker.io/calico/kube-controllers:v3.22.1

拉取镜像。

[root@k8sbalancemaster1 cni]# docker pull docker.io/calico/cni:v3.22.1  [root@k8sbalancemaster1 cni]# docker pull docker.io/calico/node:v3.22.1  [root@k8sbalancemaster1 cni]# docker pull docker.io/calico/kube-controllers:v3.22.1  [root@k8sbalancemaster1 cni]# docker pull docker.io/calico/pod2daemon-flexvol:v3.22.1  [root@k8sbalancemaster1 cni]# docker images | grep calicocalico/kube-controllers                                           v3.22.1   c0c6672a66a5   5 weeks ago    132MB
calico/cni                                                        v3.22.1   2a8ef6985a3e   5 weeks ago    236MB
calico/pod2daemon-flexvol                                         v3.22.1   17300d20daf9   5 weeks ago    19.7MB
calico/node                                                       v3.22.1   7a71aca7b60f   5 weeks ago    198MB#下载calico镜像[root@k8sbalancemaster2 ~]# docker pull docker.io/calico/cni:v3.22.1  [root@k8sbalancemaster2 ~]# docker pull docker.io/calico/node:v3.22.1   [root@k8sbalancemaster2 ~]# docker pull docker.io/calico/kube-controllers:v3.22.1  [root@k8sbalancemaster2 ~]# docker pull docker.io/calico/pod2daemon-flexvol:v3.22.1  [root@k8sbalancemaster2 ~]# docker images | grep calicocalico/kube-controllers                                           v3.22.1   c0c6672a66a5   5 weeks ago    132MB
calico/cni                                                        v3.22.1   2a8ef6985a3e   5 weeks ago    236MB
calico/pod2daemon-flexvol                                         v3.22.1   17300d20daf9   5 weeks ago    19.7MB
calico/node                                                       v3.22.1   7a71aca7b60f   5 weeks ago    198MB#下载calico镜像[root@k8sbalanceworker1 ~]# docker pull docker.io/calico/cni:v3.22.1   [root@k8sbalanceworker1 ~]# docker pull docker.io/calico/node:v3.22.1  [root@k8sbalanceworker1 ~]# docker pull docker.io/calico/kube-controllers:v3.22.1  [root@k8sbalanceworker1 ~]# docker pull docker.io/calico/pod2daemon-flexvol:v3.22.1   [root@k8sbalanceworker1 ~]# docker images | grep calicocalico/kube-controllers                              v3.22.1   c0c6672a66a5   5 weeks ago    132MB
calico/cni                                           v3.22.1   2a8ef6985a3e   5 weeks ago    236MB
calico/pod2daemon-flexvol                            v3.22.1   17300d20daf9   5 weeks ago    19.7MB
calico/node                                          v3.22.1   7a71aca7b60f   5 weeks ago    198MB

安装calico。

[root@k8sbalancemaster1 cni]# kubectl apply -f calico.yaml

查看ds。

[root@k8sbalancemaster1 cni]# kubectl get dsNo resources found in default namespace.[root@k8sbalancemaster1 cni]# kubectl get ds -ANAMESPACE     NAME          DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
kube-system   calico-node   3         3         3       3            3           kubernetes.io/os=linux   3d9h
kube-system   kube-proxy    3         3         3       3            3           kubernetes.io/os=linux   3d10h

7.6 配置kubectl命令tab键自动补全

查看kubectl自动补全命令。

[root@k8sbalancemaster1 cni]# kubectl --help | grep bash
  completion    Output shell completion code for the specified shell (bash, zsh or fish)

添加source <(kubectl completion bash)到/etc/profile，并使配置生效。

[root@k8sbalancemaster1 cni]# vim /etc/profile   [root@k8sbalancemaster1 cni]# grep completion /etc/profilesource <(kubectl completion bash)[root@k8sbalancemaster1 cni]# source /etc/profile

此时即可kubectl命令tab键自动补全，可以看到所有k8s节点都是Ready状态。

[root@k8sbalancemaster1 cni]# kubectl get nodeNAME                STATUS   ROLES                  AGE     VERSION
k8sbalancemaster1   Ready    control-plane,master   3d12h   v1.23.1
k8sbalancemaster2   Ready    control-plane,master   3d11h   v1.23.1
k8sbalanceworker1   Ready    <none>                 3d12h   v1.23.1

八.测试k8s的两个master节点数据是否能同步

查看namespace。

[root@k8sbalancemaster1 cni]# kubectl get nsNAME              STATUS   AGE
default           Active   3d12h
kube-node-lease   Active   3d12h
kube-public       Active   3d12h
kube-system       Active   3d12h

创建masterha命名空间。

[root@k8sbalancemaster1 cni]# kubectl create ns masterhanamespace/masterha created

在master1节点创建命名空间masterha，在master2上也可以看到该命名空间。

[root@k8sbalancemaster2 ~]# kubectl get nsNAME              STATUS   AGE
default           Active   3d12h
kube-node-lease   Active   3d12h
kube-public       Active   3d12h
kube-system       Active   3d12h
masterha          Active   17s

在master2创建命名空间master2。

[root@k8sbalancemaster2 ~]# kubectl create ns master2namespace/master2 created

在master2节点创建命名空间master2，在master1上也可以看到该命名空间。

[root@k8sbalancemaster1 cni]# kubectl get nsNAME              STATUS   AGE
default           Active   3d12h
kube-node-lease   Active   3d12h
kube-public       Active   3d12h
kube-system       Active   3d12h
master2           Active   20s
masterha          Active   51s

下面测试k8s的两个master，其中一个master宕机，k8s集群是否能正常工作。

把k8sbalancemaster1节点关机。

[root@k8sbalancemaster1 cni]# init 0

把k8sbalancemaster1节点关机之后，k8sbalancemaster2也可以正常查看节点状态。

[root@k8sbalancemaster2 ~]# kubectl get nodeUnable to connect to the server: net/http: TLS handshake timeout[root@k8sbalancemaster2 ~]# kubectl get nodeNAME                STATUS