一. 节点概览
| IP地址 | 节点名称 | 系统 | 描述 |
|---|---|---|---|
| 192.168.10.200 | node-master | CentOS 7 | 主节点 |
| 192.168.10.199 | node-slave-1 | Ubuntu Server 22.04 | 工作节点1 |
| 192.168.10.198 | node-slave-2 | Ubuntu Server 20.04 | 工作节点2 |
注: 如你所见,三台服务器的系统都不统一
二. 前置条件
1. 设置节点主机名
首先是 192.168.10.200 设置为主节点
hostname node-master # 临时生效
hostnamectl set-hostname node-master # 永久生效
然后是 192.168.10.199 设置为工作节点一
hostname node-slave-1
hostnamectl set-hostname node-slave-1
最后是 192.168.10.198 设置为工作节点二
hostname node-slave-2
hostnamectl set-hostname node-slave-2
2.添加IP与主机名的地址解析指向 (所有服务器都需要执行)
cat >> /etc/hosts << EOF
192.168.10.200 node-master
192.168.10.199 node-slave-1
192.168.10.198 node-slave-2
EOF
3.关闭swap
swapoff -a # 临时关闭
永久关闭需要编辑/etc/fstab文件,将其中的swap.img的挂载项注释掉
4.关闭防火墙
CentOS
systemctl stop firewalld
systemctl disable firewalld
Ubuntu
ufw disable
5.关闭SELinux (CentOS)
setenforce 0 # 临时关闭
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config # 永久关闭
6.桥接设置
cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.ipv4.tcp_tw_recycle = 0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
三.安装Docker
建议使用镜像源加速,此处以清华镜像源为例,参考https://mirror.tuna.tsinghua.edu.cn/help/docker-ce/
CentOS
# 先删除旧版软件包
yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine
# 安装依赖项
yum install -y yum-utils device-mapper-persistent-data lvm2
# 添加yum源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# 替换为清华镜像地址
sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
# 创建yum缓存
yum makecache fast
# 安装docker-ce
yum install docker-ce
Ubuntu
# 删除旧版软件包
apt remove docker docker-engine docker.io containerd runc
# 安装依赖项
apt install apt-transport-https ca-certificates curl gnupg2 software-properties-common
# 添加GPG公钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
# 添加仓库
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list > /dev/null
# 更新软件源
apt update
# 安装docker-ce
apt install docker-ce
然后把docker设置为开机启动
systemctl enable docker
把docker的cgroup设置为与k8s一致
vim /etc/docker/daemon.json
顺便设置个Docker Hub镜像地址吧,参考如下配置
{
"registry-mirrors": [
"https://registry.docker-cn.com",
"https://docker.mirrors.ustc.edu.cn"
],
"exec-opts": [
"native.cgroupdriver=systemd"
]
}
最后重启docker
systemctl daemon-reload
systemctl restart docker
四.安装Kubernetes
1.安装kubernetes工具
建议使用镜像源加速,此处以阿里云为例,参考https://developer.aliyun.com/mirror/kubernetes
CentOS
# 添加源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 重建yum缓存
yum makecache fast
# 安装kubernetes工具
yum install -y kubelet kubeadm kubectl
# 设置kubelet服务开机启动
systemctl enable kubelet
# 启动kubelet服务
systemctl start kubelet
如需查看版本请使用以下命令
yum list kubelet --showduplicates | sort -r
指定版本安装,以1.23.14为例
yum install -y kubeadm-1.23.14 kubectl-1.23.14 kubelet-1.23.14
Ubuntu
# 安装依赖项
apt install -y apt-transport-https
# 导入GPG证书
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
# 添加源
cat > /etc/apt/sources.list.d/kubernetes.list << EOF
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
# 更新软件源
apt update
# 安装Kubernetes工具
apt install -y kubeadm kubectl kubelet
如需查看版本请使用以下命令
apt-cache madison kubelet
指定版本安装,以1.23.14为例
apt install -y kubeadm=1.23.14-00 kubectl=1.23.14-00 kubelet=1.23.14-00
2.执行初始化
如需单独下载组件镜像可以使用以下脚本
#!/bin/bash
# 使用kubeadm获取准确的镜像依赖版本
images=$(kubeadm config images list | grep k8s.gcr.io)
# 遍历依赖组件
for name in ${images[@]}; do
# 替换为可用的镜像地址
echo -e "\e[32mPULL ----> $name\e[0m"
temp=$(echo $name | sed -e "s?k8s.gcr.io?registry.aliyuncs.com/google_containers?")
temp=$(echo $temp | sed -e "s?/coredns/?/?")
# 拉取镜像
echo -e "\e[32mPROXY ---> $temp\e[0m"
docker pull $temp
# 重命名镜像
echo -e "\e[32mRENAME --> $temp\e[0m"
echo -e "\e[32mTO ------> $name\e[0m"
docker tag $temp $name
# 删除重命名前的镜像
echo -e "\e[32mREMOVE --> $temp\e[0m"
docker rmi $temp
done
echo -e "\e[32mSUCCESS!\e[0m"
使用kubeadm init初始化主节点
kubeadm init \
--apiserver-advertise-address=192.168.10.200 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.14 \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.60.0.0/16
--apiserver-advertise-address指定apiserver的IP地址
--image-repository指定使用的镜像仓库,默认是k8s.gcr.io
--kubernetes-version指定k8s的版本
--service-cidr与--pod-network-cidr配置的地址只要不与当前服务器IP网段冲突即可
如果初始化出错,可以使用以下命令重置
kubeadm reset
初始化完成之后在主节点执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
3.将工作节点加入到集群
初始化完成之后会给你一条命令,大概如下
kubeadm join 192.168.10.200:6443 --token js19ad.zgk6eocm3bn4lzzp \
--discovery-token-ca-cert-hash sha256:11b6f8d45c68d19d26a32b951ec3602d45af226ac71f0982ce474b6e769fde39
只需要复制这条命令,然后在所有工作节点的服务器执行即可,之后可通过kubectl get nodes查询所有节点
NAME STATUS ROLES AGE VERSION
node-master NotReady control-plane,master 5m34s v1.23.14
node-slave-1 NotReady <none> 51s v1.23.14
node-slave-2 NotReady <none> 17s v1.23.14
如果忘记token或token过期可使用以下命令新建一个
kubeadm token create --print-join-command
4.安装CNI
加入节点后所有节点都处于NotReady状态,需要安装CNI插件,这里以使用flannel为例
# 下载flannel的yaml
wget https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml
# 应用到集群
kubectl apply -f kube-flannel.yml
之后稍等片刻后再次执行kubectl get nodes即可看到所有节点变为Ready状态
NAME STATUS ROLES AGE VERSION
node-master Ready control-plane,master 17m v1.23.14
node-slave-1 Ready <none> 12m v1.23.14
node-slave-2 Ready <none> 11m v1.23.14
五.证书过期之后的处理
手动更新kubernetes证书的所有操作都在主节点执行,建议操作前先备份/etc/kubernetes文件夹
cp -r /etc/kubernetes /etc/kubernetes.bak
然后手动重建证书
kubeadm certs renew all
重建完成之后可以查看证书的有效期
kubeadm certs check-expiration
之后需要删除原来的配置文件
rm -rf /etc/kubernetes/*.conf
然后重新生成新的配置文件
kubeadm init phase kubeconfig all
之后重启kubelet服务
systemctl restart kubelet
然后把/etc/kubernetes/admin.conf复制到~/.kube/config下覆盖
cp /etc/kubernetes/admin.conf ~/.kube/config
这时候就完成了证书更新
六.注意事项
由于Kubernetes自1.24.0版本起弃用docker,转而使用更底层的containerd,所以1.24.0及以上的版本如果想继续使用docer作为容器运行时就需要额外安装cri-dockerd
