K8S组件介绍
1.api-server:提供了K8S各类资源对象的增删改查及watch等HTTP Rest接口,这些对象包括pods,services,replication-controllers等,API Server为REST操作提供服务,并未集群的共享状态提供前端,所有其他组件都通过该前端进行交互。就是说当我们要对K8S进行某项操作时,都需要通过调用api-server提供的服务来进行;
2.kube-scheduler:是K8S中的调度器,负责调度pod在哪个node节点进行创建。通过指定的调度算法,帮助pod在node中挑选资源与性能合适的节点;
3.kube-contorller-manage:是K8S的控制器。Controller Manager,中还包含了一些子控制器(副本控制器,节点控制器,命名空间控制器和服务账号控制器等),控制器作为集群内部的管理控制中心,负责集群内的Node,Pod副本,服务端节点,命名空间,服务账号,资源定额的管理。当某个node意外宕机时,Controller Manager会及时发现并执行自动化修复流程,确保集群中的pod副本始终处于预期的工作状态
工作机制:
controller-manager控制器每隔5S检查一次节点状态;
如果没有收到节点心跳,则将该节点标记为不可达;
在节点从“不可达”状态转变为“不可用”状态时,缓冲时间为40S;
如果该节点被标记为“不可用”后5分钟还没恢复,则controller-manager会删除当前节点的所有pod并重新选取合适节点将这些pod重建;
4.kube-porxy:kubernetes网络代理,运行在所有节点上,通过维护主机网络规则,来实现,对后端服务的访问。管理当前节点上的iptables或ipvs规则;
kubernetes私有云部署中网络分为三种,overlay网络:
node网络:宿主机的网络,即物理网络;
pod网络:容器创建后端网络,负责解决容器间通信问题;
service网络:宿主机和容器之间的虚拟网络,负责解决宿主机如何将信息传递到容器的问题,通过lebel标签匹配;
underlay网络
5.kubelet:kubernetes在每个节点上的代理节点,包括master节点;
向master汇报node节点的状态信息;
接受api-server指令并调用运行时,在pod中创建容器;
准备pod所需要的数据卷;
向api-server反馈pod运行状态;
在node节点执行容器健康检测;
6.kubectl:通过命令行对kubernetes进行管理的工具,通过调用aip-server来实现;
7.etcd:kubernetes的默认使用的key-value格式,数据存储系统,用于保存K8S的所有集群数据。etcd支持分布式集群部署,生产环境中使用需要为etcd提供定期备份机制;
注意:只能通过api-server来调用和访问etcd;
8.DNS组件:负责为整个kubernetes集群提供DNS服务;
coredns:目前使用;
kube-dns:K8S,1.18版本之前;
sky-dns:已废弃;
9.Dashboard:基于网页的kubernetes用户管理界面;
使用kubeadm,containerd搭建K8S;
环境:Ubuntu 20.04
注意:主机名不可用相同;
ubuntuA:192.168.1.20/24
ubuntuB:192.168.1.21/24
ubuntuC:192.168.1.22/24
环境初始化:
1.优化内核参数
# modprobe br_netfilter #加载br_netfilter模块
# chmod 777 /lib/systemd/system/rc-local.service #rc-local.service是控制rc.local自启动脚本的服务,需要对其进行配置才能开启此功能;
# vim /lib/systemd/system/rc-local.service #末尾加入以下内容;
WantedBy=multi-user.target
Alias=rc-local.service
# chmod 644 /lib/systemd/system/rc-local.service
# vim /etc/rc.local #配置自启动脚本;
# lsmod | grep br_netfilter #验证模块是否加载;
# vim /etc/sysctl.conf #配置内核参数;
net.ipv4.ip_forward = 1 #开启路由转发功能;
net.bridge.bridge-nf-call-iptables = 1 #表示 bridge 设备在二层转发时也去调用 iptables 配置的三层规则;
注意:以上步骤所有节点都需要进行配置;
2.二进制安装containerd:
# cd /usr/local/src/containerd/
# tar -zxvf containerd-1.6.9-linux-amd64.tar.gz
# cp bin/* /usr/local/bin
# vim /lib/systemd/system/containerd.service #ExecStart=/usr/local/bin/containerd,字段代表containerd可执行文件位置,根据以上操作,指向到/usr/local/bin/containerd即可,该服务文件可以从由apt安装服务获得;
# containerd config default #输出默认的containerd配置文件信息;
# containerd config default > /etc/containerd/config.toml #将输出信息重定向为默认配置文件,需要修改61,153行内容,即底层封装镜像地址,和镜像加速地址;
61 sandbox_image = "registry.k8s.io/pause:3.6" #注意当使用K8S时需要修改此配置文件参数,修改为国内提供的底层封装镜像地址registry.aliyuncs.com/google_containers/pause:3.7,注意此地址和版本可以根据实际情况修改;
153 [plugins."io.containerd.grpc.v1.cri".registry.mirrors] #配置containerd的镜像加速服务器地址,如下图。154行表示对docker.io域名加速,155行表示当访问docker.io这个域名时通过https://9916w1ow.mirror.aliyuncs.com进行加速;
# systemctl restart containerd && systemctl enable containerd #启动服务并配置开机自启动;
坑:可能会出现如图报错
root@ubuntua:/etc/containerd# systemctl unmask containerd #使用unmask解锁即可,输出信息如下;
Removed /etc/systemd/system/containerd.service.
# systemctl status containerd
# swapoff -s #关闭交换分区;
# swapon -a #查看交换分区;
3.二进制安装runC:
runC二进制包下载地址:https://github.com/opencontainers/runc/releases/download/v1.1.4/runc.amd64
# mkdir /usr/local/src/runC
# cd /usr/local/src/runC
# mv /tmp/runc.amd64 ./
# chmod a+x runc.amd64
# ln -s /usr/local/src/runC/runc.amd64 /usr/local/bin/runc
3.二进制安装cni:
# cd /usr/local/src/cni
# mv /tmp/cni-plugins-linux-amd64-v1.1.1.tgz ./
# mkdir -p /opt/cni/bin
# tar -zxvf cni-plugins-linux-amd64-v1.1.1.tgz -C /opt/cni/bin/
4.二进制安装nerdctl:安装方法同上;
类似docker的容器管理工具,如果有个别,node端不需要使用,那么这些节点可以不用安装;
Kubernetes初始化
因为使用kubeadm安装时要用到许多相关镜像,所以最好提前下载;
1.提前下载相关镜像:
# kubeadm config images list --kubernetes-version v1.25.3 #查看镜像列表,注意此处正常的镜像地址是国外,所以可以考虑使用国内的镜像站来代替;
# vim images-download.sh #编写镜像下载脚本;
内容:
#!/bin/bash
nerdctl pullregistry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.25.3
nerdctl pullregistry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.25.3
nerdctl pullregistry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.25.3
nerdctl pullregistry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.25.3
nerdctl pullregistry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.8
nerdctl pullregistry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.5.4-0
# nerdctl images
2.初始化操作:
# kubeadm init --apiserver-advertise-address=192.168.1.20 --apiserver-bind-port=6443 --kubernetes-version=v1.25.3 --pod-network-cidr=10.100.0.0/16 --service-cidr=10.200.0.0/16 --service-dns-domain=cluster.local --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers --ignore-preflight-errors=swap #注意--ignore-preflight-errors=swap意思时忽略swap交换分区报错,但是在实际测试时还是可能会包此错误,所以前面步骤中才提前关闭交换分区;
注意:此截图信息很重要,需要留存;
3.配置认证文件:
无论时master还是node在不配置认证文件的情况下都无法使用kubectl命令;
# mkdir -p $HOME/.kube
# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# sudo chown $(id -u):$(id -g) $HOME/.kube/config
# kubectl get node #输出K8S节点信息,可以使用表示认证文件无误;
注意:/root/.kube/config验证文件必须传递给每个node节点,否则后续会有calico镜像无法下载的问题;
4.安装calico网络组件:
官方给的网络组件链接https://kubernetes.io/docs/concepts/cluster-administration/addons/,里面有多种组件可以自行选择;
获取calico-ipip.yaml根据实际场景进行编辑,本次实验使用的是课程提供的实例文件,仅以搭建成功为目的,后续讲到相关课程时会具体讲解;
4435 - name: CALICO_IPV4POOL_CIDR #表示calico,pod网络地址,默认为注释行;
4436 value: "10.100.0.0/16" #配置成kubeadm init时设置的网络段,不可以和宿主机网络同网段,而且要保证地址足够使用,后续修改网络很麻烦;
# kubectl apply -f /usr/local/src/calico/calico-ipip.yaml #应用calico配置,此过程要下载镜像,需要等待,可以通过nerdctl -n k8s.io images ls查看以下载的相关镜像;
# kubectl get pod -A #可以查看到calico相关pod正在创建;
5.将B,C节点加入到K8S中:
kubeadm join 192.168.1.20:6443 --token 47ev3t.uvo8t047j4ybem74 \
--discovery-token-ca-cert-hash sha256:960e4e1c081b8dbff77e03f4fed768125726ef48009aa0b03cd545ddc47744eb
这段内容就是之前初始化K8S时的成功信息一部分;
坑:如果遇到kubeadm join失败,可以使用以下方法排错重试;
# swapoff -a
# kubeadm reset
# systemctl daemon-reload
# systemctl restart kubelet
# iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
6.如果使用containerd作为组件时,K8S安装时所使用的镜像会保存在k8s.io这个namespace中,可以使用nerdctl -n k8s.io images查询;
7.使用实验提供nginx.yaml文件进行测试;
查看nginx.yaml文件发现有一个namespace名称,这个namespace需要手动创建;
8 namespace: myserver #nginx.yaml的8行,还有其他位置都需要修改;
# kubectl create ns myserver #创建名为myserver的namespace;
# kubectl apply -f /usr/local/src/nginx/nginx.yaml #运行nginx.yaml;
# kubectl get pod -n myserver #查询名为myserver的pod信息;
8.分别访问node节点进行测试
http://192.168.1.21:30004/
http://192.168.1.22:30004/
端口是写在nginx.yaml文件中的;