Kubernetes v1.15.0 集群的安装部署（精简版）

软硬件要求

软硬件	最低配置	推荐配置
CPU 和内存	Master：至少2核4G、 Node：至少4核16G	Master：4核16G、 Node：根据运行的容器数量进行配置
Linux 操作系统	基于 x86_64 架构的各种Linux 发行版，Kernel 3.10 以上	Red Hat Linux 7 CentOS 7
etcd	3.0 版本及以上	3.3 版本
Docker	18.03 版本及以上	18.09 版本

机器准备

角色	主机名称	内网 IP	配置	系统
Master	KubernetesMaster	192.168.0.123	2 核 4 G	CentOS 7.6.5
Node	KubernetesNode1	192.168.0.122	2 核 4 G	CentOS 7.6.5
Node	KubernetesNode2	192.168.0.121	2 核 4 G	CentOS 7.6.5

注：这里只是做环境测试，故只满足了官方要求的最低 2 核 2 G

部署步骤

使用 kubeadm 部署 kubernetes 主要有以下四个步骤：

安装 Docker （所有主机）

安装 Kubeadm（所有主机）

基础环境配置（所有主机）

创建 Kubernetes 集群

一. 安装 Docker（所有主机）

安装 Docker 引擎，主要执行以下步骤：

安装 Docker 需要的一些系统工具

设置 Docker 的 yum 仓库源

安装并启动 Docker

调整 Docker 部分参数（主要是配合 Kubernetes 的一些配置）

# 1. 安装必要的一些系统工具
yum install -y yum-utils device-mapper-persistent-data lvm2

# 2. 设置 Docker 的 yum 仓库源（稳定存储库: 阿里云源）
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 

# 3. 安装并启动 Docker
yum install -y docker-ce
systemctl start docker && systemctl enable docker 

# 4. 调整 Docker 部分参数（修改国内镜像加速: 阿里云镜像、修改cgroup 驱动）
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
 "registry-mirrors": ["https://pcy9sknd.mirror.aliyuncs.com"],
 "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
systemctl daemon-reload && systemctl restart docker

二. 安装 Kubeadm（所有主机）

安装 Kubeadm 主要有以下三个步骤：

配置 Kubernetes 的 yum 仓库源（这里选用阿里的源，你懂的）

安装 Kubeadm 和相关工具

启动 Kubelet

# 1. 设置 Kubernetes 的 yum 仓库源（阿里云源）
tee /etc/yum.repos.d/kubernetes.repo <<-'EOF'
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 2. 安装 Kubeadm 和相关工具
yum install -y kubelet kubeadm kubectl

# 3. 启动 Kubelet
systemctl start kubelet && systemctl enable kubelet

三. 基础环境配置（所有主机）

基础环境配置，主要执行以下步骤：

设置各节点时间精确同步

关闭 firewalld/iptables 防火墙

关闭 SElinux 安全模组

关闭 Swap 交换分区

导入 IPVS 模块

修改 Bridge 桥接规则

开启 iptables 的 FORWARD 转发链

配置 Hosts 解析

# 1. 设置各节点时间精确同步
systemctl start chronyd.service && systemctl enable chronyd.service

# 2. 关闭 firewalld 防火墙（允许 master 和 node 的网络通信）
systemctl stop firewalld && systemctl disable firewalld

# 3. 关闭 SElinux 安全模组（让容器可以读取主机的文件系统）
setenforce 0 && sed -i "s/SELINUX=enforcing$/SELINUX=disabled/g" /etc/selinux/config

# 4.  关闭 Swap 交换分区（启用了 Swap，则 Qos 策略可能会失效）
swapoff -a && sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab

# 5. 导入 IPVS 模块（用来为大量服务进行负载均衡）
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

# 6.  修改 Bridge 桥接规则（部分 Docker 安装时会为我们修改，这里统一进行手动修改）
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF
sysctl --system

# 7. 开启 iptables 的 FORWARD 转发链（Docker 1.13 后禁用了 FORWARD 链，这可能会引起 Pod 间无法通信）
iptables -P FORWARD ACCEPT
sed -i '/ExecStart/a ExecStartPost=/sbin/iptables -P FORWARD ACCEPT' /usr/
lib/systemd/system/docker.service
systemctl daemon-reload

# 8.  配置 Hosts 解析（添加 k8s 所有节点的 IP 和对应主机名，否则初始化的时候会出现告警甚至错误）
tee /etc/hosts <<-'EOF'
::1     localhost       localhost.localdomain   localhost6      localhost6.localdomain6
127.0.0.1       localhost       localhost.localdomain   localhost4      localhost4.localdomain4
192.168.0.123 kube-master
192.168.0.122 kube-node1
192.168.0.121 kube-node2
EOF

# 9. 安装一些必要的工具（这些工具在以后的命令中会用到）
yum install -y ipset
yum install -y ipvsadm
yum install -y bind-utils

四. 创建 Kubernetes 集群

创建 Kubernetes 集群主要有两个步骤：

初始化 Master 节点

初始化 Node 节点

1. 初始化 Master 节点

初始化 Master 节点，主要有四个步骤：

执行初始化

复制(分发)配置文件

安装 CNI 网络插件

检查 Master 的 Pod 及集群状态

1. 执行初始化

较少自定义配置时，采用 配置参数 的方式进行初始化

kubeadm init --kubernetes-version=v1.15.0 \
--pod-network-cidr=<network-segment> \
--image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers

较多自定义配置时，采用配置文件 的方式进行初始化

# 获取默认初始化配置文件
kubeadm config print init-defaults > kubeadm-init.yaml

# 修改为自定义初始化配置文件
cat > master-init.yaml << EOF
apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
localAPIEndpoint:
 advertiseAddress: 192.168.0.123
 bindPort: 6443
---
apiVersion: kubeadm.k8s.io/v1beta2
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.15.0
networking:
 dnsDomain: cluster.local
 podSubnet: <network-segment>
EOF

# 执行初始化
kubedam init --master-init.yaml

注意：
初始化之后会安装网络插件，由于各个网络插件使用的网段不一样，
故需对命令中的--pod-network-cidr=<network-segment> 或文件中的 podSubnet: <network-segment> 进行自定义配置，
Calico 的默认网段：192.168.0.0/16，Flannel 的默认网段：10.244.0.0/16

输出以下内容表示成功：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.0.123:6443 --token b0syjo.7q877s663mc1rbni \
    --discovery-token-ca-cert-hash sha256:cdbcbb721002cac7a7b347295922eabe65342e111a67d7f7acce50d0d9d8f27f
// 上面一句是 Node 节点加入集群的命令，记得保存一下

2. 按照提示，复制配置文件到普通用户目录

非 root 用户

# 拷贝配置文件到 Master 节点
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 分发配置文件到各 Node 节点（让 Node 节点使用 `kubectl`）
scp /etc/kubernetes/admin.conf KubernetesNode1:~/.kube/config
scp /etc/kubernetes/admin.conf KubernetesNode2:~/.kube/config
# 记得在 Node 上进行授权，sudo chown $(id -u):$(id -g) $HOME/.kube/config

root 用户

# 拷贝配置文件到 Master 节点
mkdir /root/.kube
cp -i /etc/kubernetes/admin.conf /root/.kube/config

# 分发配置文件到各 Node 节点（让 Node 节点使用 `kubectl`）
scp /etc/kubernetes/admin.conf KubernetesNode1:/root/.kube/config
scp /etc/kubernetes/admin.conf KubernetesNode2:/root/.kube/config

3. 安装 CNI 网络插件

Flannel 插件

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

Calico 插件

kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml

CNI 插件参考：

Flannel Github - README.md
Calico 官方文档 - Quickstart for Calico on Kubernetes
更多可以参考：Kubernetes 官方文档提供的教程 - Installing Addons

4. 检查 Master 的 Pod 及集群状态

使用 kubectl get pod -n kube-system -o wide，查看 Pod 状态均为 Runing 即可
使用 kubectl get node -o wide，查看 Node 状态为 Ready 表示 Master 初始化完成

2. 初始化 Node 节点

初始化 Node 节点就比较简单了，只有两步，即：

执行初始化

检查 Node 的 Pod 及集群状态

1. 初始化 Node

使用 Master 初始化时的命令进行初始化即可，Node 节点初始化后，就直接加入了集群

kubeadm join <master-ip>:6443 --token <token> --discovery-token-ca-cert-hash sha256:<sha256>

注意：没有记录集群 join 命令的可以通过以下方式重新获取

sudo kubeadm token create --print-join-command --ttl=0

2. 检查 Node 的 Pod 及集群状态

使用 kubectl get pod -n kube-system -o wide，查看 Pod 状态均为 Runing 即可
使用 kubectl get node -o wide，查看所有节点状态均为 Ready 表示 Master 初始化完成

五. 重置 Kubernetes 集群

重置 Kubernetes 集群，主要的执行步骤如下：

kubeadm 集群重置

iptables 规则清理

ipvs 规则清理

kubernetes 配置文件清理

etcd 配置清理

cni 网络插件清理

kubeadm reset
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
ipvsadm --clear
rm -rf ~/.kube
rm -rf /var/lib/etcd
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/

参考：
https://kubernetes.io/zh/docs/setup/independent/install-kubeadm/
https://k8smeetup.github.io/docs/reference/setup-tools/kubeadm/kubeadm-init/
centos7使用kubeadm安装部署kubernetes 1.14 - Adrian·Ding - 博客园
 CentOS7中用kubeadm安装Kubernetes-云栖社区-阿里云