安装 kubeadm(每台机器上执行)
前提准备
- 一台或多台运行着下列系统的机器:
- CentOS 7
- 每台机器 2 GB 或更多的 RAM (如果少于这个数字将会影响您应用的运行内存)
- 2 CPU 核心或更多
- 集群中的所有机器的网络彼此均能相互连接(公网和内网都可以)
节点之中不可以有重复的主机名，MAC 地址，product_uuid。
- 您可以使用下列命令获取网络接口的 MAC 地址：ip link 或是 ifconfig -a
- 下列命令可以用来获取 product_uuid sudo cat /sys/class/dmi/id/product_uuid
一般来讲，硬件设备会拥有独一无二的地址，但是有些虚拟机可能会雷同。Kubernetes 使用这些值来唯一确定集群中的节点。如果这些值在集群中不唯一，可能会导致安装失败。
禁用 Swap 交换分区。为了保证 kubelet 正确运行
[root@asdff ~]# sysctl -w vm.swappiness=0
[root@asdff ~]# echo "vm.swappiness = 0">> /etc/sysctl.conf
[root@asdff ~]# swapoff -a
# 查看Swap是否关闭
[root@asdff ~]# free -m
total used free shared buff/cache available
Mem: 64265 487 62179 0 1598 63244
Swap: 0 0 0
检查网络适配器
如果您有一个以上的网络适配器，同时您的 Kubernetes 组件通过默认路由不可达，我们建议您预先添加 IP 路由规则，这样 Kubernetes 集群就可以通过对应的适配器完成连接。
检查所需端口是否被占用
Master 节点
| 规则 | 方向 | 端口范围 | 作用 | 使用者 |
|---|---|---|---|---|
| TCP | Inbound | 6443* | Kubernetes API server | All |
| TCP | Inbound | 2379-2380 | etcd server client API | kube-apiserver, etcd |
| TCP | Inbound | 10250 | Kubelet API | Self, Control plane |
| TCP | Inbound | 10251 | kube-scheduler | Self |
| TCP | Inbound | 10252 | kube-controller-manager | Self |
Worker 节点
| 规则 | 方向 | 端口范围 | 作用 | 使用者 |
|---|---|---|---|---|
| TCP | Inbound | 10250 | Kubelet API | Self, Control plane |
| TCP | Inbound | 30000-32767 | NodePort Services** | All |
任何使用 * 标记的端口号都有可能被覆盖，所以您需要保证您的自定义端口的状态是开放的。
虽然主节点已经包含了 etcd 的端口，您也可以使用自定义的外部 etcd 集群，或是指定自定义端口。 您使用的 pod 网络插件 (见下) 也可能需要某些特定端口开启。由于各个 pod 网络插件都有所不同，请参阅他们各自文档中对端口的要求。
安装 runtime(每台机器上执行)
从 v1.6.0 起，Kubernetes 开始允许使用 CRI，容器运行时接口。默认的容器运行时是 Docker，这是由 kubelet 内置的 CRI 实现 dockershim 开启的。
其他的容器运行时有：
- containerd (containerd 的内置 CRI 插件)
- cri-o
- frakti
- rkt
CRI 安装指南，以下安装其中一个即可(Docker、CRI-O、Containerd)
Docker
在每台机器上安装Docker。建议使用版本18.06.2，但是1.11、1.12、1.13、17.03和18.09也可以使用。在Kubernetes发布说明中跟踪最新的经过验证的Docker版本。
使用以下命令在系统上安装Docker:
# 安装 required packages.
yum install yum-utils device-mapper-persistent-data lvm2
# 设置 yum repository
yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
# 安装 Docker CE
yum update && yum install docker-ce-18.06.2.ce
# 创建 /etc/docker 目录.
mkdir /etc/docker
# 设置 daemon.
cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF
mkdir -p /etc/systemd/system/docker.service.d
# 重启 Docker
systemctl daemon-reload
systemctl restart docker
# 设置 Docker 开机启动
有关更多信息，请参阅官方Docker安装指南。
CRI-O
本节包含将crio安装为CRI运行时所需的步骤。
使用以下命令在你的系统上安装crio:
先决条件
modprobe overlay
modprobe br_netfilter
# 设置需要的 sysctl 参数，这些参数会在重启时持续存在。
cat > /etc/sysctl.d/99-kubernetes-cri.conf <<EOF
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
sysctl --system
安装 CRI-O
# 安装 yum 源
yum-config-manager --add-repo=https://cbs.centos.org/repos/paas7-crio-311-candidate/x86_64/os/
# 安装 CRI-O
yum install --nogpgcheck cri-o
启动 CRI-O
# 启动 CRI-O
systemctl start crio
# 设置开机启动
systemctl enable crio
有关更多信息，请参阅crio安装指南。
Containerd
本节包含使用containerd作为CRI运行时的必要步骤。
使用以下命令在系统上安装Containerd:
先决条件
modprobe overlay
modprobe br_netfilter
# Setup required sysctl params, these persist across reboots.
cat > /etc/sysctl.d/99-kubernetes-cri.conf <<EOF
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
sysctl --system
安装 containerd
# 安装 required packages
yum install yum-utils device-mapper-persistent-data lvm2
# 安装 docker repository
yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
# 安装 containerd
yum update && yum install containerd.io
# 配置 containerd
mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml
# 重启 containerd
systemctl restart containerd
# 设置开机启动
systemctl enable containerd
systemd
要使用 systemd cgroup 驱动程序, 在 /etc/containerd/config.toml 中设置 plugins.cri.systemd_cgroup = true。 当使用kubeadm 时，还需要为 kubelet 手动配置 cgroup 驱动程序：
安装 kubeadm, kubelet 和 kubectl（每台机器上执行）
您需要在每台机器上都安装以下的软件包：
- kubeadm: 用来初始化集群的指令。
- kubelet: 在集群中的每个节点上用来启动 pod 和 container 等。
- kubectl: 用来与集群通信的命令行工具。
kubeadm 不能 帮您安装或管理 kubelet 或 kubectl ，所以您得保证他们满足通过 kubeadm 安装的 Kubernetes 控制层对版本的要求。如果版本没有满足要求，就有可能导致一些难以想到的错误或问题。然而控制层与 kubelet 间的 小版本号 不一致无伤大雅，不过请记住 kubelet 的版本不可以超过 API server 的版本。例如 1.8.0 的 API server 可以适配 1.7.0 的 kubelet，反之就不行了。
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 将 SELinux 设置为 permissive 模式(将其禁用)
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
systemctl enable kubelet && systemctl start kubelet
请注意：
- 通过命令 setenforce 0 和 sed ... 可以将 SELinux 设置为 permissive 模式(将其禁用)。 只有执行这一操作之后，容器才能访问宿主的文件系统，进而能够正常使用 Pod 网络。您必须这么做，直到 kubelet 做出升级支持 SELinux 为止。 - 一些 RHEL/CentOS 7 的用户曾经遇到过：由于 iptables 被绕过导致网络请求被错误的路由。您得保证 在您的 sysctl 配置中 net.bridge.bridge-nf-call-iptables 被设为1。
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
kubelet 现在每隔几秒就会重启，因为它陷入了一个等待 kubeadm 指令的死循环。
在 Master 节点上配置 kubelet 所需的 cgroup 驱动(使用 CRI 为 Docker 的情况下，跳过此步骤)
使用 Docker 时，kubeadm 会自动为其检测 cgroup 驱动在运行时对 /var/lib/kubelet/kubeadm-flags.env 文件进行配置。 如果您使用了不同的 CRI， 您得把 /etc/default/kubelet 文件中的 cgroup-driver 位置改为对应的值，像这样：
KUBELET_EXTRA_ARGS=--cgroup-driver=<value>
这个文件将会被 kubeadm init 和 kubeadm join 用于为 kubelet 获取 额外的用户参数。
请注意，您只需要在您的 cgroup driver 不是 cgroupfs 时这么做，因为 cgroupfs 已经是 kubelet 的默认值了。
需要重启 kubelet：
systemctl daemon-reload
systemctl restart kubelet
初始化集群（Master 执行）
# 安装最新版本的 kubernetes
kubeadm init --image-repository registry.aliyuncs.com/google_containers
# 安装指定版本
kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.14.0
执行 kubeadm init 命令，日志如下：
[init] Using Kubernetes version: v1.14.0
[preflight] Running pre-flight checks
[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Activating the kubelet service
[certs] Using certificateDir folder "/etc/kubernetes/pki"
[certs] Generating "front-proxy-ca" certificate and key
[certs] Generating "front-proxy-client" certificate and key
[certs] Generating "etcd/ca" certificate and key
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [izbp1dtcbwezldtyg8ygj7z localhost] and IPs [172.16.66.178 127.0.0.1 ::1]
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [izbp1dtcbwezldtyg8ygj7z localhost] and IPs [172.16.66.178 127.0.0.1 ::1]
[certs] Generating "ca" certificate and key
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [izbp1dtcbwezldtyg8ygj7z kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 172.16.66.178]
[certs] Generating "apiserver-kubelet-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[apiclient] All control plane components are healthy after 15.001963 seconds
[upload-config] storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.14" in namespace kube-system with the configuration for the kubelets in the cluster
[upload-certs] Skipping phase. Please see --experimental-upload-certs
[mark-control-plane] Marking the node izbp1dtcbwezldtyg8ygj7z as control-plane by adding the label "node-role.kubernetes.io/master=''"
[mark-control-plane] Marking the node izbp1dtcbwezldtyg8ygj7z as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: 1zvfgx.nwsxi2lectpro9r6
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] creating the "cluster-info" ConfigMap in the "kube-public" namespace
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 172.16.66.178:6443 --token 1zvfgx.nwsxi2lectpro9r6 \
--discovery-token-ca-cert-hash sha256:1b68e57e3bf11f4c4d310172a5fdef1863bde64d11f1fc0d1e13ce37147ed4a0
根据日志提示：“Your Kubernetes control-plane has initialized successfully!”，表示成功
按照以上提示，执行以下命令复制配置文件到普通用户的 home 目录下：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
若你是 root 用户安装的，执行以下命令即可：
export KUBECONFIG=/etc/kubernetes/admin.conf
至此，Master 节点上 Kubernetes 安装完毕。但集群内还没有可用的 Node 节点，并缺乏容器网络配置。
安装 Node 节点，并加入集群（Node 节点执行）
根据上一步的日志提示执行以下命令（Then you can join any number of worker nodes by running the following on each as root:）：
# 此命令来自于 master 节点执行 kubeadm init 命令的日志提示，复制即可
kubeadm join 172.16.66.178:6443 --token 1zvfgx.nwsxi2lectpro9r6 \
--discovery-token-ca-cert-hash sha256:1b68e57e3bf11f4c4d310172a5fdef1863bde64d11f1fc0d1e13ce37147ed4a0
kubeadm 在 Master 节点也安装了 kubelet，默认情况下并不参与工作负载。若希望安装一个单机 All-In-One 的 Kubernetes 环境，需删除 Node 的 Label “node-role-kubernetes.io/master”，执行以下命令，让 Master 节点变成 Node 节点：
kubectl taint nodes --all node-role.kubernetes.io/master-
安装网络插件
根据 kubeadm init 命令的日志提示：
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
网络插件有很多选择，可以参考：https://kubernetes.io/docs/concepts/cluster-administration/addons/ 的说明。
我这里选择 Weave Net 插件，执行以下命令即可安装：
kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"
kubectl 命令自动补全功能开启
yum install -y bash-completion
source /usr/share/bash-completion/bash_completion
source <(kubectl completion bash)
验证 Kubernetes 集群是否正常
在 Master 节点执行以下命令，以验证 Kubernetes 集群相关 Pod 是否正常创建并运行：
# kubectl apply 之后，相关的 Pod 需要一定的时间重启，过一会执行即可
kubectl get pods --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-8686dcc4fd-bkwdp 1/1 Running 0 22m
kube-system coredns-8686dcc4fd-rt2pm 1/1 Running 0 22m
kube-system etcd-izbp1dtcbwezldtyg8ygj7z 1/1 Running 0 21m
kube-system kube-apiserver-izbp1dtcbwezldtyg8ygj7z 1/1 Running 0 20m
kube-system kube-controller-manager-izbp1dtcbwezldtyg8ygj7z 1/1 Running 0 20m
kube-system kube-proxy-btm7l 1/1 Running 0 8m20s
kube-system kube-proxy-cnd7h 1/1 Running 0 22m
kube-system kube-proxy-kxr6h 1/1 Running 0 8m29s
kube-system kube-scheduler-izbp1dtcbwezldtyg8ygj7z 1/1 Running 0 20m
kube-system weave-net-5f99p 2/2 Running 0 73s
kube-system weave-net-x2fhz 2/2 Running 0 73s
kube-system weave-net-zgsrk 2/2 Running 0 73s
以上 Pod 都为 Running 说明成功，若发现有状态错误的 Pod ，可以执行 kubectl --namespace=kube-system describe pod <pod_name> 来查看错误原因。
至此，通过 kubeadm 搭建 kubernetes 就完成了。若安装失败，则可执行 kubeadm reset 命令将主机恢复至原状，重新执行 kubeadm init 命令再次安装。
