安装kubernetes,我的实验笔记
在ubuntu上安装
在每个节点执行1-3步骤。假设有两个节点:k8s-cluster,k8s-node1
分别编辑/etc/hostname修改主机名为k8s-cluster,k8s-node1。编辑/etc/hosts修改主机映射。
1. 使用阿里云系统的kubernetes源:
$ cat /etc/apt/sources.list
# 系统安装源
deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted
deb http://mirrors.aliyun.com/ubuntu/ xenial universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
deb http://mirrors.aliyun.com/ubuntu/ xenial multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
# kubeadm及kubernetes组件安装源
deb https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial main
该步骤可以直接使用以下快捷命令:
cat <<EOF | sudo tee /etc/apt/sources.list
# 系统安装源
deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted
deb http://mirrors.aliyun.com/ubuntu/ xenial universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
deb http://mirrors.aliyun.com/ubuntu/ xenial multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
# kubeadm及kubernetes组件安装源
deb https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial main
EOF
2. 更新源并安装kubeadm, kubectl, kubelet软件包
apt-get update -y && apt-get install -y kubelet kubeadm kubectl --allow-unauthenticated
3. 在两个节点关闭swap
#编辑/etc/fstab,注释UUID、/dev/fd0开头的这两行(最后两行)
==因为Kubernetes v1.8+ 要求关闭系统 Swap==
或者可以直接运行命令:
sudo swapoff -a
4. 使用kubeadmin初始化master节点
由于这个下载镜像的过程涉及翻墙,因为会从gcr的站点下载容器镜像。
由于网络原因。可以先执行命令预下载镜像,再初始化。
执行命令:
docker pull mirrorgooglecontainers/kube-apiserver-amd64:v1.13.2
docker pull mirrorgooglecontainers/kube-controller-manager-amd64:v1.13.2
docker pull mirrorgooglecontainers/kube-scheduler-amd64:v1.13.2
docker pull mirrorgooglecontainers/kube-proxy-amd64:v1.13.2
docker pull mirrorgooglecontainers/pause:3.1
docker pull mirrorgooglecontainers/etcd-amd64:3.2.24
docker pull coredns/coredns:1.2.6
docker tag docker.io/mirrorgooglecontainers/kube-proxy-amd64:v1.13.2 k8s.gcr.io/kube-proxy:v1.13.2
docker tag docker.io/mirrorgooglecontainers/kube-scheduler-amd64:v1.13.2 k8s.gcr.io/kube-scheduler:v1.13.2
docker tag docker.io/mirrorgooglecontainers/kube-apiserver-amd64:v1.13.2 k8s.gcr.io/kube-apiserver:v1.13.2
docker tag docker.io/mirrorgooglecontainers/kube-controller-manager-amd64:v1.13.2 k8s.gcr.io/kube-controller-manager:v1.13.2
docker tag docker.io/mirrorgooglecontainers/etcd-amd64:3.2.24 k8s.gcr.io/etcd:3.2.24
docker tag docker.io/mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
docker tag docker.io/coredns/coredns:1.2.6 k8s.gcr.io/coredns:1.2.6
镜像准备好后开始真正初始化master节点:
kubeadm init --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=100.98.136.190
如果出错,执行下面命令之后,再执行kubeadm init
kubeadm reset
这里假定master的IP是100.98.136.190,可以执行ip r来查看。
执行以下命令可以观察配置文件来参考做kubeadm init.
kubeadm config print init-defaults ClusterConfiguration >kubeadm.conf
5.在k8s-cluster配置kubectl
$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config
6.在k8s-cluster安装 Pod 网络
有各种网络方案可以选择,如flannel,canal等。可以参考这里
根据kubeadm init时用到的--pod-network-cidr=10.244.0.0/16,所以选择了canal.
(切换网络方法:
每个节点执行:kubeadm reset
然后重新kubeadm init,然后再做后面的步骤。
)
执行以下两条命令:
#配置canal的RBAC权限
kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/canal/rbac.yaml
部署canal的DaemonSet
kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/canal/canal.yaml
执行如下命令,可以就可以查看canal的安装状态了
kubectl get pod -n kube-system -o wide
7. Slave节点加入集群
打开另一台虚拟机(k8s-node1),执行如下命令,就可以把这台Node节点的机器加入到集群中:
$ kubeadm join 100.98.136.190:6443 --token aoanr5.geidnr74gvp5xrlc --discovery-token-ca-cert-hash sha256:beb198cf8a70ff17c96b387b06de16d6973f9b8cacb1a8e1586b52ff5f84db0c
这里的token、discovery-token-ca-cert-hash 用命令查看:
kubeadm token list
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
在master机器上执行
kubectl get nodes
可以看到node1已经加入集群
如果发现节点都是notready,可以执行:
kubectl get pod --all-namespaces,
找一个pod执行以下命令查看一下event,很可能是网络原因:
kubectl describe pod coredns-86c58d9df4-z6k2x --namespace=kube-system
我这边确实是网络原因,需要再node1节点执行命令预下载镜像,具体参照步骤4
8.(可选)安装k8s通用的Web UI(Dashboard)
在https://hub.docker.com/搜索kubernetes-dashboard-amd64,找一个合适的镜像下载,选择后下载并重新tag:
docker pull mirrorgooglecontainers/kubernetes-dashboard-amd64:v1.10.1
docker tag mirrorgooglecontainers/kubernetes-dashboard-amd64:v1.10.1 k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.1
下载kubernetes-dashbord YAML文件
curl -O http://mirror.faasx.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml
开始修改YAML文件,修改内容如下:
image: k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.1
即刚下载并tag的镜像。然后执行apply 命令部署dashboard
kubectl apply -f kubernetes-dashboard.yaml
将Service改为Node Port方式,这样外网就能进行访问了:
kubectl patch svc kubernetes-dashboard -p '{"spec":{"type":"NodePort"}}' -n kube-system
查看svc端口:
kubectl get svc -n kube-system
根据端口,浏览器访问:https://100.98.136.190:<port>
dashboard可以有两种访问方式:kubeconfig(HTTPS)和token(http)
1、token认证
(1)创建dashboard专用证书
(umask 077;openssl genrsa -out dashboard.key 2048)
(2)证书签署请求
openssl x509 -req -in dashboard.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -out dashboard.crt -days 365
(3)定义令牌方式仅能访问default名称空间
kubectl create secret generic dashboard-cert -n kube-system --from-file=./dashboard.crt --from-file=dashboard.key=./dashboard.key #secret创建
kubectl get secret -n kube-system |grep dashboard
kubectl create serviceaccount def-ns-admin -n default #创建serviceaccount
kubectl create rolebinding def-ns-admin --clusterrole=admin --serviceaccount=default:def-ns-admin #service account账户绑定到集群角色admin
kubectl describe secret def-ns-admin-token-k9fz9 #查看def-ns-admin这个serviceaccount的token,通过kubectl get secret |grep def-ns-admin命令查找这个secret
将该token复制后,填入验证,要知道的是,该token认证仅可以查看default名称空间的内容
2、kubeconfig认证
(1)配置def-ns-admin的集群信息
kubectl config set-cluster kubernetes --certificate-authority=/etc/kubernetes/pki/ca.crt --server="https://100.98.136.190:6443" --embed-certs=true --kubeconfig=/root/def-ns-admin.conf
(2)使用token写入集群验证
kubectl config set-credentials -h #认证的方式可以通过crt和key文件,也可以使用token进行配置,这里使用tonken
kubectl describe secret def-ns-admin-token-k9fz9
#这里的token是base64编码,此处需要进行解码操作
kubectl get secret def-ns-admin-token-k9fz9 -o jsonpath={.data.token} |base64 -d <token>
#配置token信息
kubectl config set-credentials def-ns-admin --token=<token>
(3)配置上下文和当前上下文
kubectl config set-context def-ns-admin@kubernetes --cluster=kubernetes --user=def-ns-admin --kubeconfig=/root/def-ns-admin.conf
kubectl config use-context def-ns-admin@kubernetes --kubeconfig=/root/def-ns-admin.conf
kubectl config view --kubeconfig=/root/def-ns-admin.conf
将/root/def-ns-admin.conf文件发送到宿主机,浏览器访问时选择Kubeconfig认证,载入该配置文件,点击登陆,即可实现访问