k8s二进制集群搭建

Kubernetes(K8s)-k8s服务集群安装

一、环境准备

1、机器环境

节点CPU核数必须是 ：>= 2核 ，否则k8s无法启动

DNS网络： 最好设置为 本地网络连通的DNS,否则网络不通，无法下载一些镜像

linux内核： linux内核必须是 4 版本以上，因此必须把linux核心进行升级

准备3台虚拟机环境，或者是3台阿里云服务器都可。

k8s-master01:  此机器用来安装k8s-master的操作环境

k8s-node01: 此机器用来安装k8s node节点的环境

k8s-node02: 此机器用来安装k8s node节点的环境

2、依赖环境

#1、给每一台机器设置主机名

hostnamectl set-hostname k8s-master01

hostnamectl set-hostname k8s-node01

hostnamectl set-hostname k8s-node02

#查看主机名

hostname

#配置IP host映射关系

vi/etc/hosts

192.168.66.10 k8s-master01

192.168.66.11 k8s-node01

192.168.66.12 k8s-node02

​

202.106.0.20

​

#2、安装依赖环境，注意：每一台机器都需要安装此依赖环境

yum install-yconntrack ntpdate ntp ipvsadm ipset jq iptablescurlsysstat libseccompwgetvimnet-toolsgitiproute lrzsz bash-completion tree bridge-utils unzip bind-utilsgcc

​

#3、安装iptables，启动iptables，设置开机自启，清空iptables规则，保存当前规则到默认规则

# 关闭防火墙

systemctlstopfirewalld && systemctl disable firewalld

# 置空iptables

yum-yinstall iptables-services && systemctlstartiptables && systemctl enable iptables && iptables-F&&serviceiptables save

​

#4、关闭selinux

​

#闭swap分区【虚拟内存】并且永久关闭虚拟内存

swapoff-a&&sed-i'/ swap / s/^\(.*\)$/#\1/g'/etc/fstab

#关闭selinux

setenforce0&&sed-i's/^SELINUX=.*/SELINUX=disabled/'/etc/selinux/config

​

​

#5、升级Linux内核为4.44版本

rpm-Uvhhttp://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm

#安装内核

yum--enablerepo=elrepo-kernel install-ykernel-lt

#设置开机从新内核启动

grub2-set-default'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'

#注意：设置完内核后，需要重启服务器才会生效。

#查询内核

uname-r

​

#########################################################################

​

#6、调整内核参数，对于k8s

cat> kubernetes.conf <

net.bridge.bridge-nf-call-iptables=1

net.bridge.bridge-nf-call-ip6tables=1

net.ipv4.ip_forward=1

net.ipv4.tcp_tw_recycle=0

vm.swappiness=0

vm.overcommit_memory=1

vm.panic_on_oom=0

fs.inotify.max_user_instances=8192

fs.inotify.max_user_watches=1048576

fs.file-max=52706963

fs.nr_open=52706963

net.ipv6.conf.all.disable_ipv6=1

net.netfilter.nf_conntrack_max=2310720

EOF

​

#将优化内核文件拷贝到/etc/sysctl.d/文件夹下，这样优化文件开机的时候能够被调用

cpkubernetes.conf /etc/sysctl.d/kubernetes.conf

#手动刷新，让优化文件立即生效

sysctl-p/etc/sysctl.d/kubernetes.conf

​

​

#7、调整系统临时区 --- 如果已经设置时区，可略过

#设置系统时区为中国/上海

timedatectl set-timezone Asia/Shanghai

#将当前的 UTC 时间写入硬件时钟

timedatectl set-local-rtc0

#重启依赖于系统时间的服务

systemctlrestartrsyslog

systemctlrestartcrond

​

#7、关闭系统不需要的服务

systemctlstoppostfix && systemctl disable postfix

​

​

#8、设置日志保存方式

#1）.创建保存日志的目录

mkdir/var/log/journal

#2）.创建配置文件存放目录

mkdir/etc/systemd/journald.conf.d

#3）.创建配置文件

cat> /etc/systemd/journald.conf.d/99-prophet.conf <

[Journal]

Storage=persistent

Compress=yes

SyncIntervalSec=5m

RateLimitInterval=30s

RateLimitBurst=1000

SystemMaxUse=10G

SystemMaxFileSize=200M

MaxRetentionSec=2week

ForwardToSyslog=no

EOF

​

#4）.重启systemd journald的配置

systemctlrestartsystemd-journald

​

#9、打开文件数调整 (可忽略，不执行)

echo"* soft nofile 65536">> /etc/security/limits.conf

echo"* hard nofile 65536">> /etc/security/limits.conf

​

#10、kube-proxy 开启 ipvs 前置条件

modprobe br_netfilter

cat> /etc/sysconfig/modules/ipvs.modules <

#!/bin/bash

modprobe--ip_vs

modprobe--ip_vs_rr

modprobe--ip_vs_wrr

modprobe--ip_vs_sh

modprobe--nf_conntrack_ipv4

EOF

##使用lsmod命令查看这些文件是否被引导

chmod755/etc/sysconfig/modules/ipvs.modules &&bash/etc/sysconfig/modules/ipvs.modules && lsmod |grep-eip_vs-enf_conntrack_ipv4

​

3、docker部署

#1、安装docker

yum install-yyum-utils device-mapper-persistent-data lvm2

​

#紧接着配置一个稳定（stable）的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.repo文件中

yum-config-manager--add-repohttps://download.docker.com/linux/centos/docker-ce.repo

​

#更新Yum安装的相关Docke软件包&安装Docker CE

yum update-y&& yum install docker-ce

​

#2、设置docker daemon文件

#创建/etc/docker目录

mkdir/etc/docker

#更新daemon.json文件

cat> /etc/docker/daemon.json <

{"exec-opts": ["native.cgroupdriver=systemd"],"log-driver":"json-file","log-opts": {"max-size":"100m"}}

EOF

#注意： 一定注意编码问题，出现错误：查看命令：journalctl -amu  docker 即可发现错误

​

#创建，存储docker配置文件

mkdir-p/etc/systemd/system/docker.service.d

​

#3、重启docker服务

systemctl daemon-reload && systemctlrestartdocker && systemctl enable docker

4、kubeadm

#1、安装kubernetes的时候，需要安装kubelet, kubeadm等包，但k8s官网给的yum源是packages.cloud.google.com，国内访问不了，此时我们可以使用阿里云的yum仓库镜像。

cat< /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

repo_gpgcheck=0

gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg

      http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

​

#2、安装kubeadm、kubelet、kubectl

yum install-ykubeadm-1.15.1 kubelet-1.15.1 kubectl-1.15.1

# 启动 kubelet

systemctl enable kubelet && systemctlstartkubelet

​

二、集群安装

1、依赖镜像

上传镜像压缩包，把压缩包中的镜像导入到本地镜像仓库

编写脚本问题，导入镜像包到本地docker镜像仓库：

# kubeadm 初始化k8s集群的时候，会从gce Google云中下载（pull）相应的镜像,且镜像相对比较大，下载比较慢，且需要解决科学上网的一个问题，国内上goole，懂得...........

​

#1、导入镜像脚本代码  （在任意目录下创建sh脚本文件：image-load.sh）

#!/bin/bash

#注意 镜像解压的目录位置

ls/root/kubeadm-basic.images > /tmp/images-list.txt

cd/root/kubeadm-basic.images

foriin$(cat /tmp/images-list.txt)

do

docker load-i$i

done

rm-rf/tmp/images-list.txt

​

#2、修改权限，可执行权限

chmod755image-load.sh

​

#3、开始执行,镜像导入

./image-load.sh

​

#4、传输文件及镜像到其他node节点

#拷贝到node01节点

scp-rimage-load.sh kubeadm-basic.images root@k8s-node01:/root/

#拷贝到node02节点

scp-rimage-load.sh kubeadm-basic.images root@k8s-node02:/root/

​

#其他节点依次执行sh脚本，导入镜像

导入成功后镜像仓库如下图所示：

2、k8s部署

#初始化主节点 --- 只需要在主节点执行

​

#1、拉去yaml资源配置文件

kubeadm config print init-defaults > kubeadm-config.yaml

​

#2、修改yaml资源文件

    localAPIEndpoint:

    advertiseAddress:192.168.66.10# 注意：修改配置文件的IP地址

    kubernetesVersion: v1.15.1#注意：修改版本号，必须和kubectl版本保持一致

    networking:

    # 指定flannel模型通信 pod网段地址,此网段和flannel网段一致

    podSubnet:"10.244.0.0/16"

    serviceSubnet:"10.96.0.0/12"

    #指定使用ipvs网络进行通信

    ---

    apiVersion: kubeproxy.config.k8s.io/v1alpha1

    kind: kubeProxyConfiguration

    featureGates:

    SupportIPVSProxyMode:true

    mode: ipvs

​

#3、初始化主节点，开始部署

kubeadm init--config=kubeadm-config.yaml--experimental-upload-certs|teekubeadm-init.log

#注意：执行此命令，CPU核心数量必须大于1核，否则无法执行成功

​

kubernetes主节点初始化成功后，如下所示：

按照k8s指示，执行下面的命令：

​

#4、初始化成功后执行如下命令

#创建目录，保存连接配置缓存，认证文件

mkdir-p$HOME/.kube

#拷贝集群管理配置文件

cp-i/etc/kubernetes/admin.conf$HOME/.kube/config

#授权给配置文件

chown$(id -u):$(id -g)$HOME/.kube/config

​

执行命令前查询node:

执行命令后查询node:

我们发现已经可以成功查询node节点信息了，但是节点的状态却是NotReady,不是Runing的状态。原因是此时我们使用ipvs+flannel的方式进行网络通信，但是flannel网络插件还没有部署，因此节点状态此时为NotReady

3、flannel插件

#部署flannel网络插件 --- 只需要在主节点执行

#1、下载flannel网络插件

wgethttps://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

​

#2、部署flannel

kubectl create-fkube-flannel.yml

​

#也可进行部署网络

kubectl apply-fhttps://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

部署完毕查询pod,发现一些异常错误现象：

发现通过flannel部署的pod都出现pending,ImagePullBackOff这样的问题：

查询日志信息，发现了一些错误：

#查询一个pod的详细信息

kubectl describe pod kube-flannel-ds-amd64-jd67h-nkube-system

kubectl apply-fkube-flannel.yml#服务已正常启动

​

部署flannel网络插件时候，注意网络连通的问题：

4、节点Join

构建kubernetes主节点成功，会产生一个日志文件（命令中指定日志输出文件 “tee kubeadm-init.log”），内容如下所示：

红色 部分给出的命令即是把其他节点加入进来的命令。

# 加入主节点以及其余工作节点，执行安装日志中的命令即可

#查看日志文件

cat kubeadm-init.log

# 负责命令到其他几个node节点进行执行即可

kubeadm join 192.168.66.10:6443 --token abcdef.0123456789abcdef \

    --discovery-token-ca-cert-hash sha256:6d8aad1451c1303ee52aada4ea2351e8c8d64863b074628586535d0d369ca2c2

执行完毕，查看效果如下所示：

发现还有一些节点处于NotReady状态，是因为这些节点pod容器还处于初始化的状态，需要等一点时间：

更详细查看命令，可以看见初始化节点所属节点：

# 查询工作空间中pod容器的详细信息

kubectl get pod -n kube-system -o wide

5、私有仓库

#私有仓库搭建 harbor

# 伪造证书

"insecure-registries": ["https://hub.kaikeba.com"]

# 把证书添加/etc/docker/daemon.json文件中，其的每一个节点都做如下模式添加：伪造证书

{"exec-opts": ["native.cgroupdriver=systemd"],"log-driver": "json-file","log-opts": {"max-size": "100m"},"insecure-registries": ["https://hub.kaikeba.com"]}

# node01 添加 "insecure-registries": ["https://hub.kaikeba.com"]

# node02 添加 "insecure-registries": ["https://hub.kaikeba.com"]

# 伪造证书

vi /etc/docker/daemon.json

#更详细教程，参考私有仓库构建md文档

6、案例实战

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,456评论 5赞 477
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,370评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,337评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,583评论 1赞 273
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,596评论 5赞 365
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,572评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,936评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,595评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,850评论 1赞 297
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,371评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,951评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2赞 342