问题现象：当pod长时间处于容器创建中时，describe查看pod event 时,最后有显示 no space left on device或no allocated memory，很可能就是出现节点内存溢出的问题。
确认问题：登录节点查看，执行如下两条命令检查
无异常
#cat /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo
cat: /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo: Input/output error
# cat /sys/fs/cgroup/memory/kubepods/burstable/memory.kmem.usage_in_bytes
cat: /sys/fs/cgroup/memory/kubepods/burstable/memory.kmem.usage_in_bytes: No such file or directory
有异常，内存溢出
#cat /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
#
# cat /sys/fs/cgroup/memory/kubepods/burstable/memory.kmem.usage_in_bytes
1654354344
问题原因：先了解有这么一回事就行
cgroup 的 kmem account 特性在 3.x 内核上有内存泄露问题，如果开启了 kmem account 特性 会导致可分配内存越来越少，直到无法创建新 pod 或节点异常。
几点解释：
kmem account 是cgroup 的一个扩展，全称CONFIG_MEMCG_KMEM，属于机器默认配置，本身没啥问题，只是该特性在 3.10 的内核上存在漏洞有内存泄露问题，4.x的内核修复了这个问题。
因为 kmem account 是 cgroup 的扩展能力，因此runc、docker、k8s 层面也进行了该功能的支持，即默认都打开了kmem 属性
因为3.10 的内核已经明确提示 kmem 是实验性质，我们仍然使用该特性，所以这其实不算内核的问题，是 k8s 兼容问题。
原理解释：
kmem 是什么
kmem 是cgroup 的一个扩展，全称CONFIG_MEMCG_KMEM，属于机器默认配置。
内核内存与用户内存：
内核内存：专用于Linux内核系统服务使用，是不可swap的，因而这部分内存非常宝贵的。但现实中存在很多针对内核内存资源的攻击，如不断地fork新进程从而耗尽系统资源，即所谓的“fork bomb”。
为了防止这种攻击，社区中提议通过linux内核限制 cgroup中的kmem 容量，从而限制恶意进程的行为，即kernel memory accounting机制。
使用如下命令查看KMEM是否打开
[root@VM-16-10-centos ~]# cat /boot/config-`uname -r`|grep CONFIG_MEMCG
CONFIG_MEMCG=y
CONFIG_MEMCG_SWAP=y
CONFIG_MEMCG_SWAP_ENABLED=y
CONFIG_MEMCG_KMEM=y
解决方案：
采用编译kubelet ,和runc 替换原来的方式，重启节点恢复
我的集群版本时1.16.14，go版本至少为1.13.4
一、需要重新编译runc
1，配置go语言环境
wget https://dl.google.com/go/go1.13.4.linux-amd64.tar.gz
tar xf go1.13.4.linux-amd64.tar.gz -C /usr/local/
写入bashrc
vim ~/.bashrc
export GOPATH="/data/Documents"
export GOROOT="/usr/local/go"
export PATH="$GOROOT/bin:$GOPATH/bin:$PATH"
export GO111MODULE=off
验证
source ~/.bashrc
go version
2,下载runc源码
mkdir -p ~/runc/
cd ~/runc/
git clone https://github.com/opencontainers/runc
cd runc/
git checkout v1.0.0-rc9 # 表示切到v1.0.0-rc9 tag（游离）
3,编译runc
安装编译组件
sudo yum install libseccomp-devel
make BUILDTAGS='seccomp nokmem'
编译完成之后会在当前目录下看到一个runc的可执行文件，等kubelet编译完成之后会将其替换
二、编译kubelet
1,下载kubelet源码
mkdir -p /root/k8s/
cd /root/k8s/
git clone https://github.com/kubernetes/kubernetes
cd kubernetes/
git checkout v1.16.14
2,制作编译环境的镜像（Dockerfile如下）
FROM centos:centos7.3.1611
ENV GOROOT /usr/local/go
ENV GOPATH /usr/local/gopath
ENV PATH /usr/local/go/bin:$PATH
RUN yum install rpm-build which where rsync gcc gcc-c++ automake autoconf libtool make -y
RUN curl -L https://studygolang.com/dl/golang/go1.13.4.linux-amd64.tar.gz | tar zxvf - -C /usr/local
#执行镜像构建
docker build -t build-k8s:1.16.14 ./ -f ./Dockerfile
3,在制作好的go环境镜像中来进行编译kubelet（注意生成的kubelet 会在_output/bin/目录下，需要挪用到/root/k8s/kubernetes目录）
# 运行容器
docker run -it --rm -v /root/k8s/kubernetes:/usr/local/gopath/src/k8s.io/kubernetes build-k8s:1.16.14 bash
cd /usr/local/gopath/src/k8s.io/kubernetes
#编译
GO111MODULE=off KUBE_GIT_TREE_STATE=clean KUBE_GIT_VERSION=v1.16.14
make kubelet GOFLAGS="-tags=nokmem"
4，替换原有的runc和kubelet
cp /root/k8s/kubernetes/kubelet /usr/bin/kubelet
cp /root/k8s/kubernetes/kubelet /usr/local/bin/kubelet
cp /root/runc/runc/runc /usr/bin/docker-runc
三，检查kmem是否关闭前需要将此节点的Pod杀掉重启或者重启服务器，当结果为0时成功
cat /sys/fs/cgroup/memory/kubepods/burstable/memory.kmem.usage_in_bytes
其他方式：暂未尝试
修改虚机启动的引导项 grub 中的cgroup.memory=nokmem，让机器启动时直接禁用 cgroup的 kmem 属性
修改/etc/default/grub 为：
GRUB_CMDLINE_LINUX="crashkernel=auto net.ifnames=0 biosdevname=0 intel_pstate=disable cgroup.memory=nokmem"
生成配置：
/usr/sbin/grub2-mkconfig -o /boot/grub2/grub.cfg
重启机器：
reboot
验证：
cat /sys/fs/cgroup/memory/kubepods/burstable/pod*/*/memory.kmem.slabinfo 无输出即可。
这个方式对一些机器生效，但有些机器替换后没生效，且这个操作也需要机器重启，暂时不采纳
