DOCKER容器监控CPU使用率为0的问题分析

一、问题现象

1、主机上面所有docker容器通过docker stats获取不到动态的资源利用率；docker top无进程信息.

2、但是各个容器正常运行，容器内部进程可以正确查询到，并且容器承载的服务正常

二、问题分析

因为只是资源使用和进程信息从宿主机侧无法获取，怀疑跟docker使用cgroup实现资源隔离控制有关系，查看了容器对应的cpu/mem等的cgroup组cgroup.procs文件，发现该文件中对应的进程组丢失。但是对于为何出现这种现象，咨询了现场同事，一开始反馈没有对环境做过特殊操作，家里实验室环境也反馈未进行特殊操作和配置，一时感觉问题现象和实际情况无法匹配，同事一开始怀疑是docker资源计算的问题，研究了docker资源利用率计算代码，通过命令行和api获取资源数据发现压根没有更新，最终确认该问题跟资源计算无关。

继续朝着cgroup的方向怀疑和分析，查看了部分git问题和systemd的一些问题修改，坚定认为还是cgroup问题。

三、问题复现场景

问题复现步骤：

a:启动一个容器：docker run -tid 10.1.245.31:5000/tomcat_hps:1.0

b: 重新加载systemd的配置：systemctl daemon-reload

c: 重启主机上面任意一个systemd控制的服务（非docker）：systemctl restart sshd

执行完上面步骤a之后，容器正确拉起，并且可以通过docker top查询到进程信息，通过docker stats获取资源使用情况；执行完步骤c，之后再次查看该容器，发现docker top无进程信息，docker stats 不再更新；同时查看容器对应的cgroup下面的进程信息为空。详细参加下面截图：

四、问题确认

1、跟现场确认出现问题的时候确实是增加了容器清理服务，通过systemd管理,执行了systemctl deamon-reload和启动相应服务的操作,已经基本印证了实验室复现场景的正确性。

2、家里的测试环境也存在出现问题的容器，根据时间点确认，明确也是进行了复现场景中的操作，对于操作之前拉起的容器全部都是处于该状态。

五、问题解决

1、如果针对单个容器，通过获取该容器对应的进程信息，把对应的进程信息写入到容器相关的cgroup组里面，即可正确管理到该容器

2、如上1配置方法中涉及容器的多个cgroup组目录并且配置步骤很繁琐，对于现场情况建议修改docker服务的一个配置，Delegate=true 逐个重启docker ，配置参见下图。

六、问题溯源

1、对于docker-1.9的版本之前对于cgroup驱动docker默认采用的是systemd，但是该驱动存在很多问题以前互联网中心已经定位过，比如cgroup.procs文件丢失等，docker官方已经建议修改cgroup驱动配置采用cgroupfs驱动

2、我们执行了复现问题的步骤systemd其实是要重置crgoup中的进程信息，但是由于我们对于docker使用了cgroupfs驱动，服务通过systemd管理的配置单元中没有打开Delegate配置，对于非systemd创建和管理的cgroup组无法正确reset，导致容器cgroup组无法正常使用。说白了就是没使用systemd的默认驱动，但是我们的进程管理又是采用systemd控制的，systemd对于别的驱动管理的子cgroup组没有正确管理。

3、通过systemctl配置的服务，未使用默认的cgroup驱动管理的，可以通过修改服务配置，打开一个配置Delegate=true，使之可以正确的对服务单元内部的资源管理更进一步的划分和分配。

4、对于采用systemd管理服务，同时默认使用systemd驱动管理cgroup,也做了验证，如下图，使用问题复现步骤不会出现cgroup进程组丢失的问题，但是由于systemd驱动已确认存在问题并且docker高版本默认不使用，同时对于docker高版本提供的默认service配置中Delegate开关已经默认打开。