为提升容器启动及运行效率,基础镜像通常精简掉了大部分操作系统组件,不含可视化依赖包、完整JDK,而只有最小安装的JRE或Headless JDK,为实现jconsole对JVM堆内存的可视化监控,需要在容器中部署完整的JDK、添加可视化依赖,并对业务进程JVM启用JMX支持。具体实现方法如下:
一、容器云环境
容器云版本:k8s 1.18.8、docker 19.03.12
节点操作系统:RHEL 7.9
基础镜像:EulerOS release 2.0 (SP5) 由应用集成商提供
JRE版本:OpenJDK 1.8.0_232
二、部署过程:
为确保基础镜像的体积不变,应避免在基础镜像安装附加软件包,而只启用JMX支持。可视化依赖可在容器运行环境中随时部署,根据需要启动监控,或引入安装有可视化软件的工具容器,实现JMX远程监控。
1、启用JMX支持
# 找到容器上运行的JVM的命令行
kubectl exec <pod_name> -n <namespace> -- bash -c "ps -ef | grep java | grep -v grep"
# 在configmap、deploy配置上搜索JAVA_OPTS配置(未找到),因此该参数可能在容器镜像的ENV中设置,搜索容器镜像的构建记录
docker history harbor1.com/project1/application:1.1 --no-trunc | grep JAVA_OPTS
# 需要重新构建新的镜像
# 在Dockerfile中重新设置JAVA_OPTS,在JAVA_OPTS中增加启用JMX的参数(黑色字体)
FROM harbor1.com/project1/application:1.1
RUN cp /opt/jre1.8.0_232/lib/management/jmxremote.password.template /opt/jre1.8.0_232/lib/management/jmxremote.password
ENV JAVA_OPTS="-Dspring.config.location=classpath:bootstrap.yml,classpath:application.yml,file:/app/application.yml -XX:+UseContainerSupport -XX:InitialRAMPercentage=85.0 -XX:MaxRAMPercentage=85.0 -Dcom.sun.management.jmxremote.port=9999 -Dcom.sun.management.jmxremote.authenticate=true -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=${SERVER_IP}"
# 执行构建,注意最后的点,新的镜像版本为1.2
docker build -t harbor1.com/project1/application:1.2 .
# 推送镜像到Harbor
docker login harbor1.com
docker push harbor1.com/project1/application:1.2
2、修改部署模板,启用新的容器镜像,触发生成新的容器
kubectl set image deployment/<deploy_name> -n <namespace> <image_name>=harbor1.com/project1/application:1.1
3、安装可视化依赖
【注意】由于在容器内挂载iso,使用本地yum源的方式存在一些困难,这里首先挂载iso,并将需要的rpm拷贝到容器内,首先安装java-1.8.0-openjdk-1.8.0.191.b12-0.h2.eulerosv2r7.x86_64.rpm,则提示存在其他lib或动态库缺失,根据缺失的lib库名在pkgs.org中找到需要安装的rpm名,这里共找到41个rpm。
【注意】由于rpm安装依赖root特权,需要使用root用户进入容器
docker exec -it -u root 50a2272edcb2 bash
【注意】因rpm之间依赖的关系不确定,需要执行多次下述命令,安装过程中一些rpm需要与devel同时执行安装,对于版本冲突的rpm需要卸载掉版本不一致的一些rpm,如libX11相关组件。
for i in `ls *.rpm`; do rpm -ivh $i; done
4、配置可视化远程连接
通常,xmanager存在一些图形适配兼容性问题,采用MobaXterm效果会好很多,使用passive模式连接图形界面,在容器内执行:
export DISPLAY="192.168.1.1:0.0"
jconsole
打开图形界面,至此大功告成。
三、总结:
该实践虽然较简单,在实施的过程中还是会遇到这样那样的问题,关键时刻借助于工具的力量很重要。