背景:
1、flink on yarn
2、某一天本人提交flink任务,.原命令/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024,正常启动,我调大了-ytm为2048.程序一直报Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster,但实际上,整个集群内存很充足,我就懵逼了。
3、开启解惑之旅。
解惑记录如下,希望同样问题的小伙伴可以借鉴一下。
出现这个问题,我首先想到了我前几天调的yarn参数,yarn.nodemanager.vmem-pmem-ratio调了值为5,这个是虚拟内存和真实物理内存的比率,这参数默认值为2.1,我把yarn.nodemanager.vmem-pmem-ratio 调小为3.然后运行
./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 2048 -ynm xxxx -d -c com.xxx.flink.app.xxxx /var/apps/xxx-xxx.jar 正常启动。
有感:比如yarn-参数 一般是作为基础参数, yarn启动之后一般不做修改,那就设置为偏小或者最小值 ,然后每次给作业job分配的时候就按实际的申请就可以了