1. 配置动态资源池目的
2. 操作步骤
2.1 开启 HDFS 权限检查（默认是开启的）
HDFS权限
2.2 给集群创建新用户, 以 bi_dev 为例。
// 创建用户组
# groupadd bi_dev
// 创建用户
# useradd -s /bin/sh -g bi_dev -d /usr/bi_dev -m bi_dev
// 设置密码
# passwd bi_dev
// hdfs 创建用户目录
# sudo -u hdfs hdfs dfs -mkdir /user/bi_dev
// 修改用户权限
# sudo -u hdfs hdfs dfs -chown bi_dev:bi_dev /user/bi_dev
3. 运行MapReduce程序 WordCount
# echo "Hello World, hello Belle." > file0
# echo "Hello Wille, hello BB." > file1
# hdfs dfs -mkdir -p /user/bi_dev/wordcount/input
# hdfs dfs -put file* /user/bi_dev/wordcount/input
# hadoop jar /usr/local/cloudera/parcels/CDH/jars/hadoop-examples.jar wordcount wordcount/input wordcount/output
# hdfs dfs -getmerge wordcount/output output.txt
# cat output.txt
Belle. 1
hello 2
BB. 1
Wille, 1
Hello 2
World, 1
4. 开启资源管理器 ACL ， 并设置相应的ACL（Admin ACL）
ACL配置
- 选中启动REsourceManager ACL
- 设置管理ACL用户和用户组
其中yarn.acl.enable默认值为true。而对于yarn.admin.acl默认值为*，意味着所有人都可以管理Resource Manager (比如运行yarn rmadmin)、管理已提交 (比如取消 kill) 的任务。
格式：用户1,用户2,用户3 用户组1,用户组2,用户组3
PS：用户和用户组之间必须有个空格，
5. 关闭未声明资源池的自动生成
未声明的池
- 默认情况下，"Allow Undeclared Pools"可选项是选中的，需要关闭。否则如果用户指定一个尚未声明的资源池时，比如prod，YARN将会自动生成一个prod资源池。配置文件修改后需要重新启动YARN服务，重新部署客户端配置。
6. 配置“若用户提交任务不指定特定的queue，就使用 default 资源池”
默认队列配置
7. 进去动态资源池配置页面
动态资源池配置入口
动态资源池配置操作界面
7.1 资源池（ 资源分配界面）。
主要配置项：
权重（%）：动态权重，资源不是静态的，去其他池相关的资源共享
最大最小CPU、内存
正在运行的应用程序最大数量
计划策略
创建资源池
创建资源池
7.2 配置计划策略（对单独资源池控制）
配置计划策略
7.3 提交访问控制（对单独资源池控制）
提交访问控制
7.4 管理访问控制 （对单独资源池控制）
管理访问控制
7.5 验证访问控制
新建
用户: yan.jy
用户组：wms
初始化wordCount数据，见步骤3
在执行 hadoop 命令内加入资源池控制，如下图
验证资源池控制
8. 计划模式（资源池配置集）
可以根据不同时段使用不同的资源池配置。
计划模式
配置了计划模式，资源池会有多套配置，如下图：
配置集
计划规则主要控制配置有效时间段，创建计划规则如下图：
计划规则
9. 放置规则
主要作用：控制任务（Job、Task）使用资源池规则，即任务会根据以下规则放到对应资源池执行。
放置规则
10. 用户限制
主要作用：控制单个用户最大应用程序并发度。
image.png
