第十五次早课
1、shuffle 聊聊你们的理解
洗牌
2、mr的执行流程,大概分为两大步,简述
1.第一个阶段是启动ApplicationMaster
2.第二个阶段是由ApplicationMaster创建应用程序,为它申请资源,并监控它的整个运行过程,直到运行完成
3、hdfs的报告的命令
hdfs dfsadmin -report
4、检查的命令
hdfs fsck /
5、多台机器数据不均衡,该怎么办
hdfs balancer
6、多个磁盘 不均衡,该怎么办
详情请看整个: https://hadoop.apache.org/docs/r3.0.0-alpha2/hadoop-project-dist/hadoop-hdfs/HDFSDiskbalancer.html
7、hadoop fs和什么一样
hdfs dfs
8、默认开启回收站?
不是
9、删除时,想要跳过回收站,加什么参数
-skipTrash
10、hdfs的写流程是input还是output
output
11、NameNode是干什么的,存储什么
NameNode是文件系统的命名空间,存储:维护文件系统树及整个树内的所有文件和目录,这些信息以两种文件形式永久保存在本地磁盘
12、260M文件,多少块,存储规格多少?
9块,存储规格是1152M
13、snn多久干活一次
3600秒
14、启动顺序 nn dn snn?
对的
15、hdfs yarn都属于什么架构设计
主从架构设计
16、提交一个文件到hdfs上,假如本节点是DN,请问第一个块写在哪
本地
17、补充: 在企业里,正常是把dn nm这两个进程部署同一台机器,那么请问为什么这样做
因为计算时假如数据和计算在同一个节点,那么必然效率高
18、bin和sbin文件夹是干什么的
bin:操作命令
sbin:启动服务
19、现在的hadoop版本,我们要启动jobtracker,tasktracker吗
不用
20、谈谈你们对容器container的理解
21、MySQL的SQL语句,group by后面一般还有什么
having
22、假如分组和排序结合,那么这个sql怎么写?
select 字段1,字段2 from 表名 group by 分组条件 order by 排序条件
23、按班级分组,然后按语文成绩由大到小排序的
select * from student group by grade order by chinesescorce;
24、按班级分组,然后按语文,数学,英语总成绩由大到小排序的,只取每个班级的前五名
SELECT * FROM (
SELECT name,class,sum(chinese+math+english) cengji
from aaa GROUP BY name,class
) a
WHERE 5>(
SELECT COUNT(*) FROM (
SELECT name,class,SUM(english+chinese+math) cengji
FROM aaa GROUP BY name,class) b
WHERE b.class=a.class and b.cengji>a.cengji)
ORDER BY a.class,a.cengji DESC;