1.使用explain查看执行计划
建表优化
2.开启动态分区配置,使用分区过滤
3.分桶表
select * from stu_buck tablesample(bucket 1 out of 4 on id)
例如，table总bucket数为32，tablesample(bucket 3 out of 16)，表示总共抽取
（32/16=）2个bucket的数据，分别为第3个bucket和第（3+16=）19个bucket的数据
语法优化
a. 分区过滤和列过滤，减少数据量和降低读取开销
b. group by分组聚合时使用map端聚合。
set hive.map.aggr=true;
set hive.groupby.mapaggr.checkinterval = 100000;
set hive.groupby.skewindata = true;
(有数据倾斜时负载均衡)
c. 矢量化查询
set hive.vectorized.execution.enabled = true;
set hive.vectorized.execution.reduce.enabled = true;
d. 使用left semi join替换in/exists
e. 开启基于成本的优化
set hive.cbo.enable=true;
set hive.compute.query.using.stats=true;
set hive.stats.fetch.column.stats=true;
set hive.stats.fetch.partition.stats=true;
f.谓词下推(PredicatePushDown)
set hive.optimize.ppd = true; #谓词下推，默认是 true
g.大表join小表，使用mapjoin,避免reducer处理
set hive.auto.convert.join=true; #默认为 true
set hive.mapjoin.smalltable.filesize=100000000;
h.大表、大表 SMB Join（重点）
set hive.optimize.bucketmapjoin = true;
set hive.optimize.bucketmapjoin.sortedmerge = true;
set
hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat;
数据倾斜
1.单表倾斜
当任务中存在 GroupBy 操作同时聚合函数为 count 或者 sum 可以设置参数来处理数据
倾斜问题。
set hive.map.aggr = true;
set hive.groupby.mapaggr.checkinterval = 100000;
有数据倾斜的时候进行负载均衡（默认是 false）
set hive.groupby.skewindata = true;
增加reduce个数
2.多表倾斜
使用参数
join 的键对应的记录条数超过这个值则会进行分拆，值根据具体数据量设置
set hive.skewjoin.key=100000;
如果是 join 过程出现倾斜应该设置为 true
set hive.optimize.skewjoin=true;
Mapjoin
hive job优化
复杂文件增加 Map 数
set mapreduce.input.fileinputformat.split.maxsize=100;
小文件进行合并
在map执行前合并小文件
set hive.input.format=
org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
在 Map-Reduce 的任务结束时合并小文件的设置
在 map-only 任务结束时合并小文件，默认 true
set hive.merge.mapfiles = true;
在 map-reduce 任务结束时合并小文件，默认 false
set hive.merge.mapredfiles = true;
合并文件的大小，默认 256M
set hive.merge.size.per.task = 268435456;
当输出文件的平均大小小于该值时，启动一个独立的 map-reduce 任务进行文件 merge
set hive.merge.smallfiles.avgsize = 16777216;
合理设置 Reduce 数
set mapreduce.job.reduces=10;
推测执行
hive.mapred.reduce.tasks.speculative.execution=true
并行执行
set hive.exec.parallel=true; //打开任务并行执行，默认为 false
set hive.exec.parallel.thread.number=16; //同一个 sql 允许最大并行度，默认为 8
JVM 重用
set mapred.job.reuse.jvm.num.tasks=20
小文件过多的时候使用。
hive资源分配
set mapreduce.map.memory.mb=8192;
set mapreduce.reduce.memory.mb=8192;
set mapreduce.map.java.opts=-Xmx7200m;
set mapreduce.reduce.java.opts=-Xmx7200m;
set yarn.app.mapreduce.am.resource.mb=8192;
