1、基本思路
第一步：借助hive工具，先跑分析数据（可以手动，也可以配置为自动），实则就是内部的一些统计逻辑，MR任务。
第二步：查看这些分析数据，可以定义到分区和字段上
2、怎么触发HIVE分析统计逻辑
因为分析任务会消耗集群资源，建设根据自己的业务配置
第一种手动触发（建议）：
生成表的统计信息
analyze table web_sales compute statistics;
生成表的统计信息+指定分区
analyze table log partition(day='20220308') compute statistics;
生成表的统计信息+指定分区+指定字段
analyze table store_sales partition(day=2452536) compute statistics for columns;
第二种系统配置：
参数hive.stats.autogather配置自动生成表和分区的统计信息。hive.stats.column.autogather 配置自动统计列的统计信息。配置之后，会多一个 Task，收集统计信息，存入 MetaStore。
<property>
<name>hive.stats.autogather</name>
<value>true</value>
<description>A flag to gather statistics (only basic) automatically during the INSERT OVERWRITE command.</description>
</property>
<property>
<name>hive.stats.column.autogather</name>
<value>true</value>
<description>A flag to gather column statistics automatically.</description>
</property>
3、怎么查看HIVE分析结果
查询整表分析数据
desc formatted table_name;
-- 结果展示，统计信息在 Table Parameters 部分，如下面的示例：
Table Parameters:
COLUMN_STATS_ACCURATE {\"BASIC_STATS\":\"true\"}
bucketing_version 2
numFiles 1
numPartitions 1
numRows 7
rawDataSize 0
totalSize 2795
transactional true
transactional_properties default
transient_lastDdlTime 1677051758
查询表分析数据+指定分区
desc formatted web_sales partition(day=2452642);
-- 结果展示，统计信息在 Table Parameters 部分，如下面的示例：
Partition Parameters:
COLUMN_STATS_ACCURATE {\"BASIC_STATS\":\"true\"}
numFiles 1
numRows 2379
rawDataSize 4329780
totalSize 127832
transient_lastDdlTime 1646036434
查询表分析数据+指定字段
字段的统计信息包括字段的最大值，最小值，null 的数量，distinct 的数量等。如一个表的字段统计信息已经收集，在 desc formatted table_name 时，Table Parameters: 的 COLUMN_STATS_ACCURATE有COLUMN_STATS，对应的字段为 true，则表示该字段的统计信息已经收集。 可以用类似以下的命令显示。
DES FORMATTED table_name field_name;
-- 结果展示
col_name standard_code_path
data_type string
min
max
num_nulls 7
distinct_count 1
avg_col_len 0.0
max_col_len 0
num_trues
num_falses
bitVector
comment from deserializer
COLUMN_STATS_ACCURATE {\"COLUMN_STATS\":{\"standard_code_path\":\"true\"}}
4、参考资料
博客信息-HIVE Statistics(Hive 统计信息) 的说明和查询优化详解
HIVE官网-Statistics in Hive
