Hive元数据是什么？

元数据，即解释数据的数据。在Hive架构中，数据库/表内实际数据存放在HDFS之类的分布式存储系统中，但这些数据并不带有数据库/表/字段之类的描述信息，这些信息均由单独的关系型数据库维护（一般用MySQL）。

在安装Hive时，需要在hive-site.xml文件中配置元数据相关信息。若不配置默认使用Hive自带的Derby数据库，但这个数据库是单session的，不便于使用。

hive-site.xml配置元数据库可参见官网文档：https://cwiki.apache.org/confluence/display/Hive/AdminManual+metastore+Administration

image

Hive元数据库表描述

1.1 存储Hive版本的元数据表（VERSION）

1.1.1 VERSION

该表比较简单，但很重要。

如果该表出现问题，根本进入不了Hive-Cli。

比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。

1.2 Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）

1.2.1 DBS

该表存储Hive中所有数据库的基本信息，字段如下：

1.2.2 DATABASE_PARAMS

该表存储数据库的相关参数，在CREATE DATABASE(创建数据库)时候用

WITH DBPROPERTIES (property_name=property_value, …)指定的参数。

DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。

提示：一般以DBS为主表，DATABASE_PARAMS为右表，因为不是所有的数据库都有参数

1.3 Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

1.3.1 TBLS

该表中存储Hive表、视图、索引表的基本信息。

在Hive上有两种类型的表，一种是Managed Table（内部表），另一种是External Table（外部表）。它俩的主要区别在于：当我们drop表时，Managed Table会同时删去data和meta data，而External Table只会删meta data。

1.3.2 TABLE_PARAMS

该表存储表/视图的属性信息。

1.3.3TBL_PRIVS

该表存储表/视图的授权信息

1.4 Hive文件存储信息相关的元数据表

主要涉及SDS(保存文件存储的基本信息)、SD_PARAMS（存储Hive存储的属性信息）、SERDES(存储序列化使用的类信息)、SERDE_PARAMS(存储序列化使用的类信息)

由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

1.4.1 SDS

该表保存文件存储的基本信息，如INPUT_FORMAT(文件输入格式)、OUTPUT_FORMAT（输出格式）、是否压缩等。

TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。

1.4.2 SD_PARAMS

该表存储Hive存储的属性信息，在创建表时候使用

STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

1.4.3 SERDES

该表存储序列化使用的类信息

1.4.4 SERDE_PARAMS

该表存储序列化的一些属性、格式信息,比如：行、列分隔符

SDS 表的CD_ID（字段信息ID）对应CDS表CD_ID（字段信息ID）
SDS 表的SERDE_ID（序列化类ID）对应SERDES 表SERDE_ID（序列化类配置ID ）查找表的序列化信息
SDS 表的 SD_ID（存储信息ID ）对应 SD_PARAMS 表 SD_ID（存储配置ID ） 查找表的属性信息
SERDES 表的 SERDE_ID（序列化类配置ID ）对应 SERDE_PARAMS表 SERDE_ID（序列化类配置ID ） 查找表的存储序列化的一些属性、格式信息,比如：行、列分隔符
SDS表的 CD_ID（字段信息ID）对应 COLUMNS_V2 表 CD_ID（字段信息ID ） 查找表的字段信息

1.5 Hive表字段相关的元数据表

主要涉及COLUMNS_V2

1.5.1 COLUMNS_V2

该表存储表对应的字段信息。 关于中文乱码问题

COLUMNS_V2（存储表对应的字段信息）：通过CD_ID和其他字段建立关系

1.6 Hive表分区相关的元数据表

主要涉及PARTITIONS（存储表分区的基本信息）、PARTITION_KEYS（存储分区的字段信息）、PARTITION_KEY_VALS（存储分区字段值）、PARTITION_PARAMS（存储分区的属性信息）

1.6.1 PARTITIONS

该表存储表分区的基本信息。

1.6.2PARTITION_KEYS

该表存储分区的字段信息。

表PARTITION_KEYS通过 TBL_ID（表ID ）和TBLS (表的基本信息)TBL_ID（表ID ）进行关联

1.6.3 PARTITION_KEY_VALS

该表存储分区字段值。

1.6.4 PARTITION_PARAMS

该表存储分区的属性信息。

表之间的关系：

PARTITIONS（存储表分区的基本信息） 的PART_ID（分区ID）、SD_ID(分区存储ID )、TBL_ID（表ID）和其他表相关联

PARTITION_KEYS（该表存储分区的字段信息） 的TBL_ID（表ID）和其他表相关联

PARTITION_KEY_VALS（该表存储分区字段值）通过 PART_ID（分区ID）和其他表相关联

PARTITION_PARAMS（该表存储分区的属性信息）通过 PART_ID（分区ID）和其他表相关联

1.7 其他不常用的元数据表

1.7.1 DB_PRIVS

数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储。

1.7.2 IDXS

索引表，存储Hive索引相关的元数据

1.7.3 INDEX_PARAMS

索引相关的属性信息。

1.7.4 TAB_COL_STATS

表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。

1.7.5 TBL_COL_PRIVS

表字段的授权信息

1.7.6 PART_PRIVS

分区的授权信息

1.7.7 PART_COL_STATS

分区字段的统计信息。

1.7.8 PART_COL_PRIVS

分区字段的权限信息。

1.7.9 FUNCS

用户注册的函数信息

1.7.10 FUNC_RU

用户注册函数的资源信息

2 示例

建表语句：

CREATE TABLE lyg1234 ( 
cookieid STRING, 
url STRING,
 ua STRING, 
ip STRING,
 createtime STRING
) COMMENT 'This is the page view table' 
partitioned BY (day STRING,site STRING) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
stored AS ORC;

建表执行之后，元数据中以下表的数据会有所变化：

• TBLS

生成了表lyg1234的基本信息

SELECT * FROM TBLS WHERE TBL_NAME = ‘lyg1234’;

• TABLE_PARAMS

select * from TABLE_PARAMS WHERE TBL_ID=41509

• SDS

SELECT * FROM SDS WHERE SD_ID = 91740

• SERDES

select * from SERDES WHERE SERDE_ID = 91740

• SERDE_PARAMS

select * from SERDE_PARAMS WHERE SERDE_ID=91740

• COLUMNS_V2

select * from COLUMNS_V2 WHERE CD_ID=41564 ORDER BY INTEGER_IDX

• PARTITION_KEYS

select * from PARTITION_KEYS WHERE TBL_ID=41509

再插入数据：

<pre class="md-fences md-end-block" lang="" contenteditable="false" cid="n791" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, "Liberation Mono", Courier, monospace; font-size: 0.9em; white-space: pre; text-align: left; break-inside: avoid; display: block; background-image: inherit; background-position: inherit; background-size: inherit; background-repeat: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(221, 221, 221); border-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit;">
INSERT OVERWRITE TABLE lyg1234 PARTITION (day = '2015-07-08', site = 'lyg1234.com') SELECT 'cookie1' AS cookieid,'http://lyg1234.com' AS url,'firefox' AS ua,'127.0.0.1' AS ip,'2015-07-08 11:00:01' AS createtime FROM dual limit 1; </pre>

插入数据执行完之后，以下表的元数据发生变化：

• PARTITIONS

select * from PARTITIONS WHERE TBL_ID=41509

• SDS

select * from SDS WHERE SD_ID=91746

注意：这里的存储和表的存储是不同的，因为每个分区也会有一个SD

• PARTITION_KEY_VALS

select * from PARTITION_KEY_VALS where PART_ID=54472

• PARTITION_PARAMS

select * from PARTITION_PARAMS where PART_ID = 54472

在分区的属性里面，生成的该分区的统计信息（Statistics）。

三 Hive元数据库表汇总

四 Hive中文乱码多字符分隔符

问题还原

创建stu表，加载如下两条数据，分隔符为：$%#, 并查询出来

Lyg$%#30$%#北京

Lyg$%#31$%#深圳

[root@hadoop001 hive-learn]# cat hw_stu.txt

Lyg$%#30$%#北京

Lyg$%#31$%#深圳

需要解决的问题

1）创建表时，元数据信息中的comment是中文，但存入MySQL会乱码

2）插入中文数据，查询会乱码

3）文本字段分隔符是多字符，如何处理

4）使用Spark查询时，默认不支持多字符分隔符解析（ClassNotFoundException）

问题解决

修改元数据库（MySQL）以下几个字段编码

默认编码为latin，改为utf8

alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; -- 表级comment会存在该字段 
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; 
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8; 
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

修改hive-site.xml中jdbc_url

加上utf8编码：

jdbc:mysql://hadoop001:3306/hive?createDatabaseIfNotExist=true&useSSL=false&characterEncoding=UTF-8

建表

多字符分隔符特殊写法请注意！

drop table if exists t_stu;
  create table t_stu(
 name string comment '姓名' , 
age string comment '年龄' , 
city string comment '城市' 
) comment '学生表' ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
WITH SERDEPROPERTIES ('field.delim'='$%#');
 -- 插入数据 
load data local inpath '/root/source/hive-learn/hw_stu.txt' into table t_stu;

测试

查看元数据

建表成功后，查看在元数据库中，备注信息是否乱码

image.jpeg

image.jpeg

Hive查看数据

image.jpeg

Spark查看数据

添加解析多字符分隔符的jar包

spark-shell --jars /root/lib/mysql-connector-java-5.1.47.jar,/root/app/hive/lib/hive-contrib-1.1.0-cdh5.16.2.jar

+----+---+----+
|name|age|city|
+----+---+----+
|Lyg| 30|北京|
|小李同学| 31|深圳|
+----+---+----+