1.1 什么是Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
1.2 为什么使用Hive
1.） 直接使用hadoop所面临的问题
人员学习成本太高
项目周期要求太短
MapReduce实现复杂查询逻辑开发难度太大
2.）
操作接口采用类SQL语法，提供快速开发的能力。
避免了去写MapReduce，减少开发人员的学习成本。
扩展功能很方便。
1.3 Hive的特点
1.）可扩展
Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。
2.）延展性
Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
3.）容错
良好的容错性，节点出现问题SQL仍可完成执行。
1.4 Hive与传统数据库对比
2 框架图：
用户接口: Shell/CLI,CLI（Command Line Interface），Shell 终端命令行，采用交互形式使用 Hive 命令行与 Hive 进行交互。Cli 启动的时候，会同时启动一个 Hive 副本。JDBC/ODBC客户端是Hive的JAVA实现，与传统数据库JDBC类似。Web UI通过浏览器访问hive。主要用来将我们的sql语句提交给hive。
Thrift服务器：Thrift 是 Facebook 开发的一个软件框架，可以用来进行可扩展且跨语言的服务的开发， Hive 集成了该服务，能让不同的编程语言调用 Hive 的接口。
元数据库: 存储在 Hive 中的数据的描述信息。Hive 将元数据存储在数据库中，如 mysql、（默认）derby。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表 等），表的数据所在目录等。
解释器包含编译器、优化器、执行器:完成HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。。编译器：主要将sql语句编译成一个MR的任务。优化器：主要是对我们的sql语句进行优化。执行器：提交mr任务，进行执行。
Hive 的数据存储在 HDFS 中，查询计划被转化为 MapReduce 任务，在 Hadoop 中执行.
3.Hive的数据存储
Hive的所有数据都存储在Hdfs中，没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织 Hive 中的表，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符（”\n”）以及读取文件数据的方法（Hive 中默认有三个文件格式 TextFile，SequenceFile 以及 RCFile）。
Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket:
1、db：在hdfs中表现为{hive.metastore.warehouse.dir}目录下一个文件夹.${hive.metastore.warehouse.dir}是在配置文件中定义的数据仓库位置
2、table：在hdfs中表现所属db目录下一个文件夹
3、external table：与table类似，不过其数据存放位置可以在任意指定路径
4、partition：在hdfs中表现为table目录下的子目录
5、bucket：在hdfs中表现为同一个表目录下根据hash散列之后的多个文件
4.Hive的基本操作
4.1 操作数据库：
创建数据库： create database if not exists 数据库名；
创建数据库并指定hdfs存储位置： create database 数据库名 location ‘位置’;
查看有哪些数据库： show databases;
修改数据库的信息（数据库的元数据信息是不可更改的，包括数据库的名称以及数据库所在的位置）：alter database 数据库名 set dbproperties（）
查看数据库的信息：desc database 数据库名；
查询详细数据库信息：desc database extended 数据库名；
删除数据库（删除一个空数据库，如果数据库下面有数据表，那么就会报错）：drop database 数据库名；
强制删除数据库（包含数据库下面的表一起删除）：drop database myhive cascade;
4.2 操作数据库表：
4.2.1创建数据库表语法:
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], …)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]
[CLUSTERED BY (col_name, col_name, …)
[SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]
说明：
1、 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。
2、 EXTERNAL关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。
3、 LIKE 允许用户复制现有的表结构，但是不复制数据。
4、 ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, …)]
用户在建表的时候可以自定义 字段的分隔符 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，将会使用自带的 SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，Hive通过 SerDe 确定表的具体的列的数据。
5、 STORED AS SEQUENCEFILE|TEXTFILE|RCFILE
如果文件数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCEFILE。
6、PARTITIONED BY
分区指的是在创建表时指定的partition的分区空间。一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。partition就是辅助查询，缩小查询范围，加快数据的检索速度和对数据按照一定的规格和条件进行管理。
7、CLUSTERED BY
对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
把表（或者分区）组织成桶（Bucket）有两个理由：
（1）获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接 （Map-side join）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。
（2）使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。
