Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Command命令

1.1.Hive语法

1.1.1.基本数据类型

tinyint , smallint, int, bigint, float, double, boolean: true/false, string

1.1.2.基础运算符与函数

1.1.3.类型转换

cast(expr as <type>)
例如：
cast('1' as BIGINT) 将字符串'1'转化成bigint型

1.1.4.日期函数

1.1.5.条件函数

例如：
(
case 
when category = '1512' then reserve_price > cast(1000 as double)
when category = '1101' then reserve_price > cast(2500 as double)
else reserve_price > cast(10 as double)
end
)

1.1.6.常用字符串函数

1.1.7.创建表

CREATE TABLE IF NOT EXISTS table_name
(
--field def
)
PARTITIONED BY (pt string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '...';
注意：如果不是外表部，drop table的时候会将HDFS上文件删除。

1.1.8.创建外部表

CREATE EXTERNAL TABLE dm_all_cpv_assoc (
--field def
)
PARTITIONED BY (pt string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\1' 字段分隔符
LINES TERMINATED BY '\2' 行分隔符
STORED AS TEXTFILE
LOCATION '...';
注意：在删除外部表的时候，不会删除HDFS上的关联文件。
分析：其实多数情况下，内表和外表没区别。一个经验法则：如果所有处理都由hive完成，则使用内表，如果要用hive和其他工具来处理一个数据集，则使用外表。

1.1.9.添加分区

ALTER TABLE table_name ADD PARTITION (dt='2008-08-08', country='us')
location '/path/to/us/part080808' PARTITION (dt='2008-08-09', country='us')
location '/path/to/us/part080809';

1.1.10.删除分区

ALTER TABLE table_name DROP PARTITION (dt='2008-08-08', country='us');

1.1.11.导入数据

a. insert overwrite table table_name partition (pt = '20110323000000')
select ... from ...
b. LOAD DATA LOCAL INPATH 'test.dat' OVERWRITE INTO table yahoo_music partition (pt=xxx);

1.1.12.查询数据

SELECT, JOIN, LIMIT

1.1.13.修改表

修改表名 Alter table t1 rename to t2；
增加一列 alter table t1 add columns （id int）；

1.1.14. 添加UDF

add jar /home/hive/jar/my_udf.jar;
create temporary function sys_date as 'com.taobao.hive.udf.UDFDateSysdate';

1.2分组函数

使用以下数据进行测试。

image.png

1.2.1.Group By

Group by语句按照一个标准来对数据进行分组。
使用GROUP BY时，可以同时使用多个聚合函数，但是聚合函数里面使用DISTINCT时必须包含相同的列。
例1：得出每个年份的最大温度
select year,max(temperature)
as max_temperature
from records
group by year;

image.png

例2：得出特定月份的最低温度
select month,max(temperature) as min_temperature
from records
where month in (1,2,3,8,9)
group by month;from records
group by month;

image.png

1.2.2.Order by

Order by 对输入执行并行全排序。其实 Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。默认是asc（从小到大，可指定desc（从大到小））
例：按照月份排序
select *
from records
order by month;

image.png

1.2.3.sort by

sort by是order by的局部排序，sort by 为每个reducer产生一个排序文件。保证了局部有序（每个reducer出来的数据是有序的，但是不能保证所有的数据是有序的，除非只有一个reducer），好处是：执行了局部排序之后可以为接下去的全局排序提高不少的效率（其实就是做一次归并排序就可以做到全局排序了）。
例：按照月份排序
select *
from records
sort by month;

image.png

1.2.4.Distribute By

ditribute by是控制map的输出在reducer是如何划分的，就是控制特定行应该到哪个reducer，其目的通常是为了进行后续的聚集操作。和sort by 连用。其实就是将distribute by指定的相同的所有对象送到一个reducer中去处理。需要注意的是distribute by必须要写在sort by之前。
例;按月份将温度排序
select *
from records
distribute by month sort by month asc,temperature desc;

image.png

1.2.5.cluster By

cluster by的功能就是distribute by和sort by相结合，就是如果sort by 和distribute by 中所用的列相同，就可以缩写为cluster by。注意被cluster by指定的列只能是正序，不能指定asc和desc。
例如这两个语句就相等：
select * from records cluster by month
select * from records distribute by month sort by month
例：按月份将温度排序
select * from records cluster by month;

image.png