背景
为了降低大数据领域使用mepreduce的使用门槛，提高分析效率，大数据引用了对sql的支持
- mepreduce对应hive
- spark对应spark sql
sql on hadoop
目的：
- 基于计算引擎
- 基于mpp架构
hive架构
hive 对外访问
- hive对外提供了三种访问方式，包括web ui 、cli 、thrift协议
hive 后端主要由三个服务组成
- driver(驱动器) ：与传统数据库的查询引擎类似，在这里指的是mepreduce或者spark等
- metastore：hive metastore是管理和储存元信息的，在hive中默认用的是derby,但是一般用的mysql
- hadoop：hive依赖于hadoop 储存用的是hdfs,分析用的mepreduce，资源用的是yarn等
metastore分为三种 部署模式
- 嵌入式模式：metestore和数据库嵌入到driver中（一般用于测试）
- 本地模式：driver和metastore运行在本地，而数据库启动在一个共享节点上
- 远程模式：metastore运行在单独的一个节点上，由其他所有服务共享 使用beeline，jdbc等方式访问（这是一种常用的生产环境下的部署模式）
（hive 的metastore里面的元数据可以直接被presto,impala等sql直接访问）
hive查询引擎(dag相比于mepreduce的优点：)
- dag避免了记住分布式文件系统交换数据带来的不必要的网络和磁盘的io
- 将重复使用的数据放在内存中加速读取效率
- 服用资源直到sql执行完毕
hive表操作
- 传统型数据库是插入时校验，而hive是计算式校验（数据合法的校验）
- hive数据表是分层的
- hive数据表的类型（临时表（只对当前session有效，如果当前session退出，则消失）、外部表（删除数据库时，只是删除了元数据）、受管理表（与元数据的生命周期是一致的，如果删除则都删除了））
- 分区表：
数据表可以按照某一个或者几个字段进一步划分多个数据分区（使用语句：partitioned by col_name）,不同的分区其实在不同的目录中，这样在查询时候不同的分区会直接跳过，大大减少了不必要的磁盘io - 分桶表：
数据表或者数据分区可以按照某个字段进一步分成若干个桶，（不如语句：clustered by(userid) into 32 buckets ，这一语句将数据表按照userid 分成32个数据桶）
hive执行引擎
image.png
hive 分区表
- 查询时为了减少不必要的扫描可以采用分区表
- 为了避免产生过多的小文件，建议只对离散字段进行分区
hive实用优化
- 分区表-提高查询(partition)
- 列式存储(parquet和orc)
- 表连接优化（将大表放后面）
- 尽早的过滤数据
- 尽量原子化操作(避免复杂的语句，建议使用临时表来过渡)
- 如果要用到union into 替换成insert into(性能能提上50%)
- order by 改为 sort by (全局排序改为局部排序)
- 数据倾斜
