Hive是数据仓库:
a. 面向主题的
数据仓库其实也具备数据库的一些功能,也可以按照一定的组织形式组织数据,用于数据分析
传统的应用数据库未必按照一个主题进行划分.
b. 集成的
数据来源多元化,将相对分散的数据经过系统的加工,得到统一的数据类型(消除不一致性)
c. 相对稳定的
数据仓库主要涉及的操作就是查询,数据一旦进入数据仓库之后,一般情况下,会被长期保留,不会涉及删除、修改操作,定期的会加载刷新数据.
d. 反应历史变化的
数据一般不会被删除修改,保存下来的数据信息,可以反映出历史信息
e. 用于决策管理
数据仓库构建过程
1、数据源:来源很多 业务系统数据、文件数据、其他资料
2、数据存储
ETL:
Extract(抽取数据):
针对业务数据进行抽取(正则表达式)
Transform(转换数据):
消除数据格式不一致
Load(加载数据):
将格式良好的数据添加到数据仓库中
3、数据仓库引擎
4、可视化
数据仓库与数据库的却别:
1、数据仓库是面向主题 数据库是面向事物的
2、数据库一般存储的数据是在线交易数据 数据仓库一般都是历史数据
3、数据库设计的是是要避免冗余,数据仓库有的时候需要刻意引入冗余
4、数据库为了捕获数据设计 数据仓库为数据分析而设计