数据仓库是体系结构化环境的核心,是DSS处理的基础。
他是一个面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据集合。(包含粒度化的企业数据)
1、数据仓库的结构
早期细节级、当前细节级、轻度综合级(数据集市)、高度综合数据级(取名)。
a:数据由操作环境导入数据仓库(当前细节级),常伴随着数据转换;
b-1:数据过期,数据进入早期细节级(通常存储在备用海量存储器上) 。
b-2:数据综合,数据进入轻度综合级;
c:数据再综合,进入高度综合数据级。
2、面向主题
数据仓库面向在高层企业数据模型中已定义好的企业主题域。(如:顾客、产品、交易、账目等)
每一个主题域都由N个互相关联的物理表组成。物理表之间由一个公共关键字联系起来(如:常用的顾客主题域,贯穿 各个信息表中的“顾客ID”)
数据可以存储在不同的介质中(DASD、磁带、光盘等),既有综合级又有细节级。
当数据围绕主题组织时,每个关键字都有一个时间元素,通常是关键字较低的部分。(如:顾客主题中的“起始日期到结束日期”“月”“活动日期”等。其中以“起始日期到结束日期”为组织的叫数据的连续组织)。
3、数据仓库建立的理想(典型)过程
一步步地设计并载入数据,进化型地发展。一蹴而就不现实并且有很多隐患。
第n天,生产系统的原始数据集合只剩操作性处理。数据库拥有丰富的数据,并有一些数据仓库的直接用户和许多部门数据库。
4、粒度
粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。 细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大。
数据的粒度一直是一个主要的设计问题:它深深地影响存放在数据仓库中的数据量的大小,同时影响数据仓库所能回答的查询类型 。粒度级别越低,查询范围越广。要使数据粒度适合数据仓库环境,必须先对数据进行编辑、过滤、汇总。
数据仓库粒度化的好处:
1、被不同部门的用户使用(重用性)
2、可以从不同的角度观察数据。(不同部门所需角度不同)
3、可以统一对数据进行一致性协调(分析结果有分歧的时候进行统一)
4、粒度够低,可以进行的操作就足够灵活(随心所欲提取数据)
5、数据够完整,够详细(整个企业的所有数据都在一起,当然够详细)
6、对未知的新需求所需分析做好准备。
一般来说,企业会选择采用双重粒度级别,如:轻度综合数据和“真实档案”的细节数据,从而提高查询效率、缩减费用、提高访问的便利性。高细节——内容详细;低细节——查询快。
粒度化的数据还可以支持数据探查与数据挖掘。(经过清理的、有组织的历史数据是非常棒的)
5、活样本数据库
是从数据仓库中取出真实档案数据或轻度综合数据的一个子集。“活”指这个数据库需要进行周期刷新。“样本”指他是一个大数据库的子集(样本)。当数据库太大时候,抽取某些特定条件的数据,用于数据统计分析。
好处:存取效率非常高。
6、分区设计
分区指把数据分散到可独立处理的分离物理单元区中。是仓库中数据的第二个主要设计问题。
分区原因:数据大块无法灵活地访问数据。
分区标准:1、时间;2、业务范围;3、地理位置;4、组织单位等等。
系统层和数据层都可以分区,由实际情况而定。
7、数据仓库的组织结构
简单堆积结构(按日期更新)
轮换综合数据存储(简单堆积的变种)。每周清空“日槽”
与简单堆积相比,非常紧凑;但一些细节丢失;提取越久的数据越不详细。
关键词:粒度、分区。