数据仓库2、数据仓库环境

数据仓库是体系结构化环境的核心,是DSS处理的基础。

他是一个面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据集合。(包含粒度化的企业数据)

1、数据仓库的结构

早期细节级、当前细节级、轻度综合级(数据集市)、高度综合数据级(取名)。

a:数据由操作环境导入数据仓库(当前细节级),常伴随着数据转换;

b-1:数据过期,数据进入早期细节级(通常存储在备用海量存储器上) 。

b-2:数据综合,数据进入轻度综合级;

c:数据再综合,进入高度综合数据级。

2、面向主题

数据仓库面向在高层企业数据模型中已定义好的企业主题域。(如:顾客、产品、交易、账目等)

每一个主题域都由N个互相关联的物理表组成。物理表之间由一个公共关键字联系起来(如:常用的顾客主题域,贯穿 各个信息表中的“顾客ID”)

数据可以存储在不同的介质中(DASD、磁带、光盘等),既有综合级又有细节级。

当数据围绕主题组织时,每个关键字都有一个时间元素,通常是关键字较低的部分。(如:顾客主题中的“起始日期到结束日期”“月”“活动日期”等。其中以“起始日期到结束日期”为组织的叫数据的连续组织)。


3、数据仓库建立的理想(典型)过程

一步步地设计并载入数据,进化型地发展。一蹴而就不现实并且有很多隐患。


第n天,生产系统的原始数据集合只剩操作性处理。数据库拥有丰富的数据,并有一些数据仓库的直接用户和许多部门数据库。

4、粒度

粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。 细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大。

数据的粒度一直是一个主要的设计问题:它深深地影响存放在数据仓库中的数据量的大小,同时影响数据仓库所能回答的查询类型 。粒度级别越低,查询范围越广。要使数据粒度适合数据仓库环境,必须先对数据进行编辑、过滤、汇总。


数据仓库粒度化的好处:

1、被不同部门的用户使用(重用性)

2、可以从不同的角度观察数据。(不同部门所需角度不同)

3、可以统一对数据进行一致性协调(分析结果有分歧的时候进行统一)

4、粒度够低,可以进行的操作就足够灵活(随心所欲提取数据)

5、数据够完整,够详细(整个企业的所有数据都在一起,当然够详细)

6、对未知的新需求所需分析做好准备。

一般来说,企业会选择采用双重粒度级别,如:轻度综合数据和“真实档案”的细节数据,从而提高查询效率、缩减费用、提高访问的便利性。高细节——内容详细;低细节——查询快。

粒度化的数据还可以支持数据探查与数据挖掘。(经过清理的、有组织的历史数据是非常棒的)

5、活样本数据库

是从数据仓库中取出真实档案数据或轻度综合数据的一个子集。“活”指这个数据库需要进行周期刷新。“样本”指他是一个大数据库的子集(样本)。当数据库太大时候,抽取某些特定条件的数据,用于数据统计分析。


好处:存取效率非常高。

6、分区设计

分区指把数据分散到可独立处理的分离物理单元区中。是仓库中数据的第二个主要设计问题。

分区原因:数据大块无法灵活地访问数据。

分区标准:1、时间;2、业务范围;3、地理位置;4、组织单位等等。

系统层和数据层都可以分区,由实际情况而定。

7、数据仓库的组织结构

简单堆积结构(按日期更新)


轮换综合数据存储(简单堆积的变种)。每周清空“日槽”

与简单堆积相比,非常紧凑;但一些细节丢失;提取越久的数据越不详细。

关键词:粒度、分区。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,602评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,442评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,878评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,306评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,330评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,071评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,382评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,006评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,512评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,732评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,283评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2 345

推荐阅读更多精彩内容