维度处理-数据仓库-读书笔记(四)

数据仓库中如何使用一致性维度集成

一致性维度
1,当不同的维度表的属性具有相同的列名和领域内容时候,称为维度具有一致性
2,有利于不同事实表的合并到同一报表中去
3,在一致性维度的前提下,可以被所有事实表复用
4,可以保证分析结果的一致性且减少开销

缩减维度
场景一:当构建聚集事实表需要缩减上卷维度
场景二:商业过程自然的获取粒度级别较高的数据
场景三:两个维度具有同样粒度级别的细节数据,但是其中一个仅表示行的部分子集

跨表钻取
1,当两个表包含相同的一致性属性时候,使不同的查询能够针对两个或者更多的事实表进行查询

价值链
1,区分与组织中主要业务过程的自然流程。是对商业活动过程的重新整合和组装。同一组织下的同一个业务过程,对于不同的角色价值链不同,例如:销售商的价值链包括:购买、库存、零售额等;分类账价值链包括:预算编制、承付款项、付款等。
2,尽量为每个过程至少建立一个原子事实表

企业数据仓库总线架构
通过关注业务过程将DW/BI规划过程分解为可管理的模块,通过重用跨不同过程的标准化一致性维度发布实现集成

企业数据仓库总线矩阵
是用于设计并与企业数据仓库总线架构交互的基本工具。矩阵的行代表业务过程,列表示维度,点表示维度与给定的业务过程是否存在关联关系。

总线矩阵

总线矩阵实现细节
是一个更加细粒度化的总线矩阵,其中扩展每个业务过程行以展示特定事实。

总线矩阵实现细节

机会/利益相关方矩阵
用于区分哪些业务过程分组应该与过程中心行相关

数据仓库如何处理缓慢变化维度属性

SCD全称:Slowly Changing Dimension
SCD0:原样保留
维度值属性不会发生变化,事实表以原始值分组。例如:客户的原始的信用卡积分或者持久性标识符 如身份证

SCD1:重写
原来的属性值被新值覆盖。
特点:
1,总是反应最近的状态。此技术破坏了历史情况。
2,易于实现且不需要建立额外的维度行,但是会影响聚集事实或者OLAP多维数据库重新计算

SCD2:增加新行
在维度表中增加新行,新行采用修改的属性址
特点:
1,维度表主键更具有一般性,不能是自然键或者是持久键
2,增加新行时候,分配一个新的主代理键,作为所有事实表的外键,直到产生新的维度键

SCD2缓慢变化维度处理

3,通常我们还会有其余的设计方式去处理SCD2,但是图中的方式是管理、操作最简单的方式

SCD3:增加新属性
在维度上增加新属性以保存原来的值,新属性的变化通过SCD1方式处理
增加新列,此种方式不太常用。

SCD4:增加微型维度
当维度中的一组属性快速变化并划分为微型维度时候使用
微型维度需要自己的唯一主键。其主键从相关的事实表中获取

SCD5:增加微型维度以及类型1支架
对于精确保存历史属性值,按照当前属性值,增加报表的历史事实。
SCD5建立在SCD4基础上,并嵌入SCD1应用基维度中的微型维度

SCD6:增加类型1属性到类型2维度
也保存历史和当前维度属性值。SCD6建立在SCD2的基础上,同时嵌入维度行当前类型1版本。
在此环境中,当属性发生变化时候,SCD1属性由系统自动重写与特定持久键关联的所有行

SCD7:双类型1和类型2维度
支持现在和过去的混合技术。
通过SCD1仅仅展示最新属性值。通过SCD2展示最新历史概要。维度的持久键和代理键需要同时存在事实表上。

数据仓库如何处理维度层次关系

固定深度位置的层次
是多对一关系的一种。最容易理解和查询的层次关系,提供可预测的、快速的查询性能。
需要深度确定,命名稳定

轻微参差不齐
没有固定的层次深度,但层次深度有限。一般尝试确定最大深度,然后基于业务规则放置属性

具有层次桥接表的参差不齐/可变深度层次
深度不确定的层次非常难以建模。可以通过桥接的方式建模参差不齐的层次。桥接表对每个可能的路径保留一行,确保能够遍历所有层次的形式

具有路径字符属性的可变深度层次
通过使用路径字符属性,以避免使用桥接表表示可变深度层次。对维度中的每行的路径字符属性嵌入特定的文本字符,包含从高层次到特定维度行所描述节点的完整路径描述。
缺陷:
1,不能确保其他层次快速替换
2,无法保证共享自身层次
3,当层次发生变化,可能需要重新标记整个层次


历史文章

数据仓库-概述-读书笔记一
数据仓库-DW/BI架构对比-读书笔记二
数据仓库-事实表/维度表技术-读书笔记三


参考资料

数据仓库工具箱


如果您觉得我用心了,觉得您有所收获,麻烦关注下我吧,您的关注就是我的动力,因为我不是一个人在前行。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343

推荐阅读更多精彩内容