维度建模

0x00 前言

我们知道维度建模是使用一致性维度来串联整个数据仓库,按照kimball的维度建模理论,维度模型设计主要有4个步骤

  • 选择业务过程
  • 声明粒度
  • 确认维度
  • 确认事实

0x01 相关概念

  • 业务过程

业务过程是组织完成的操作性活动,例如操作下单、操作退单

  • 粒度

粒度用于确定事实表的行表示什么,每个候选的事实、维度都必须是同一粒度,例如购物行为这个业务过程,可以按照每笔统计,也可以按照每天统计,粒度分别是最细粒度的每笔订单,一天的订单。

维度模型建议按照最细的原子粒度来设计事实表,因为原子粒度能满足无法预测的需求

  • 维度

维度是描述事件过程的环境,类似于什么、谁、何时、何地,维度表包含BI应用所需要的用于过滤及分类事实的描述属性

粒度和维度的区别,我的理解是:

维度是指描述业务事实的角度,从那方面描述,例如:在商城订单中,描述销售额这个事实业务,可以从时间、地区维度来描述,在何时何地发生的销售事实

粒度是描述业务事实的深度,粒度可以从不同的深度来描述,例如:每笔订单的销售额,也可以到每天的销售额,可以是某市的销售额,也可以是某省的销售额,每笔订单、每天的订单、某地的订单、某省的订单,这写都是描述事实的粒度

  • 事实

事实表示一个业务过程的度量,一般是数值,在事实表中,所有事实只允许与声明的粒度一致

0x02 事实表技术

从最低的粒度级别来看,事实表行对应一个度量事件,事实表除了包含度量事实外,还包含外健,例如:

事实表
维度外健1、维度外健2、维度外健3、度量事实1、度量事实2

所有维度外健确定一条数据,所以事实表可以没有单一主键

针对事实表的查询统计一般以维度外健关联维度做过滤,然后按维度聚合,度量事实统计计算结果

1、可加、半可加、不可加事实

可加事实指可以按照任意维度汇总的事实
半可加事实指只能按照部分维度汇总的事实
不可加事实指完全不能按照维度汇总的事实

2、空值

针对度量事实统计的组函数(count、sum、min)可以对空值计算,所以度量事实可以存在空值,而维度外健不能存在空值,否则会存在关联不到的维度,不是一个完整的业务过程

3、事务事实表

事务事实表一行表示的是发生在一件事务中的事实,通常都是最原子的数据

4、周期性快照事实表

周期快照事实表中每行汇总了发生在某一标准周期,如一天、一周、一月的多个度量,其粒度是周期性的时间段,例如每天的销售额就是以天为标准周期的度量事实

5、累积快照事实表

累积快照事实表用于汇总业务过程中发生在开始、结束之前的可预测的步骤内的度量事件,例如一笔订单,从下单、付款、发货、收货、完成,每个流程步骤是可预测的,业务方可能对每个步骤完成时间感兴趣,例如财务可能更关心一笔订单真正的完成时间,即入账时间,这些记录在一个事实表中就是累积快照事实表

6、无事实事实表

不含度量数字的事实表,例如商品状态事实表,只展示商品的上下架状态,没有可计算的事实数据

总结

a.事实表要有明确的粒度,不同粒度的度量事实不能放在同一事实表中

b.事实表常用的有三种:事务事实表、周期快照、累积快照(其中事务事实和周期事实比较多)

c.周期快照可以直接从事务事实中聚合得到,但是通常事务事实数据粒度较小,数据较多,并且在一个分析需求中,一个周期快照的事实才是分析的最小粒度需求(例如分析每天销售变化情况,每天的销售额这一周期事实才是最小粒度)

d.事实和维度表并不是固定的,要根据具体的业务场景来定,例如:在订单分析中,商品可能是维度表,但是在对商品的上下架状态、售卖时间分析时,商品可能就是无事实事实表了

0x03 维度表技术

维度表都应该包含单一主键列,维度表的描述粒度必须与事实表一致,维度表通常比较宽,通常用于查询中的筛选、分组字段

1、主键

自然主键:主键本身具有一定含义,例如学号、身份证号

代理主键:主键本身没有意义,例如自增id

数仓工具箱中认为,自然主键不受数仓控制,例如工号,一个员工离职后又入职,在操作型系统中有了新的工号,但是数据仓库希望员工建立单一键,所以建议使用代理键,来作为数据仓库和操作型系统的缓冲,不受业务变动的影响

但是,数据仓库发展到现在,hive等工具很多不在带有自增主键功能,而且很多操作性系统自身使用的就是代理键,在数仓中可以直接使用,对于特殊情况可以单独处理,维度表的主键是自然主键还是代理主键可以根据实际情况灵活决定

2、一致性维度

维度建模最重要的特性就是一致性维度,当不同的维度表的属性具有相同列名和领域内容时,称维度表具有一致性,利用一致性维度与每个事实表关联,可将来自不同事实表的信息合并到同一报表中。

3、渐变维度

在实际业务过程中,维度属性往往不是一成不变的,这些随着时间变化的维度我们称为渐变维度,通常有三种方式处理
a、直接覆盖,每次都使用最新的维度属性
b、增加新行,每次有变化时,保留原维度行,新增一行,代理主键不同,用来关联事实表的自然主键相同,这样会出现多行描述,所以一般要加上生效时间、生效状态等信息
c、增加新属性,每次变化,新的属性值覆盖原值,新增一列保存原值,例如曾用名

fxff 参考资料

数据仓库工具箱第三版第二章

事实表技术之周期快照

事实表技术之累积快照

数据仓库篇章--渐变维度

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容