【数据仓库】数据仓库及相关概念

数据仓库由比尔·恩门(Bill Inmon,数据仓库之父)于1990年提出,主要功能是将企业系统联机事务处理(OLTP)长期累积的大量数据,通过数仓理论所特有的数据储存架构,做有系统的分析整理 。

数据仓库的作用

1. 提供集成的结构化数据环境:

① 集成:例如一个企业会有多个系统,多个系统之间,会存在系统不兼容的情况。如何把多个系统中数据整合在一起,就是集成的过程;

② 结构化:大部分线上产生的数据都是非结构化和半结构化的(图片、日志、音频等),需要转化为结构化数据供上游分析使用;

2. 解决从数据库中获取信息的问题:

① 从线上数据库中取数据可能会面临数据不全(不在一个系统中);

② 线上数据库产生的数据不是结构化的,比如产生的日志数据,难以理解;

③ 在线上数据库去数据,当达到一定量时,影响系统性能;

(把从线上数据库中取数,转为从数据仓库中取数,来解决这些问题)


数据仓库的特点

1. 面向主题的:数据仓库是用来分析特定主题域的,所以说数据仓库是面向主题的,例如“财务”就是一个主题域。面向主题其实是一个分类的概念。

① 电商业务-主题域划分:交易域、商品域、用户域、财务域......

② 社交业务-主题域划分:内容域、会员域、互动域、交易域......

2. 集成的:数据仓库会对接多个数据源,同一主题或产品相关数据可能来自不同系统不同类型的数据库、日志文件等。

3. 稳定的:数据一旦进入数据仓库,则不可被改变(数据仓库是记录事实的唯一版本)。数据仓里的历史数据是不应该被更新的,同时存储的稳定性较强。

4. 反映历史变化的:数据仓库保存了长期的历史数据(从系统有数据开始一直到当前,从始至今),这点是相对OLTP的数据库(线上实时在线数据库)而言。因为性能考虑后者通常保存近期的热数据。


数据仓库的目的

构建面向分析的集成化数据环境,为企业提供决策支持。


OLTP(联机事务处理过程)

1. 事务:人机交互的过程中发成的行为,就称为一个事务;

2. OLTP:也称为实时系统(Real Time System),是人机交互的一个应用系统;

3.  OLTP的特点:对用户操作需要快速响应。

4. 快速响应 需要面临的问题:

(1)系统请求响应的性能

(2)数据总是保持在最新的状态

(3)数量级小(OLTP的数量级越小,查询的性能就越好)


OLAP(联机分析处理过程)

1. OLAP的特点

(1)从用户的思考角度出发,仿照用户思考模式预先为构建多维的数据模型;

(2)用户可以快速查询分析各个维度数据

(3)能动态的在各个维度之间切换或者进行多维度综合分析,具有极大的分析灵活性。

2. OLAP和数仓的关系

关系:互补

一般以数据仓库作为基础,即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到OLAP存储中供数据分析工具读取。(OLAP是建立在数仓之上的一个多维查询的操作)


OLAP和OLTP的区别

OLAP和OLTP的区别

DATACube数据魔方

面向分析的多维查询操作:钻取、上卷、切片、切块、旋转

OLAP的基本操作

Tips: 数据立方体只是多维模型的一个形象的说法,立方体自身只有三维,而实际会有更多维度。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,053评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,527评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,779评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,685评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,699评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,609评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,989评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,654评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,890评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,634评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,716评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,394评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,976评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,950评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,191评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,849评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,458评论 2 342