数据中台盛行,DataOps兴起,数据架构才是未来

导读:在数字化转型的浪潮下,数据架构获得了越来越多的关注。作为企业架构中的关键纽带,数据架构解决了业务与数据间的映射,规范了应用架构中的数据集成关系,指导了技术架构的技术选型,在企业中发挥着不可或缺的作用。伴随DataOps等场景的出现,数据架构会越来越走向数据消费端,为我们带来更多的变化和新发现。

一、    什么是数据架构?


自数据库技术兴起以来,人们慢慢发现需要一种东西去描述数据的状态、定义数据需求、指导数据集成、管理数据资产,以更好地实现数据策略——数据架构应运而生。

数据架构是识别企业数据需求,并以这些数据需求为出发点,设计和维护的主蓝图,以使用这些主蓝图来指导数据集成、控制数据资产,并使数据投资与业务战略保持一致(DAMA-DMBOK2,DAMA International)。

越是专业的定义越让人难以理解,举个例子:

小明打算在有生之年买一套北京二环内的房子,相关机构需要分析小明是否有买房资格,这是业务需求;那么为了分析小明的买房资格,最起码需要小明的身份数据、婚姻数据、在京纳税数据、在京缴纳社保数据、在京房产数据,这些是数据需求;为了有效获取并集成这些数据,以实现相关机构分析小明买房资格的业务需求,我们需要下图所示的数据架构(注:此处只是简单例子,企业真实数据架构含有很多组件,会复杂很多)。

图1分析买房资格的数据架构

二、  数据架构解决什么问题?


作为连接企业架构中其他三个架构(业务架构、应用架构、技术架构)的关键纽带,数据架构解决了业务与数据间的映射,规范了应用架构中的数据集成关系,指导了技术架构的技术选型。

图2数据架构是企业架构中的纽带

具体来说,数据架构在企业中的作用,可总结为以下五点:

1、从不同层次描述数据,为数据管理奠定基础

作为企业数据层面的主蓝图,数据架构管理了整个企业的复杂数据和信息交付,数字化时代,企业拥有的数据量远超出员工的理解范围,数据架构使企业能在不同的抽象层次上表达数据,为数据管理奠定了坚实的基础。

2、定义企业数据状态,表达战略数据需求

数据架构是对企业当前数据状态的整体性描述,通过数据架构,企业数据状态一目了然,通过分析数据架构中的不足与业界的差距,可以帮助企业定义未来的状态目标,帮助企业快速制定战略数据需求。

3、促进企业数据标准化,指导企业数据集成

数据架构为整个企业提供了一致的数据语言(包括标准业务词汇表、标准技术元数据等),将业务架构中的业务需求转化成为了数据、系统、技术需求,使不同部门和不同身份的技术和业务人员在数据层面达成一致,为数据标准化和数据集成提供了良好的支撑。

4、规范企业数据流转,拉通数据生命周期

数据生命周期中包括了数据的创建、获取、移动、转换、存储、维护、共享、使用、处理等诸多流程,在整个生命周期中数据可以被清理、转换、合并、更新和汇总,涉及到太多的数据流转过程,规范数据在诸多生命周期阶段的流转细节可能会非常复杂,要求不同阶段之间相互理解并随时达成一致,此时数据架构必不可少。

三、    数据架构包含哪些内容?


作为企业层面的“主蓝图”,数据架构中包含诸多组件,企业需求的不同可能导致其数据架构包含的组件也不相同,以下是数据架构中的一些常见组件:

1、   数据模型——数据架构的核心

概念数据模型:概念数据模型是能表示现实世界的概念化结构,通过概念实体及关系,从业务的角度对信息进行的高层级描述。如在文章最开始的例子中,小明买房的整体建模就可以理解为是一种简单的概念模型,概念模型是为了让业务能明白数据有什么,帮助数据与业务沟通。

逻辑数据模型:逻辑数据模型在概念数据模型的基础上定义了各个实体的属性,是对概念模型的进一步细化,包括所有的实体、实体的属性、实体之间的关系以及每个实体的主键、实体的外键等。逻辑模型帮助数据与应用沟通,比如应用需要小明的身份信息,逻辑模型里就需要有个身份信息的数据实体,并且需要明确身份信息中的各个属性(如身份证号、姓名、年龄等)。

物理数据模型:物理数据模型是在逻辑数据模型的基础上,综合考虑各种存储条件的限制,将逻辑数据模型中的实体、属性以及关系转换成的物理元素(表、字段、索引等)。物理数据模型是帮助数据与技术沟通,明确了数据到底怎么建,存储的位置等。比如小明的身份信息具体存在那个物理表中就是在物理模型中明确的。(注:物理模型虽然属于数据架构的组件,但不是数据架构的产物)

2、   数据流——数据与数据间的关系

数据流中主要需要设计数据如何流动,如小明需要买房,小明的社保信息需要从社保中心获取,小明的纳税信息需要从税务局获取,这些数据需要从社保中心、税务局流动到买房资格那里供分析使用,这就是数据流。数据流是数据架构很关键的部分,表示了数据从哪个源头来,到哪里去使用的过程。如身份信息就需要从公安获取,而不能从社保中心获取。数据流的设计也是数据架构设计的必备设计。

3、   价值流——数据与业务间的关系

价值流更容易理解,所有的业务都有业务流程,而业务流程中会产生/使用/销毁数据,这里需要设计,哪些数据会在关键价值流中使用,对业务流程有关键作用,比如小明买房资格中的所需关键信息就是价值流需要设计的部分。

4、   数据定义和数据标准——数据架构建设的准则和规范

在数据架构中需要规定数据模型的标准规范,包括标准的数据模型定义方式、模型属性的标准规范等,我们通常这个标准规范为数据标准。从理论上讲,所有的数据模型、数据流、数据映射关系的建设都需要参考数据定义和数据标准,从而保证数据在各个环节的拉通。

图3 数据架构的关键组件

四、  数据架构的发展趋势?


现在数据中台建设已经成为企业数字化转型的必选件,数据架构需要从模型为导向,走向以服务为导向。传统数据架构更重视内部信息的建模和梳理,为信息化打下了很好的基础。未来数据建模依然是企业数据架构的基础,这点毋庸置疑,但是为了使数据架构真正落地,为数据消费端服务,未来在数据建模的同时需要考虑数据服务需求,提前确定服务水平协议(SLA,Service Level Agreement),这将会成为未来企业数据架构规划的重点。

1、   从关注底层模型,向关注数据服务转变

数据建模与数据集成依然是数据架构的重要任务,但数据集成方式应该参考服务化架构,不应该再单纯关注底层模型,以梳理现状为主,而应该从数据与业务的关联入手,在模型层之上规划需要提供给业务的数据服务,在数据模型设计时就要让业务明白数据服务与底层数据的关系。

2、   从单纯规划内部数据,向规划内外部数据集成与交互转变

客户数据、采购数据、互联网数据、IOT数据等对数字化企业越来越重要,数据架构需要重点规划外部的数据模型,以实现企业内部数据与外部数据在模型层面的连接。自GDPR(通用数据保护条例)发布以来,由于数据安全的收紧,外部数据的整体数据流也需要详细规划。

五、总结


 数据架构的演进远远没有结束,伴随未来DataOps等场景的出现,数据架构这部分内容会有更多的变化和新发现,数据架构也会越来越走向最终的数据消费端。

六、  参考


[1]DAMA International.DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2017:97.

[2]Steve Hoberman.Data Modeling Made Simple: A Practical Guide for Business and IT Professionals[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2009

[3]天行健-任我行.企业架构---几种架构的集成[EB/OL].http://www.360doc.com/content/11/0428/03/170126_112833730.shtml,2011-04-28.

[4]人月神话.应用架构和技术架构[EB/OL].http://blog.sina.com.cn/s/blog_493a84550101cfen.html,2013-01-26.

[5]孤独剑0001.概念数据模型、逻辑数据模型、物理数据模型[EB/OL].https://blog.csdn.net/gdj0001/article/details/80137496,2018-04-30.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容

  • 从去年开始,越来越多的大数据从业者提到“数据中台”的概念。在信息系统建设工作中,我们熟知系统可以分为前台和后台,但...
    龙咯楼阅读 22,982评论 0 58
  • 大数据从提出概念到四处开花,已经历10年,还未涉足大数据领域的企业在焦虑:如何涉足大数据。而已经开展大数据工作的企...
    龙咯楼阅读 608评论 0 0
  • 技术中台、业务中台和数据中台对比 前言 随着大数据时代的发展,互联网人口红利的逐渐消失,流量焦虑和数据孤岛等问题日...
    言射手阅读 853评论 0 12
  • 数据资源规划与建设 前言 随着时代的发展,全球性经济处于低速增长阶段,为了解决增长困境带来的问题,经济学界提出了新...
    言射手阅读 918评论 1 8
  • 推荐指数: 6.0 书籍主旨关键词:特权、焦点、注意力、语言联想、情景联想 观点: 1.统计学现在叫数据分析,社会...
    Jenaral阅读 5,700评论 0 5