XX数据中台数据大屏

目录

  • 前言
  • 现状
  • 必要性
  • 一、成果输出
    • 数据集成
    • 数据赋能
  • 二、 实现过程
    • 1)调研
    • 2)数据采集同步
    • 3)数据建模
    • 4)数据指标提醒构建
    • 5)数据赋能

前言

主要使用产品如下:
   XX 大数据开发平台,可实现从数据的抽取、治理、分层存储,到数据模型的建立、分析挖掘以及数据的最终应用;
   XX存储生态集群,包括(以postgres数据库为DB内核、HD大数据平台、分布式数据库、离线同步引擎等),在稳定的OLTP基础上持一定数量级别的大数据OLAP需求;
  XX BI 大数据可视化分析平台。

作者:以数据分析师(产品)身份全程参与完成了此中台项目一期建设。从需求调研到数据贯通、数据赋能。
  完成了自下而上的元数据梳理、数据定义、数据模型构建,和自上而下的业务理解、业务指标体系搭建、指标管理及指标可视化。同时指导数据开发工程师、UI及前端完成数据赋能的落地。

对象XX园区[1]。大型产业园区,以\color{red}{房地产租赁、销售以及产业投资}为主营业务。


背景

现状

   依靠业务线,经过十多年的信息化建设,XX园区[1]已经积累了大量数据,资产、财务、OA等系统建设也日趋完善。

  • 业务模式
       从XX园区[1]对外财报可以看到,主营业务收入主要来自房产租赁、销售以及投资收益。

必要性

  • 痛点
       1、数据孤岛
       数据不规范、数据可靠性低。例如跨部门多台账、数据定义不一致。
       2、业务线不连贯。
       当业务线跨多部门时,前置和后置部门对业务对象定义不一。同一实体,无法复用
  • 需求
       1、解决数据孤岛、业务线不连贯等问题
       2、通过数据集成,能够数据共享、复用。
       3、数据分析,对内衡量业务发展,对外探索业务新模式,加快数字化转型。

一、成果输出

   数据集成

      一年已完成OA、资产、财务、人事等系统原始数据表的对接,开展400余项指标设计,完成开发了领导、资产部、财务、人力资源等9个驾驶舱,每日同步更新近400余张数据表,数据总量超过2200万。

   数据赋能

  • 1)构建数据标准
       业务多元,各部门结合紧密,数据标准缺失导致企业内部存在“数据歧义”与“多台账”等问题。通过统一部门之间的数据标识、统计口径并设立信息数据专员明确数据责任主体,得以保证数据的唯一、准确、及时、有效,大幅节约部门间沟通成本,提高员工工作效率,并为具体实施中台搭建提供基础。
  • 2)数据贯通
       各业务子系统相互独立、孤岛纵横是推进数字化转型的一大阻碍。目前数据中台已连接部分业务系统,基本实现XX园区[1]的基础业务数据整合,实现信息系统之间的高效交流和数据共享。
  • 3)数据价值
       数据中台针对各部门在数据使用方面的痛点与需求,完成了数据建模与驾驶舱搭建。截至目前共开发完成9个驾驶舱界面,包含26个子模块,累计超过400个指标项,囊括XX园区[1]的主营业务。实现了通过数据分析,客观完整地反映企业经营状况,为精细化管理提供支撑。

二、实现过程

\color{red}{(当前项目涉及保密文中举例为电商,仅为形象表述定义,与项目无关)}

image

1)调研

   了解XX园区[1]当前信息化建设下的已有系统,从完善度较高的系统开始对接,当前主要对接了OA、资产、财务、人事等系统, 已基本覆盖XX园区[1]的主营业务线。
   调研各部门主要在业务系统使用中遇到的业务痛点,以及亟待解决的需求。例如:各部门较为独立,对出租率、收入的定义不一致。

  • 业务调研
       要构建大数据数据仓库,就需要了解各个业务领域、业务线的业务有什么共同点和不同点,以及各个业务线可以细分为哪几个业务模块,每个业务模块具体的业务流程又是怎样的。业务调研是否充分,将会直接决定数据仓库建设是否成功 。

  • 需求调研
       需求调研的途径有两种:一是直接和业务人员获知需求;二是现有的报表和台账进行研究分析。

2)数据采集同步

  • 数据来源

    • 线上数据:对接各业务系统,拿到数据库说明文档及个业务系统读取权限(仅读取)

    • 线下台账:开发上传接口,指定上传规则及更新周期

  • 数据采集策略

    • 备库: 与主库实时同步

    • 抽取备库:每天定点全量

  • 数据定义

    • 元数据定义:

      • 要理解业务,除和业务人员沟通外,就要对元数据进行梳理,避免毫无章法的查表,建议先对元数据进行数据定义,主要是分为单表属性定义和表字段定义。
        image
    • 数据关系定义

      • 在“数据定义” 完成后,需要考虑表与表之间的关系。以实体出发寻找其行为、扩展信息等,划分出不同的业务域。
        image

3)数据建模

  • 3.1数仓模型 \color{red}{(文中举例为电商,仅为形象表述定义,与本项目无关)}

    • 在“数据定义” 完成后,需要考虑表与表之间的关系。以实体出发寻找其行为、扩展信息等,划分出不同的业务域。
      image
    • ods层一般为抽取的元数据,例如

      • 01、数据定义的表
        image
        • 商品表 ods_aaa1_xxx

        • 商品信息表 ods_aaa2_xxx

        • 定价表 ods_aaa3_xxx

        • 厂商表 ods_aaa4_xxx

        • 订单表 ods_aaa5_xxx

    • dwd主题层一般建立大宽表,以事实表或者实体表尽可能的关联信息,避免百分比数据(因为比率数据无法做累加累减),此处dwd表不一定追求一步生成,“目标dwd表”可由多张“过程dwd表”生成。

      • 02、数据关系定义划分的域
        image
        • 订单域 dwd_order_xx

        • 商品域 dwd_sku_xxx

    • dws专题层的建立就要考虑应用了(指标),思维方向是<自上而下>的。即从业务指标出发,考虑指标维度,从而去搭建适配的dws层。

      • 按照实体进行维度聚合,例如订单按用户不同地区聚合,
        image
        image
    • adm应用层,既可以用作BI可视乎展示也可以用于结果集数据分享。其构建思路,是要考虑服务器的性能和指标的耦合性,要做到一定的平衡。例如adm层的应用表大而宽,对于指标取数是友好的,即可从一张表获取多个指标,但是adm层每天的日增或者全量运行,服务器压力可能会很大;反之应用表假如只针对一个指标,则耦合性太高,扩展性低,适合于业务固定场景。

  • 3.2算法模型

    • 我们在业务开发过程中会形成一些通用的算法,比如“在租客户价值度分析”等

4)数据指标体系构建

  • 4.1数据指标定义

    • 将不同角度的事实数字化、可量化
    • 可度量、可拆解、可描述。
  • 4.2指标类型

    指标体系构成图.jpg

    • 1、基础指标(原子指标)
      • 由基础数据直接展示出单维度指标。如产量, 成本等
    • 2、交叉指标(派生指标 = 原子指标+时间周期+修饰词)
      • 由多个基础指标,结合多种维度,结合度量加工统计得出新的指标,如损耗率、缺货率、产品合格率等;
    • 3、高级指标
      • 结合一定的业务逻辑,或采取某种算法加工得出的指标。如产能利用率、劳动生产率、交货期预测等;
  • 4.3指标体系构建思路

    image.png

    • 1、自上而下
      • 面向对象
        • 指具体人员
      • 面向业务
        • 主营业务的业务线
          • 如:用户行为生命周期
        • 关键性指标构成线
          • 如:GMV
            • 各环节转化
    • 2、自上而下
      • 从源数据出发,发掘。
  • 4.4指标标准管理

    • 1、基础属性
      • 指标编号:一级分类、二级分类、三级分类、指标名称、英文名
    • 2、业务属性
      • 业务含义、统计口径、类型
      • 度量单位、统计频率
    • 3、技术属性
      • 数据模型、长度/精度、敏感性
    • 4、管理属性
      • 版本号、日期、定义部门、使用部门
  • 举例

    • 案例1:To-B

      • 园区管理案例


        image.png
      • 人效分析
      image.png
    • 案例1:To-C

      • 付费APP案例


        image.png

5)数据赋能

  • 在我们完成数据建模以及数据指标体系的构建后,接下来就是对数据进行赋能。数据中台针对各部门在数据使用方面的痛点与需求,完成了数据建模与驾驶舱(可视化大屏)搭建。截至目前共开发完成9个驾驶舱界面,包含26个子模块,累计超过400个指标项,客观完整地反映企业经营状况,为精细化管理提供支撑
  • 数据标准化
    • 去除不同终端中的叫法与含义,定义统一化的输入输出;构建数据指标字典,达到数据贯通及快速响应。
  • 数据共享
    • 针对之前存在的“数据歧义”与“多台账”等问题。通过统一部门之间的数据标识、统计口径。指定数据定义、统计口径等,实现系统间、部门间,数据共享。
  • 数据可视化
    • 截至目前共开发完成9个驾驶舱界面,包含26个子模块。通过数据分析,客观完整地反映企业经营状况,为精细化管理提供支撑。如**\color{red}{下图为Ui渲染图,展示数据已脱敏处理}
      image.png

  1. 该中台项目涉及保密,故全文涉及该客户名称,均以XX园区示意;

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
禁止转载,如需转载请通过简信或评论联系作者。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容