面对爆炸式增长的数据,如何建设高效的数据模型和,对这些数据进行有序和有结构的分类和,避免和,保证数据的规范性,一直是大数据系统建设不断追求的方向。
如何快速上手工作: 从业务架构设计到模型设计,从数据研发到数据服务
规范化
建设统一的、规范化的数据集接入层(ODS)和数据中间层(DWD 、DWS), 通过数据服务和数据产品,完成数据公共层建设
体系架构
主体域划分:
主题域
数据域
业务过程
时间周期
修饰类型
修饰词
度量/ 原子指标
维度
维度属性
指标体系:
原子指标
派生指标:源自指标、时间周期修饰词
衍生指标
模型设计
数据模型分为三层:操作数据层ODS、公共维度模型层CDM (包括明细数据层DWD、汇总数据层DWS) 、应用数据层ADS
DIM层(维度数据)横跨了DWS 和 DWD
公共维度模型层CDM:存放明细事实数据(DWD)、维度数据(DIM)、公共指标汇总数据(DWS),其中DWD、DIM一般根据ODS层数据加工生成,DWS一般根据DWD、DIM加工生成
数据调用服务优先使用公共维度曾(CDM)数据,当公共层没有数据时,需要评估是否需要创建公共层数据,当不需要建设公用的公共层时,方可使用操作数据层(ODS),应用数据层(ADS)作为餐品持有的个性化数据一般不对外提供数据服务,但是ADS作为被服务方也需要遵守这个约定