数据目录管理
数据源管理
- 查看、创建、编辑、删除
- 元数据获取
- 手动执行
- 定时执行
数据源类型管理
- 创建数据源类型时需要添加类型的元数据模型定义,模型定义是Json格式,会提供相应的模板来供用户参考并支持在线验证格式是否正确
数据资产管理
资产类型
- 物理数据资产
- 资产信息由元数据抓取工具实时抓取生成,类型由数据源类型决定,例如文件系统、关系型数据库、NoSQL数据库和消息队列等。
- 业务数据资产
- 资产信息由已有数据源和业务逻辑生成,目前只支持由关系型数据库类型的数据源生成,属于派生数据源。
资产搜索
- 根据类型、名字或者标签搜索到相应的数据资产,如表、列、文件等,可点击查看该资产的详细信息。
资产详情(表级别)
概况
- 资产名字
- 资产类型
- 资产标签
- 资产相关术语
- 资产所有者
- 资产的创建时间
- 资产的更新时间
- 资产的相关指标
- 不同资产的指标不一样,例如文件类型资产的相关指标有文件大小、文件格式等,数据库表类型的资产的相关指标有总行数、列数量等
基准
- 每一列或者选择的列的Null、Distinct Count、Max、Min、Distribution、Freshness、Uniqutes、Format等值
异常项
- 展示数据基准监控、数据质量监控、数据漂移监控中发现的异常项
样例数据
数据血缘
- 优先支持查看表之间的血缘关系
- 进行数据影响推断,尽快地发现数据质量的下游影响节点
Schema 监控
- 自动监控各种数据源的结构变化,进行schema的自动更新,同时进行告警
- 查询Schema变化历史数据
监控策略管理
策略配置
- 数据基准监控策略
- 数据质量监控策略
- 数据漂移监控策略
- 数据核对监控策略
- 用于比对当前资产表和目标资产表的数据,包括一致性、值比对等
策略执行结果查看
数据评价体系
Metric 管理
- 内置Metric,让用户开箱即用
- 内置多个维度多类型的Metric
- 自定义Metric
- 支持SQL类型的自定义语句
- 根据历史数据自动推断合适的阈值
SLAs
issue管理
- 根据不同metric生成不同的issue警告,并可以管理issue的状态,超时未处理会再通知、可以点击误报来关闭issue
告警插件管理
- 支持多种告警插件,包括邮箱、企业微信、钉钉、Slack等