数据治理

为什么需要：

野蛮式增长背后都是烟囱式的数据建设，随之而来，数据存储，数据模型建设（数据冗余，数据孤岛问题非常多），数据质量，使用规范上都会出现一些问题。业务对数据提出了准确性、及时性等要求。

目标：

- 一是控制数据使用成本，主要是计算资源问题，模型冗余问题

- 二是提升查询效率和解决问题效率，包括模型不稳定，标准性差问题，优化数据管理方案

规范数据建设，指标建设，保障数据建模统一性，统一标准 。

- 三是保障数据质量，主要是数据不一致，问题故障频发出现。

- 四是数据安全

方法：

（1）元数据管理

元数据从数据的角度可以分为三类：业务元数据、技术元数据和管理元数据。

业务元数据是从业务的视角去描述数据，让不懂数据的人可以快速读懂数据，例如：表名称、表的血缘关系、表的字段说明、指标的统计口径等多种业务描述；

技术元数据自然就是从技术的角度去描述数据，例如：表的sql、字段长度、字段类型等多种技术描述；

管理元数据是包含数据管理的信息在里面，例如：表的业务属主、表的技术负责人。

元数据的管理通常包含：血缘分析、数据生命周期。

        血缘分析：对元数据的上下游进行分析，我的公司按照数据存储的数据库将血缘分析分为了两类：

                           存在Hadoop平台的血缘分析，可用通过脚本解析出到字段级的上下游关系；

                            建表有主外键的，可通过主外键建立血缘关系。

        - 废弃模型：⽆无下游，且模型⽆无在线作业或作业⽆无调度

        数据生命周期：数据都存在生命周期，当元数据访问量变低，数据价值不存在的时候，可将它下线清除，释放存储空间。

（2）数据模型治理

分库分表，数据字典、核心指标文档的维护

有ods无dwd，包括之前的dwd表重构（ods中间层删除）

报表模型相似性治理（上下链路重合度大，字段来⾃自于相同上游字段的⽐比重较⼤ ，）

日/近30天/近90天 访问量/ 访问人数（pv、uv）、低热度：近120天内⽆无热度，180天以上⽇日均热度等

数据链路的梳理，能够与现有系统保持一致和融合，避免产生信息孤岛，或者带来重复不必要的数据集成、数据转换。

数据一致性

（3）数据质量管理

数据质量的提升通常包含以下几个方面：

1）数据质量评估，提供数据质量评估能力，如数据一致性、完整性、正确性、合规性、及时性等，对数据进行全面检查；

2）数据质量检查，提供可配置化的检查规则，通过脚本定时调度执行；

3）数据质量监控，提供报警规则，根据配置检查规则的阀值，对超出阀值的进行不同程级的告警和通知；

4）问题处理机制，对数据问题按照流程进行处理，规范问题处理机制和步骤，强化问题认证，提高数据质量；

5）根据血缘关系和业务场景锁定高价值数据，进行高安全级别管控，避免数据出错。

起夜率 

（4）数据安全

字段脱敏，数据表权限管理，数据按安全级别分级管理和授权，数据权限工具建设和授权流程制定（安全检查）等