本篇介绍[数据知识]DAMA数据管理知识体系—参考数据和主数据管理篇的学习心得，供大家学习和参考。
[核心要点]
简介
参考数据管理和主数据管理是一项持续的数据质量改进计划，需要持续的协调参考数据和主数据的一致和维护工作，它们的驱动因素是：跨数据源、应用和技术条件下的数据质量和整合需求；对重要业务提供360度信息视图的报表和分析支撑需求。
参考数据管理，是对标准化术语、代码值、其他唯一标识符、每个取值的业务定义的控制；对数据域值列表内部、跨不同列表之间的业务关系控制；对准确、及时、相关参考数据值的一致、共享使用控制，进行的数据分类和目录整编。
主数据管理，是对主数据值的控制，实现跨系统一致、共享、上下文环境下的使用；对核心业务实体的真实、准确、及时的版本控制。
概念和活动
- 参考数据。通过内部定义或外部来源，来有效维护数据值列表及其业务含义的定义。用于将其他数据进行分类或目录整编的数据。示例如下：一些参考数据集是只包含两列值的简单列表；一些参考数据集包括对代表同一事物多个代码值的交叉引用；一些参考数据集包括每个值的业务定义；一些参考数据集定义一种数据取值的分类法。参考数据的值域会发生缓慢变化，需要维护参考数据值和相关元数据，包括：代码值、标准说明和业务定义。参考数据集是包括不同取值的数据值域，每个参考数据集都有受控词汇来进行管理。
- 主数据。是一个关于事实的"黄金"记录，如：每个产品、地点、人员或组织。是关于业务实体的数据，这些实体为业务交易提供关联环境。常见的主数据：有基于人、组织、客户关系的角色数据；以企业资源规划ERP充当财务主数据中心的业务单元、成本中心、利润中心、预算、计划、项目的财务主数据；专注于组织内产品或服务，及整合行业的（涵盖竞争对手）的产品和服务的产品主数据；提供跟踪和分享地理信息能力的位置主数据。主数据管理是一套定义和维护流程，涉及如何在企业内创建、整合、维护、使用主数据，可通过数据整合工具ETL、数据清洗工具、主数据总线的操作性数据存储ODS或主数据管理应用系统来实施管理，进而实现数据源内及跨数据源的信息整合，提供"黄金记录"或事实的最佳版本及跨应用系统访问。
- 理解参考数据和主数据整合需求。组织从重点关注某一主题区域的参考数据和主数据入手，分析所有物理数据库和不同应用模式中的业务实体的匹配情况，得到整个企业数据整合需求。
- 识别参考数据和主数据的来源及贡献者。在获得数据整合需求的基础上，跟踪这些数据的数据血缘关系，确定数据起始及中间的数据源数据库、文件、应用、组织，及创造和维护这些数据的角色岗位。
- 定义和维护数据整合架构。控制数据的共享访问、复制和数据流向，以确保数据质量和一致性。常见基本方案：主数据管理架构8.2、参考数据管理架构8.3、参考数据和主数据中心操作型数据存储8.4。数据整合架构目的也是提供数据整合服务（参考：数据整合服务架8.5），采用相同的数据标准协调不一致的参考数据和主数据，确定哪些数据元素表示不一致和如何更好地表示这些数据。
- 实施参考数据和主数据解决方案。通常组织在总体架构、业务优先级和实施路线图的指导下，通过阶段化的相关项目，以迭代和增量方式实施参考数据和主数据解决方案。
- 定义和维护数据匹配规则。其目的是消除冗余，提高数据质量，提供更全面的信息。常见的匹配规则：应用推理规则、信任度规则和结合匹配率指标构建关联工作流匹配规则；考虑构建的匹配规则：重复识别原则、匹配合并规则、匹配链接规则。
- 建立"黄金"记录。需要通过多种匹配规则的推理和应用，对结果审核来实现。词汇管理包括词汇及其参考数据的定义、溯源、导入和维护。受控词汇表的主要目的是实现内容对象描述的一致性并便于检索。词汇管理最重要的活动就是确定首选术语及其标准清单。定义"黄金"数据则通过分析确定数据质量，应用数据质量规则和匹配规则，获取、建立和更新数据的应用中嵌入的数据质量控制过程。建立数据质量衡量方法，通过数据剖析活动及其业务规则的符合程度，验证、评估数据质量的问题根因，以便设置数据质量预期。术语和标准化是一项数据清洗活动，经过规范化和清洗之后的数据，下一步是应用匹配规则来消除冗余数据。数据质量规则会整合在（ETL、Web Service等）环境中，使接入的任何数据源使用统一的检验和标准化规则。
- 定义和维护层次及关联关系。关联管理是主数据记录之间关系的维护和建立。例如："普通到特殊的分类或全部和部分的组合或是......的一部分的关系"，商务智能称其为维度层次管理。
- 计划和实施新数据源的整合。数据采集、数据清洗和数据剖析、数据整合复杂性和成本、匹配规则的影响及数据质量指标。
- 复制和分发参考数据与主数据。同步复制数据，应用程序确保对参考数据和主数据的完整性、一致性。
- 管理参考数据和主数据的变更。需要业务数据管理专员和数据专家一起，确保高质量的参考数据和主数据。遵循变更控制流程，考虑影响有：内外部参考数据集的变更、条目和代码的废止、新旧代码的关联、参考数据变化的影响，以及主数据管理的业务定义和数据结构的变更等。
综述
- 指导原则。6条原则，重点内容有：范围是整个组织范畴；是一个持续的数据质量计划；需要业务人员和数据专家共同参与；"黄金"记录需要审慎应用匹配规则，确保所做的改变是可逆的；确保复制数据的唯一来源；实施变更管理流程。
- 过程总结。10个管理活动，重点从需求、评估、解决方案、匹配规则、数据标准、数据血缘关系、数据质量报告、数据整合及变更管理进行介绍。
- 组织和文化问题。关注各方对主数据的需求和期望；坚持变更控制流程；确立数据治理和数据管理组织。
[观点解读]
通过对以上内容的学习，"数据小兵"对于要点补充解读如下：
书中对参考数据管理和主数据管理进行了介绍，提出此项工作是一项数据质量改进计划。并从管理角度提出提升数据质量、整合数据源、提供多维度视图报表和分析的需求。
这里"数据小兵"强调，参考数据和主数据管理是通过计划、实施和控制活动，保证语境数据价值与"黄金"数据的一致性。目标是为了获得数据源的协调一致、高质量的利用和重用数据标准来降低成本和复杂度，从而支撑商务智能和信息整合。需要重点提出的是"什么是数据标准"，它如何构建语境和"黄金"数据的一致性。这里"数据小兵"推荐大家阅读 御数坊 王少峰《为“数据标准”正名——数据标准化工作思考》，这里针对DAMA数据管理知识体系中：参考数据和主数据的理解，国内较为普遍的认知是"数据标准化"，也就是书中谈到的"黄金"数据体系。"黄金记录"中对于词汇管理和术语、标准化、匹配规则进行了详尽的介绍，数据标准属性要素则重点包括业务属性、技术属性、管理属性。不难看出，"数据标准化体系"的构建更为详细的阐述了DAMA数据管理体系中的参考数据和主数据管理方面的内容，并且结合数据治理体系的构建支撑"黄金"数据的落地实施。
概念和活动
书中对于参考数据和主数据管理的管理活动有12个，包括：参考数据、主数据、理解参考数据和主数据整合需求、识别参考数据和主数据的来源及贡献者、定义和维护数据整合架构、实施参考数据和主数据解决方案、定义和维护数据匹配规则、建立"黄金"记录、定义和维护层次及关联关系、计划和实施新数据源的整合、复制和分发参考数据与主数据、参考数据和主数据的变更管理。主要从参考数据和主数据的概念理解开始，获得需求和来源的识别，进行数据整合和提出解决方案，匹配规则"数据标准"构建"黄金"记录，构建关联关系，实施数据源的整合和数据的分发，最后是对数据的变更维护管理。
这里"数据小兵"推荐大家阅读 御数坊 杨科学《实施主数据管理的十大诀窍》提出的18个成功要素，这里结合自己的理解谈下"参考数据和主数据"的区别是：参考数据可以是不同的取值数据值域，相关数据取值都有受控词汇来进行管理，这里假定你是企业的话，受控词汇可能是国家、行业标准中的描述和规定；主数据则是关于业务实体的数据，它注重事实的数据，如:人、组织、地点、事物的数据。所以，"黄金"数据的构建需要从企业的业务的需求出发，开展参考数据和主数据的构建。为了方便大家学习，这里引入数据标准化实践 御数坊 岑伟迪《浙江移动数据体系标准化治理经验分享》。"数据小兵"结合自身的项目经验补充一下，企业开展数据标准化的工作的驱动因素略有不同，较多的情况下是从数据仓库的发起的，随着企业信息化的不断深入，企业数据量逐步增加，对于沉积在数据仓库中的数据的开发和利用，成为迫在解决的问题。较多的情况是开展数据治理、数据标准化工作，进而开发数据资产和提升数据质量；也有一些企业是由于管理决策的需要，构建商务智能BI分析，从绩效指标KPI的数据标准化开始，逐步到基础数据的标准化，重新构建基于数据管理的基础工作。这里，"数据小兵"强调，企业对数据治理、数据质量、数据标准化工作应引起重视，DAMA对于十大管理领域的阐述中，对参考数据和主数据的管理，用"黄金"数据来度量，可见其重要程度。数据是对客观世界的记录，它客观的反映企业业务的人、物、事，是真实的业务，数据的质量就是业务的质量，如果不数据"正本清源"的话，企业IT即为无源之水、无本之木。所以，企业的CIO们应抓好数据标准化工作，可参见：御数坊 《CIO：如何做好数据标准化？》。
综述
- 指导原则。指导原则部分从管理视角提出，各方参与，持续构建数据质量提升机制。
- 过程总结。（略）
- 组织和文化问题。强调数据治理组织的构建和业务相关方共同理解和期望。
[经验体会]
通过本章的学习，"数据小兵"结合自身工作经验，谈一谈理解：
当前，较多企业对于商务智能BI、人工智能AI、可视化分析、大数据管理平台化产品甚是追捧！也有很多企业不惜重金购买了相关的基础设施和技术工具。这里"数据小兵"强调，企业CIO们，不要为了构建系统而建设系统，实际上企业内真正能使用这些系统的用户寥寥无几，所谓IT的投资成为不断堆砌的片片无人村落，缺乏从战略规划和经营决策的视角审视“数据”作为企业业务的承载的"黄金"价值，不同部门依然从自身的角度片面度量"如：财务指标、运营指标、绩效指标..."缺乏沟通、协调、统一，企业没有统一的"词汇管理机制"对数据进行有效的描述和定义，为了获得短期的技术能力提升，规避与业务频繁沟通的无休止困惑，进而失去了企业IT投资的本质初衷。数据承载着企业业务的客观记录，以资产形式呈现价值，加强企业数据标准化工作的开展和数据治理工作需要战略引导。
以上，观点为"数据小兵"的学习心得体会，不代表官方观点，欢迎小伙伴们提出宝贵的建议，"数据小兵"将非常感激！
打造"数据思维、数据知识、数据实践"的学习和分享环境，期待大家的参与！我们共同学习和进步！
网友评论