美文网首页数据智能GIT大数据相关
[数据知识]DAMA数据管理—数据架构管理

[数据知识]DAMA数据管理—数据架构管理

作者: 数据师 | 来源:发表于2017-05-30 21:16 被阅读1160次

"数据小兵"在5月25日~5月28日期间,参加了"2017年中国国际大数据产业博览会",在此期间获得了"大数据标准化—中国数据标准化与治理"奖项(本人亲自参与的企业数据治理项目)。

颁奖词:数据标准化和治理工作是信息化建设的重要基础,然而一直没得到应有的重视,随着大数据时代的到来,企业更加注重"数据资产"的价值,同时也发现企业积累了十几年的"小数据"并没有管理好,基础数据能力并没有得到有效的建立和利用,数据家底不清、准确性不高、连通性不强,无法有效开展数据应用。
本次项的设置,希望能够发现和汇集过去十多年来数据能力领先行业和单位的专家人才和优秀实践经验,倡导更加重视基础数据能力,同时也为大数据业界提供经过实践验证的可行方法,帮助更多单位扎实的管理好数据资产,保障数据资产的价值。此外,我们也希望能够为一直以来默默无闻的数据标准化和治理的从业者所取得的成就提供一个展现的舞台和权威的外部认可,让更多的大数据从业者在榜样和标杆的引领下,共同加入到这项基础工作中来。这样,我们的大数据产业才能更稳健的发展。"

在这里,"数据小兵"结合自身的经历,对预期或已经投入"数据领域"研究的专业人士,提出几点个人的建议:

  • 应扎实打好数据基础理论知识功底,增强对于"数据思维"的深入理解和洞察;
  • 结合"数据实践"不断提升自身的数据能力;
  • 以"数据创造价值 创新驱动未来"为主题的2017年数博会,更明确地阐明了"数据治理、数据质量"为核心的企业数据内核重要地位,需要企业对于"数据资产"培养一批精干的以CDO首席数据官为核心的Data Team

可参考:《御数坊:提升个人数据管理能力,培养企业数据管理人才队伍—CDMP数据管理专业认证》

相信,越来越多的有识之士,凭借着对数据的深入洞察、理解、前瞻、感悟,意识到新的发展机遇。"数据小兵"期待大家的共同参与,让我们共同学习、进步、分享快乐,相信在以数据为纽带的数字时空中,触及我们各自不同的诠释。一路相伴、数梦成真!
下面,本篇介绍[数据知识]DAMA数据管理知识体系—数据架构管理篇的学习心得,供大家学习和参考。

[核心要点]

简介

  • 企业架构通常整合了业务架构、信息系统架构(数据架构和应用架构)、技术架构三大部分,企业数据架构是企业架构中的一部分;
  • 企业数据架构是用于定义数据需求、整合和控制、以获得数据资产蓝图,匹配企业战略、企业业务架构一致性的一套数据视角下的企业业务实体及其重要属性(特征)的术语规范集合(包括3类:企业数据模型、信息的价值链分析、相关数据交付架构)。

概念

  • 什么是架构?架构是针对于复杂构成要素的有组织的安排,结构化、系统化、功能化...等的设计及美感。
  • 企业架构?企业架构是一套整合业务与IT之间的相互关联的模块和组件,包括:信息架构、流程架构、业务架构、系统架构、技术架构、信息价值链分析构件等。通常把现在的基线架构和未来的目标架构进行区分,阐明过渡阶段、迁移方案等。企业架构的方法(IBM—BSP、信息工程方法ISP)。
  • 架构框架?架构框架是提供一种结构化、系统化思考、理解架构的方法,指导开发企业架构的架构。(框架列举:开放组织架构框架TOGAF、联邦企业架构FEA、政府企业架构GEA、美国国防部架构框架DODAF、英国国防部架构框架MODAF、法国DGA架构框架AGATE)。
  • Zachman企业架构框架。6种视角:规划者视角(范围背景)、所有者视角(业务概念)、设计者视角(系统逻辑)、建造者视角(技术物理)、实施者视角(组件组装)、参与者视角(运营等级);6个维度:用什么做(数据列)、如何做(功能列)、何地做(网络列)、何人做(人员列)、何时做(时间列)、为何做(目标列)。
  • Zachman框架和企业数据架构。对应矩阵主要包括:主题域和业务实体、概念数据模型、逻辑数据模型、物理数据模型、SQL语言、实例。

活动

  • 理解企业信息需求。基于组织内部和外部目标评估目前组织所需要的输入和输出,表述企业范围内数据整合的主蓝图;
  • 开发和维护企业数据模型。企业数据模型EDM,是企业范围内的整合的、面向主题的数据模型,用来定义关键的数据生产者和消费者。企业数据模型=主题域模型+概念数据模型+逻辑数据模型+其他数据模型组件;
  • 分析并与其他业务模型匹配。分析映射企业模式元素和其他业务模型的关系,信息价值链是数据架构的输出,每个矩阵式某个业务流程、组织或应用架构的一部分,将不同的"原始模型"黏合在一起;
  • 定义和为何数据技术架构。是企业技术架构一部分,支撑数据架构的工具分类(7种分类:数据库管理系统、数据库管理工具、数据建模和管理、商务智能、数据仓库、数据质量、元数据)和工具组件支撑状态说明(7种状态:当前、部署、战略、退役、首选、限制、新兴);
  • 定义和维护数据整合架构。定义数据在各系统中的流转,数据的流入和流出,体现"数据血缘"关系和数据流概念,形成基于业务角色的CRUD矩阵;
  • 定义和维护数据仓库/商务智能架构。数据仓库体现数据存储的高可用,商务智能反映数据决策支持;
  • 定义和维护企业分类方法和命名空间。类似图书馆分类法,提供大纲的层级结构,且使用术语定义与数据模型及企业模型和分类系统一致;
  • 定义和维护元数据架构。定义数据的受控流转,包括:定义元数据、元数据存储,以目录形式反映数据存储、术语、辞典等的整合设计。

综述

  • 数据架构需要数据管理人员集体工作,且持续不断、更新优化,它是"活"的东西,需要适应业务变化的改变。
  • 指导原则。8项原则,主要反映的是企业数据架构的整合、统一、术语、数据模型、信息价值链、数据交付架构及架构开发框架的思考;
  • 过程总结。从交付物、负责角色、审批角色、贡献角色提出8个活动的组织、任务分工;
  • 组织和文化问题。强调"数据意识"对于洞悉业务需求的角度理解数据,而不仅仅是IT技术支撑服务。

[观点解读]

通过对以上内容的学习,"数据小兵"对于要点补充解读如下:

简介

书中对企业架构、企业数据架构、企业数据架构管理进行了阐述,强调了数据架构核心内涵及与企业架构之间的关系。
"数据小兵"认为文中逻辑关系不是很清晰,建议大家在学习时应从"企业架构"入手,原因很简单:"数据架构"是企业架构的组成部分,企业架构是从整体范畴考虑业务与IT之间的关联关系,数据架构作为其核心内容起到"承上启下"作用,即对接企业战略、业务架构的一致性,又指导应用、技术架构的开发。这里给出参考书,便于大家学习理解《企业架构:价值网络时代企业成功的运营模式》于海澜

概念

书中通过对"架构"概念解读,提出企业架构的定义,并提供了结构化、系统化的理解方法,即"架构框架",进而对常用的Zachman企业架构开发框架进行了介绍。
"数据小兵"认为文中对于"架构"的解读是从建筑的视角进行解读的,大家在理解"架构"概念时,可参考《架构之美 Beautiful Archiecture》Till Adam 对于架构的理解更为透彻,个人对于Till Adam"架构"的理解是"动词",强调"是一个过程,而非一个结果"很是认同,想大家也深入理解下。接下来对于架构框架,主要是通过结构和系统的思考方式提出"架构的架构",这里大家可参考《The Open Group TOGAF架构开发方法ADM》,当然开发企业架构的方法有很多,结合业界比较成熟的框架,"数据小兵"认为TOGAF较为完善,利于企业架构的落地实施和架构治理,后面系列"数据小兵"也会专题开设知识体系内容,请大家关注。那么,Zachman企业架构框架作为业界认知度比较高的框架强调的是5W1H的方法论与组织层级视角的结合,形成不同关注视角的整体框架矩阵,大家可参考 《Zachman 企业架构框架》进行理解,由于Zachman框架应用范围广泛,类似拼图,逐步构造企业架构全景。

活动

书中对于数据架构管理内容形成企业数据资产蓝图的活动进行了介绍(包括8个步骤:理解企业信息需求、开发和维护企业数据模型、分析并与其他业务模型匹配、定义和为何数据技术架构、定义和维护数据整合架构、定义和维护数据仓库/商务智能架构、定义和维护企业分类方法和命名空间、定义和维护元数据架构)
"数据小兵"认为8个步骤强调数据架构整体开发过程,首先从企业的信息需求入手,获得企业目标架构和基线架构的企业整体数据模型蓝图需求,其次通过企业数据模型的开发,整合企业主题域模型、概念数据模型、逻辑数据模型及其他数据模型的逐步细化,从而构建出信息价值链的耦合模型,即"复合模型",后续提供数据架构的技术架构工具及组件支撑,获得基于数据流和数据血缘的数据流转关系矩阵,并对数据仓库的存储及商务智能的决策支撑进行介绍,最后采用分类方法对企业数据模型进行一致大纲层级定义,以及构建元数据架构管理整个企业数据架构,使其能够在受控下良好流转。以上8个步骤重点在于数据模型的设计和开发,这里引入 御数坊:杨科学《企业级数据模型设计方法论探讨》便于大家理解。
"数据小兵"强调下,数据架构的开发和管理可以结合"企业架构"整合开发,也可以结合"企业数据治理"进行整体开发,两则并不冲突,其核心都是立足于企业的战略、企业核心竞争力的打造,随着企业对数据的理解和认知、开发、利用的不断深入,企业间的联盟体现在数据聚力的区块链、乃至主权区块链的整合竞争更为突出,数据开放、数据交易、数据铁笼、数据安全、数据确权...等更增添了数据架构作为数据治理与其相关领域的交互、影响更为显著,企业需要对数据架构进行动态的治理管控,保证数据的架构的持久、稳定。

综述

书中对于数据架构的指导原则、过程及组织文化问题进行了介绍,这部分重点对前面的内容进行了总结,提出数据架构师持续优化、更新完善的动态过程,且保证作为企业架构的组成部分的匹配。8个指导原则,也是从整体数据架构蓝图、企业架构的一部分、相关数据规范,以及信息价值链、企业架构开发框架角度进行了指导。这里就不再啰嗦了。

[经验体会]

通过本章的学习,"数据小兵"结合自身工作经验,谈一谈理解:
由于本章的重点内容主要讨论的是数据架构,构成数据架构的核心在打造"企业级数据模型"。当前,很多企业在谈到数据模型时仍缺乏认知。仍狭隘地认为是某个业务信息系统下的应用数据模型,未能从整体视角构建和持续维护一个企业级数据模型,未对企业的业务术语有效定义,对于组织的业务概念、业务规则、业务语言没有统一的理解,导致数据冗余、数据缺失、数据混淆、数据滥用、数据不一致等问题时有发生,大多数应对方式也是采取人工的数据清洗、数据补全、数据更正进行维护,没有构建起企业级的整体数据模型的术语标准,是个通用的大问题。
另外,对于企业架构中的组成部分数据架构来说,需要一支企业架构治理团队。企业需要持续维护企业战略、业务架构、数据架构、应用架构、技术架构的企业架构治理团队,保障企业架构、数据架构...的有效、持续运行,目前企业对于架构开发,通常以项目的形式进行成果交付,对于参与企业架构、数据架构...开发的参与方的管控缺乏,导致项目完成了,人员就散失了,损失也是巨大的。
再有,对于支撑数据架构的技术架构部分,没有良好的评估机制。技术支撑需要考虑企业的整体数据模型支撑,较多的企业没有对数据接入标准进行有效定义,元数据架构缺失或不足,运用中间匹配或耦合适配进行补救处理,无法保障数据架构的安全、稳定、实时、可靠的高效运转,也是个问题。


以上,观点为"数据小兵"的学习心得体会,不代表官方观点,欢迎小伙伴们提出宝贵的建议,"数据小兵"将非常感激!

打造"数据思维、数据知识、数据实践"的学习和分享环境,期待大家的参与!我们共同学习和进步!
数据小兵 http://www.fuduo.wang

相关文章

网友评论

    本文标题:[数据知识]DAMA数据管理—数据架构管理

    本文链接:https://www.haomeiwen.com/subject/iyarfxtx.html