绝大多数大中型组织都拥有上百甚至上千的应用系统,而每个应用都有不同的数据库和其他多种形式的数据存储。不管这些数据存储是来自传统技术以及数据库管理系统、新兴技术或者文档管理系统,要使这些应用在组织中发挥作用,在这些数据存储之间共享信息是至关重要的。但是,如果没有一个贯穿整个组织的统一方法,开发和管理在不同的应用系统之间移动数据的方案将会变得复杂无比。
本篇给出了一个合理的途径和架构,使得在一个应用系统组合中管理纷繁复杂的接口成为可能。
基于信息技术的数据管理的重点通常围绕着如何高效地管理数据库或者静态存储的持久化数据。由于目前很多组织的应用系统主要都是购买的供应商解决方案,因此,管理系统之间、应用之间、数据存储之间以及组织之间“运动着的数据"应当成为任何一个组织的信息技术的核心工作。对于大多数组织来说,相对于新应用的开发,定制开发将继续围绕着应用之间的数据迁移。
本篇总共分为四部分,22章的内容,由于细节内容太多了,所以小编只能把部分知识点截图出来粗略的介绍,每个小节里面都有更加细化的内容。
第一部分:数据集成导论,集中论述了在组织的数据管理计划中实现数据集成以及对移动中的数据进行高效管理的重要性和必要性。
第1章:数据集成的重要性
给出了数据集成应当成为组织数据管理的重要课题的原因,以及几乎每个组织都应当在其信息技术基础设施中设立一个数据集成层的原因。
第2章:什么是数据集成
展示了所有可以称为数据集成的过程:移动数据、转换数据、把数据从一个应用迁移到另外-一个应用、 将所有的信息进行整合,以及针对数据分发不同的数据过程。
第3章:数据集成的类型和复杂性
概要讨论了各种不同的数据集成类型,后继章节会详细论述每种数据集成:批处理数据集成、实时数据集成以及大数据集成。
第4章:数据集成开发过程
主要就数据集成项目的标准开发生命周期以及所需要的资源类型展开论述。
第二部分:批处理数据集成,讨论大规模数据迁移时所涉及的数据集成技巧和技术,这类数据迁移通常称为批处理,或者异步数据集成,用于数据转换以及将数据迁移到数据仓库。
第5章:批处理数据集成简介
阐述了什么是批处理数据集成。
第6章:抽取、转换和加载
讨论了数据集成的核心处理的过程即ETL的处理流程,这一-过程几乎用于所有的数据集成,尤其在批处理集成中。
第7章:数据仓库
着重讨论了数据仓库的概念,以及如何将数据装人数据仓库,如何将数据从数据仓库抽取出来。该章还包含了与数据仓库专家Krish Krishnan就数据仓库和数据集成的一个访谈记录。
第8章:数据转换
阐述了数据转换的处理过程。数据转换也叫数据迁移,该章还讲述了数据集成如何成为数据转换过程必不可少的组成部分。
第9章:数据归档
重点论述了数据归档的处理过程,以及数据集成的重要性。同时还包含了和专家JamesAnderson就数据归档和数据集成的访谈。
第10章:批处理数据集成架构和元数据
概述了实现一个批处理数据集成的所有必须工具,包括分析、建模、元数据处理、数据移动、转换以及调度。还包括了与元数据管理专家AdrienneTannenbaum就元数据和数据集成所进行的访谈。
第三部分:实时数据集成,讨论了与实时或者同步数据集成相关的数据集成最佳实践,实时数据集成用于在相互交互的操作型应用和系统之间传输数据。
第11章:实时数据集成简介
介绍了什么是实时数据集成能力。
第12章:数据集成模式
分类讨论了实时数据集成的基本模式,特别是对于数据接口来说至关重要的“中心一节点”模式。
第13章:核心实时数据集成技术
介绍了用于实时数据集成的关键技术,包括ESB、SOA、XML、EAI以及EAI。该章还包括了与XML专家M.DavidAllen关于实时数据集成中XML的重要性的访谈,以及与数据集成专家DavidLinthicum就企业服务总线的访谈。
第14章:数据集成建模
论述了数据集成中数据建模的关键领域,特别是对于实时数据集成来说。数据建模专家Dagna Gaythorpe结合其自身经验,就作为中心一节点接口架构不可或缺的一部分的数据建模给出了权威阐述。
第15章:主数据管理
阐述了主数据管理,以及数据集成如何与主数据管理相互穿插,并成为其成功的基石。
第16章:实时更新数据仓库
论述了数据仓库的实时更新技术。数据仓库专家KrishKrishnan就数据仓库和实时数据集成继续展开访谈。
第17章:实时数据集成架构和元数据
给出了实现一个实时数据集成能力所必备的工具,包括分析、建模、元数据存储、数据迁移、转换以及事件调度等。
第四部分:大数据集成,讨论了与数据集成相关的新兴技术,如:云计算、可视化、大规模并行处理以及数据虚拟化。
第18章:大数据集成简介
介绍了大数据集成能力。
第19章:云架构和数据集成
简要介绍了云计算架构,以及与数据集成相关的一些额外的问题和关注点,如将组织的数据与云解决方案中的数据进行集成。
第20章:数据虚拟化
讨论了数据虚拟化技术,这是大数据集成的技术核心。
第21章:大数据集成
给出了大数据集成的概貌,同时给出了实现-一个大数据集成所必备的工具。
第22章:移动数据管理总结
总结了全书的数据集成论述,并就实现各种不同类型的数据集成能力所需要的技术方案做了总结,包括批处理数据集成、实时数据集成以及大数据集成。
因文章篇幅限制,小编在这里就不做过多的介绍了。需要本【大数据管理:数据集成的技术、方法与最佳实践】技术文档的小伙伴,就可以转发此文关注小编,++++++ V X ①⑧①③③⑤③②⑨⑦ 就可以获取了!
谁应该阅读本篇
面向以下五类读者:
●资深业务和信息技术经理;
●企业数据、应用和技术架构师;
●数据处理相关项目的项目经理,包括数据仓库、主数据管理项目、数据转换和迁移以及数据归档;
●数据分析师、数据模型设计师、数据库工作者以及数据集成程序员;
●数据管理专业学生。
网友评论