Apache Atlas
Atlas为一些组织提供了开放的元数据管理（management）与治理（governance）能力。这些组织正使用数据集中型（intensive）平台，比如Apache Hadoop，云平台，移动和物联网（IoT）系统，而这些平台或系统都需要与传统系统集成、交换数据，并用于分析和数据驱动决策。通过这些能力，一个组织可以构建他们数据资产的目录（catalog），分类和管理他们的资产，同时为数据科学家、分析师、数据治理团队提供围绕数据资产的协作能力。
为什么是Atlas？
Atlas以提供一组可伸缩和可扩展的核心基础元数据管理与治理服务集作为目标。它使得企业能够有效和高效地满足个人数据平台的合规要求，同时确保与整个数据生态系统的集成。Apache Atlas的组织是围绕着两项指导原则进行的：
- 元数据事实通过自动化，合作，开发标准来实现（Metadata truth through automation, collaboration and open standards）：在一个组织中Atlas应该提供数据资产的完全可见性。
1.现代组织有很多保存数据的IT系统，而它们又采用了范围广泛的各种技术。作为开源项目的Atlas将帮助组织建立起元数据标准，并帮助各个技术提供者共同围绕着消除数据仓库壁垒而进行统一治理。这些数据仓壁垒正式组织努力消除的。
2.通过API，钩子（hook）和桥接器（bridge），Atlas促进了通过开放标准，进行元数据交换的易用性。这些开发标准还提高了多个元数据制造者之间的内部互操作性。
3.Atlas聚焦于元数据的自动化处理与治理。它在数据资产创建时捕获它们的细节，在这些资产被处理和拷贝时获取它们的血缘关系（lineage）。
4.基于可延展的类型系统，Atlas能够将众多数据资产聚合在一起，并通过不同的视角和专业知识使得这些数据资产相互协作，或对这些资产进行创新性的使用。 - 开放中的发展（Developed in the open）：Atlas由Hortonworks公司在数据治理倡议的雨伞下孵化出来的。该倡议由许多垂直领域行业共同提出，这些行业有金融服务，医疗保健，油气产品，零售，制药。来自于Aetna，JPMorgan Chase，Merck，SAS，Schlumberger的工程师们，协同Hortonworks一起孵化了Atlas——一个基于Hadoop生态系统的开放性元数据治理平台。在经历了2年以上的成熟期后，由于有这样伟大的开始，Hortonworks，IBM，ING以及许多其他的组织正不断扩展Altas，以解决横跨各个行业的数据治理难题。这种方式是帮助产品加速成熟和为数据驱动企业带来时间价值（time-to-value）的开源社区创新方运作的一个良好例证。
Atlas现状
下图1展示了Apache Atlas刚进入孵化器时的初始架构形态。
Apache Atlas初始版本
由孵化器工程定义的核心能力包括以下：
- 数据分类（Data Classification）- 在一个数据平台内，比如Hadoop，参加一种可理解的数据，并为内外数据源提供这种数据分类
- 中心化审计（Centralized Auditing）- 提供一个框架，用以捕获和报告对应Hadoop中数据的访问与修改
- 搜索与家系（Search and lineage）- 允许预定义的或专门性的对数据和元数据的探索，同时维护好一个数据源或显示数据是构建出来过程或信息
- 安全与策略引擎（Security and Policy Engine） - 保护好数据并在遵循合规策略的前提下合理访问数据。
Atlas社区通过以下组件来满足上述各项需求：
- 灵活的知识存储和类型系统
- 自动为数据资产编制目录表，同事通过钩子（hook）和桥接器（bridge）来形成家系
- 利用API和简单UI来提供对元数据的访问
- 与Apache Ranger整合，以提供实时的、基于标签（tag）的访问控制，和基于角色强访问控制能力。
请继续关注更多
目前Atlas聚焦于Apache Hadoop平台。然而，Atlas被设计用于与其他工具，或Hadoop生态系统内外的处理过程交换元数据，因此允许平台无关性的治理控制能力将有效的解决合规需求。
项目现在正在进行中的工作是扩展Atlas操作的平台，这不仅能提供元数据发现和自动化治理核心能力，同时还还创建了一个开放性的交互生态系统。该生态系统通过消息交换，或连接不同Apache Atlas实例，或连接其他类型元数据工具，以整合形成一个组织企业级视角的数据资产，并能管理和使用它们。
Atlas由于那些无私贡献的人们而变成更好。如果元数据管理和治理也是你兴趣所在或专业擅长，那么我们想请你考虑加入社区，成为Atlas社区的一份子。
网友评论