美文网首页
在数据智能时代企业面对庞大的数据量如何高效进行数据治理?

在数据智能时代企业面对庞大的数据量如何高效进行数据治理?

作者: 数据分析一号 | 来源:发表于2020-06-23 14:23 被阅读0次

    在数据智能时代,对企业而言,“数据驱动业务”或者“数据即是业务”的理念逐渐成为业界的一种共识。然而,数据孤岛、数据标准不统一等问题在一定程度上阻碍了数据资产价值的最大化体现。个推作为专业的数据智能服务商,在数据治理方面有着丰富的实践,旨在帮助提升效率、节省成本、获取数据资产价值。

    数据治理目标

    企业数据治理的目标主要是为了企业能够快速发展和效益的最大化,比如提升效率(数据开发效率或者使用效率)、节省成本、业务创新增收、风险控制等。企业通过治理运营可以及时发现并规避一些经营风险问题,有效确保数据使用的合理性与合规性。

    数据治理规范

    根据ISO定义,数据治理 (Data Governance, DG) 就是以服务组织战略目标为基本原则,通过组织成员的协同努力、流程制度的制定以及数据资产的梳理、采集清洗、结构化存储、可视化管理和多维度分析,实现数据资产价值获取、业务模式创新和经营风险控制的过程。治理工作旨在让数据使用更便捷,价值更易被挖掘。

    上图是我们国家标准化管理委员会于18年6月发布,19年初正式实施的《数据治理规范》。由图可知,数据治理一共分为四大模块:顶层设计、数据治理环境、数据治理域、数据治理过程。其中,顶层设计是数据治理工作的基础。数据治理工作会涉及到多部门、多团队、多工种,需要根据组织当前的业务和数据现状,设定实体或虚拟组织机构,确保治理工作朝着组织战略目标前进。

    目前,个推也设立了各专业的委员会和执行组织,负责把控数据工作的目标和方向、指导数据工作的开展落地等。

    数据治理环境是数据治理得以成功实施的保障条件。开展数据治理之前我们需要理清领导层、管理层、业务层、执行层等等利益相关方的需求,同时识别出项目支持力量和阻力。值得注意的是,数据治理工作是个长期的过程。有关准备工作和支持力量不容忽视,因为两者直接决定了后续工作的推进是否顺利。

    架构中部的数据治理域主要负责治理工作相关的制度规范、流程的制定和落地。数据治理域由数据管理体系与数据价值体系两部分构成。前者主要包括数据质量、数据安全相关的标准制度,后者主要指的是数据共享、数据服务和数据使用分析体系相关的制度。

    数据治理工作需要长期持续投入,所以在具体执行过程中,我们就需要考虑用正循环的闭环方式去开展。治理过程主要包括确定数据治理目标、制定数据治理计划、执行业务梳理、设计数据架构、采集清洗数据、存储核心数据、实施元数据管理和数据血缘追踪,并定期检查治理结果与治理目标的匹配程度。

    数据治理实践

    治理工作的主要流程可以概括为“理—采—存—管—用”。“理”指的是理组织、理业务、理数据;“采”指的是让这些数据能方便地流入到中心集群中;“管”是治理的核心,指的是管元数据、管质量等等。“用”这个环节,常规方式一般是通过API予以提供。基于此流程,个推构建了自己的数据治理平台。

    针对企业数据孤岛、数据标准不统一等问题在一定程度上阻碍了数据资产价值的最大化体现等现状,亿信华辰自主研发的睿治包含元数据、数据标准、数据质量、数据集成、主数据、数据资产、数据交换、数据生命周期、数据安全等高度融合的9大核心模块,各模块可独立或者组合使用,打通数据治理各环节,实现了数据治理场景的全覆盖。

    ▲睿治产品架构图

    睿治的通用扩展性之高,广受好评。平台基于各行业数据共性,采用成熟模块化设计理念,实现各模块功能各行业应用场景普遍适用;平台功能全面,模块组装灵活,可高效便捷完成数据从创建到消亡的全过程的监控和治理;平台提供丰富的服务接口,内置脚本支持,全面满足集成、扩展需要。

    睿治作为国内少有的覆盖数据全生命周期的数据治理平台,以创新的方式保证企业的业务数据在采集、汇总、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性,全面为客户量身打造符合自身特征的数据治理体系。实现了数据问题一个平台全解决,使客户从此告别东拼西凑尴尬局面,从而进一步提升数据治理的全面性、连贯性、持续性,真正降低了成本。

    先进技术助力智能化

    睿治致力于打造“平台化、可视化、智能化”的数据治理解决方案,先进的产品设计理念,充分依照国际规范、标准,具有国内先进水平。其广泛应用了MQ、分布式计算、zookeeper等最新技术,智能化、自动化水平保持领先,同时引领国内行业发展趋势:

    元数据自动化采集、分析,端到端的自动化采集,一键元数据分析,快速构建数据地图;

    数据质量自动探查,内置常规数理统计算法支持绑定机器学习算法;

    数据关系智能构建,基于存储过程、sql、数据库定义,自动理解数据之间的关系;

    资产目录主动感知,活化更新等先进技术,确保成为当之无愧的领头羊。

    与此同时,高性能应对大数据浪潮。睿治采用并行处理技术,通过内存计算,具备合理JAVA内存回收机制,支持集群部署方式,再配以不断在演进的核心算法,保证了平台能以极高的性能应对各种极限挑战。

    相关文章

      网友评论

          本文标题:在数据智能时代企业面对庞大的数据量如何高效进行数据治理?

          本文链接:https://www.haomeiwen.com/subject/thhhfktx.html