美文网首页
系统谈数据治理,更有课程告诉你

系统谈数据治理,更有课程告诉你

作者: 宋懵懵的数据生活 | 来源:发表于2020-06-28 16:14 被阅读0次

为什么要做数据治理

进入到大数据时代,数据领域里的工程师、分析师和科学家们可以很轻易的使用开源世界的各种技术(比如离线处理有MapReduce、Spark,实时处理有Flink、Spark Streaming,数据存储有HDFS、Hbase等等)处理数据、应用数据,但是如何将繁杂的数据结构、庞大的数据集、不断变化的元数据信息变成资产,变成可积累的知识,却是一个很难回答的问题。对于业务驱动的公司,做数据治理并不能直接产生业务价值和效益;技术驱动的公司,数据治理也没有很高的技术含量,但是一个没有经过治理的数据,只会随着业务规模的增大,越来越混乱,直到没有人想去碰。因此如何让这繁杂的数据变成数据资产,让数据团队不做重复地工作,拥有更高的效率成了每一个数据团队需要解决的问题。

在大数据领域,数据治理可以说是高频次的出现,那么为什么需要数据治理?应该怎么来实施数据治理。

一、数据治理的背景

说起数据治理,往往会跟数据仓库进行对标,数据治理跟数据仓库是什么关系呢?一般而言数据仓库主要解决多源数据汇聚、存储和数据分析的问题,在数据仓库的体系中极少提到数据资产化的概念,那么数据治理在传统的数据仓库的基础上,更多的体现数据资产化的概念,所以数据治理的核心能力并不是有限的数据分析,而是数据价值的充分挖掘和体现。

那么数据治理为什么不叫数据管理呢?数据管理更多的是如何来管理数据,而数据治理更充分的体现数据的价值,通过一系列的治理活动来提升数据的价值,发挥数据应有的作用,使数据驱动应用。

另外,数据治理与当前比较火热的数据中台又是什么关系呢?我认为数据治理是数据中台的技术实现,通过数据治理的技术体系来建立数据中台。

综上所述,数据治理就是在数据爆发式增长的形势下,数据价值发挥越来越显得紧迫和重要,甚至可以说未来市场的竞争就是数据价值的竞争。所以只有建立完整的数据治理体系,才能保障数据内容的质量,才能真正有效的挖掘数据价值,提升竞争力。

二、数据治理的设计方法

这里就不长篇大论的描述数据治理的设计方案了,主要以关键点的方式来进行简要阐述。

首先我们要考虑数据治理的目标,其一对数据通过统一的视图进行管理;其二对多源数据进行标准化处理;其三数据资产化最重要的活动,数据价值挖掘的基础。

标准先行,一般来说需要事先制定“数据分类及编码标准”、“数据目录标准”、“数据项标准”、“数据安全标准”、“数据交换共享标准”;

依据标准建立数据目录管理功能,通过数据目录管理来落实数据分类编码、数据目录和数据项标准;

建立数据清洗规则,使数据目录与源数据表建立映射,数据项与源表数据项建立映射,通过ETL实现对源数据的清洗;

建立数据质量管理功能,按照数据目录定期检查数据的质量问题,并通过数据问题库来记录和跟踪数据的质量问题,从而达到持续改进数据治理的效果;

建立数据安全管理功能,数据安全主要通过三方面来实现,其一是数据加密、脱敏等技术,其二是数据权限,包括表级、行级和列级权限定义,其三对数据交换共享进行日志记录,并定时自动审计数据安全问题。

建立数据服务功能,一般都会提供通过文件、接口的方式来提供数据服务功能,按照数据安全标准对数据服务方式进行处理。

再强调一下ETL,支持通过表对接、文件、接口等方式归集数据,通过数据清洗规则对数据进行清洗转换的处理,从而加载到数据库中,我们用Hive来作为加载数据的数据仓库。

最后数据治理还有一些高级一点的功能,包括数据血缘、数据关联等分析的能力。

伴随以互联网、大数据、物联网、5G、AI、数据中台、新基建等为代表的新一代信息技术发展,企业数字化转型的需求加剧,但企业转型过程中,各种数据信息会成为转型的首要内容,而数据治理则是转型工作的重中之重。通常来讲数据治理作为一项系统性工程,在企业数字化转型过程中暴露的问题也较多,如:

数据异构系统多,信息系统孤岛现象普遍存在;

数据整合难,数据标准不统一、质量差、资源共享与协同支撑作用薄弱、价值发掘难度大等;

方法及技术局限,传统的数据治理技术方法存在较大的局限性,咨询-标准-系统建设的模式往往在咨询后就难以为继,不是找不到落地抓手,就是因工作量巨大而半途而废。

…….

面临当下这些问题,企业如何突破现有瓶颈让数据治理项目可以顺利进行,成功实现企业数字化转型?亿信华辰数据治理专题直播给你安排上了,有效助力企业数字化转型。

6月17日-7月9日,

4场直播+4位大咖+众多数据治理干货,

讲师全部是亿信华辰10年以上资深产品专家,

他们将告诉你:数字化转型下企业数据治理该如何开展?数据架构如何设计,数据中台在智慧城市下如何应用等?你从零基础变身数据治理大牛,

内容包含企业数字化转型、数据架构、数据模型、数据标准、数据质量、元数据等方方面面,有数据治理系统搭建,有数据治理场景,有真实案例......

6月17日-7月9日,每周1课,4个课时,

4位亿信资深睿治产品+售前+交付专家

带你从零开始入门数据治理!

相关文章

  • 系统谈数据治理,更有课程告诉你

    为什么要做数据治理 进入到大数据时代,数据领域里的工程师、分析师和科学家们可以很轻易的使用开源世界的各种技术(比如...

  • 数据治理篇-元数据: datahub概述

    前言. 元数据是数据治理的灵魂 1. 元数据之于数据治理 数据治理是一个庞大的系统,其中主要包括数据管控,数据质量...

  • 数据治理十步法

    以下文章来源于谈数据 ,作者石秀峰 1、找症状,明确目标 任何企业实施数据治理都不是为了治理数据而治理数据,其背后...

  • 也谈数据治理

    也谈数据治理 |0x00 数据治理是什么 数据治理,在不同行业的概念,可能不同。比如在国家标准化管理委员会发布《信...

  • 系统谈数据治理,具体案例来分析

    为什么要做数据治理 进入到大数据时代,数据领域里的工程师、分析师和科学家们可以很轻易的使用开源世界的各种技术(比如...

  • 以元数据为基础的数据治理策略

    什么是数据治理策略? 数据是公司资产。为了更快地做出决策,用户必须信任它。数据治理打破了整个企业中不同系统的数据孤...

  • 数据治理为什么会重新引起关注?

    为何治理 这突出了数据治理的重要性。由数据治理研究所定义为“信息相关过程的决策权和责任系统,根据商定的模型执行,描...

  • 数据治理中的有趣发现(一)

    数据治理,一般来说,涉及数据获取的治理、数据流程治理、数仓模型治理、数据权限治理、指标体系治理、数据应用能力提升、...

  • OCP培训的真正意义在于敲门砖

    Oracle是目前使用最为广泛的大型数据库治理系统,提高Oracle数据库系统的运行效率,是整个计算机信息系统高效...

  • (6)分布式系统关键技术:流量与数据调度

    流量调度:不要将流量调度和服务治理混为一谈 (服务治理是流量调度的前提);主要功能;关键技术。 状态数据调度:完整...

网友评论

      本文标题:系统谈数据治理,更有课程告诉你

      本文链接:https://www.haomeiwen.com/subject/vbswfktx.html