美文网首页大数据,机器学习,人工智能大数据大数据 爬虫Python AI Sql
选型宝访谈 | 怎样构建主数据平台,打造干净的数据治理能力?

选型宝访谈 | 怎样构建主数据平台,打造干净的数据治理能力?

作者: f81f49b26d88 | 来源:发表于2019-07-31 10:56 被阅读0次

    01

    直播简介

    今天,商业环境瞬息万变,竞争日益加剧。

    无论你是什么行业,你都无法回避的一个关键词是“数字化转型”。通过数字化转型,让企业变得敏捷,成为一种时代精神,也是我们这代IT人的使命。

    然而,无论是业务层面的创新需求,还是决策层面的数据分析需求,都要干净、准确的业务数据作为支撑。只有拥有一个规范的、干净的数据基础,才有可能谈创新,才有可能在复杂多变的商业环境下,做出科学的决策,数字化转型战略才有机会落地。

    在企业纷繁复杂的数据里,有一类数据事关全局,例如:客户数据、产品数据、员工数据......这些数据被频繁复用、影响全局,正在成为数据治理中的难点、痛点。

    主数据管理系统正是以这些共享的、静态的数据为抓手,尝试通过建立一个统一的、共享的管理系统,通过治理和规范,形成打造真正干净的数据治理能力。

    然而作为一类重实施的项目,主数据管理的实施并不简单,其中有诸多脏活、累活,项目实施风险很高。

    主数据管理项目实施风险有哪些?

    主数据产品选型关键注意事项是什么?

    带着这些问题,6月20日,选型宝采访了Stibo Systems 大中华区专业服务总监张金良先生。

    干货满满,尽在访谈实录中......

    02

     关于Stibo Systems

    一家专注做主数据管理的厂商,源自欧洲

    客户包括:麦当劳、上汽通用五菱、北汽福田......

    03

     本次访谈的观点精华

    选型宝:在您看来,什么样类型的数据属于主数据,它跟其它的数据是一个什么样的关系?

    张金良:主数据有三个标准,第一个就是唯一性,这个好理解,既然做主数据一定是唯一的,不能有重复的,这是唯一性。

    第二个就是共享性,主数据一定要是在整个企业的业务系统中能够一直在流转的,各个系统都会使用的,这种是共享性。

    第三个是静态性,这个数据是相对于静态,不是变化频率特别高的,不像我们的交易数据可能一分钟变几十次这种,它的数据相对静态。

    一般来说我们会拿这三个标准来去进行一个梳理,这是传统的主数据定义的一个概念。当然现在对于主数据可能有一些外延或者有一些管理方式的变化,但是它的数据层面界定,我们基本上还是以这个为主。

    业务数据之间跟主数据的关系,其实就是主数据是业务数据的基础,主数据到了各个业务系统,我会去补充它的一些业务属性,这样的话这个数据可能会更加丰富。

    同时还有一些业务数据,交易性的数据,在跑的时候其实是拿主数据作为基础数据来去生成的。所以主数据是所有数据里边最基础、最核心的一部分。

    选型宝:主数据管理跟数据治理这两个概念,我们应该怎么去理解它们之间的关系呢?

    张金良:其实主数据跟数据治理,我们的简单理解,它们相互合作,是共同帮助企业提高数据质量。

    其实数据治理它属于数据管理中的一部分,主数据管理又是数据管理中最核心的一部分。

    企业在做数据治理的情况下,首先要有主数据管理,要有数据标准、规范,需要建立成熟的主数据管理流程,那基于这个,再做数据治理,包括数据清洗,至少我们说有法可依,你要依据哪一种标准来去进行数据的清洗,数据治理,那如果你的标准不定的话,你这数据只能越来越乱,今天我是这个标准我要这么去做,明天另外部门我另外一个标准,那数据肯定会乱的,一定要有一个统一的标准。

    主数据管理,就是他把主数据层面的整个标准流程,包括一些定义落地,能保证这些数据的质量,那以这个为基础,我再去做数据质量,那就更加容易一些。

    Stibo认为主数据管理,是整个数据管理中最核心的基石部分。



    选型宝:一般而言,企业实施主数据系统,会经历怎么样的一个历程?


    张金良:一般来讲,分为以下几步:


    第一步  主数据的界定


    我们要去做一些宣贯,跟客户讨论,他们什么样的数据是主数据,这个过程叫主数据的界定,或者叫主数据识别。界定的标准就是刚才说的唯一性、共享性、静态性。



    第二步  确定主数据的维护流程、标准规范


    访谈完之后,确定其这些数据维护的标准规范,如果是合理的,我可以研究它们,如果有一些可以变化,可以去改变,或者优化的,我们会给出一些意见,要细到字段级,我的数据类型是什么样的、大小,长度等等,这是一些主数据标准上面的东西。


    同时也要帮客户梳理数据维护流程,未来参与这个流程大概都是谁,每一个流程节点的角色,应该是什么样的人,推荐什么样的人去担任这样的职务,去负责这一块。


    因为你这个数据标准它也不是说一成不变的,之前定完之后,后边还会经常有一些变化,这个时候一定要有专门的人或者是组织办这个事。



    第三步  历史数据清洗,进入主数据系统


    数据清洗是主数据里边实施的一个很大的部分。数据如果质量不高,是脏数据、乱数据,进了主数据系统里,它还是脏乱的。如果没有数据清洗,我只不过是把脏数据,从这个地方拿了一个备份,放到另外一个地方,没有解决根本的问题。


    结合确定的标准规范,对历史数据进行清洗,确保清洗以后,干净的数据进入主数据管理系统。



    第四步  数据映射


    清洗以后,主数据系统里存的是唯一可信的数据,在业务系统中,可能存在于重复的数据,或者数据质量很差,在这种情况下,要去做这种映射。


    主数据管理系统把清洗过的数据,回推给业务系统,然后再一个保留映射的关系,因为交易在跑,如果把数据完全改的话,可能就原来的这个系统单据,这种历史数据可能走不下去了,所以说可能是要有映射关系,有一个过渡的过程。


    选型宝:项目上线以后,怎样的机制,保证新产生的数据符合规范?


    张金良:通常,我们讲究一个事前、事中、事后的一个概念。


    事前,数据进来之前,要校验,质量不好的话,有问题的,我不要,这是一种。


    另外一个我在里边维护的时候,因为人为做会有失误,不能保证人做的都是对的,在这个情况下,事中的时候,也会有一个监控跟治理的过程。


    事后,主数据系统往业务系统推数据的时候,也一定是要按照符合业务系统要求规范,推下去。


    整个这三部分,事前、事中、事后,都要有数据管理体系,而在我们的组数据产品,Stibo里边,其实有这些功能的。


    比如说我会有一些校验接口,哪怕你是用自己的业务部门来去维护,你也是要到主数据系统的接口来进行数据校验,保证进来数据是OK的。


    同时在里边,我们会有一些数据质量分析的报表,定期的去跑,有问题的话直接就能提示你这些数据有哪些问题?这个的话,在数据维护管理是非常重要的,因为我一眼就看到了哪一条数据什么问题,我就可以直接去进行更改、维护。


    另外一种功能,我会有一些业务规则或者是流程校验的机制,你在里边维护的时候,我当时能提醒你,你这个输错了,你这个东西做的不对,或者不符合标准,这样整个是一个完整的体系。从数据标准、规范、流程,这几种合作才能保证它数据的干净程度。


    选型宝:数据的校验机制,这个背后的是一些什么样的逻辑,能举几个例子吗?

    张金良:其实校验这块,我们也会经常遇到,简单来讲就是我们经常自己上网登录东西发现的,这个框是文本就不能输数字的。

    简单的,长度是20位的编码,你不能输40。比如手机号,你要超过11位,我就认为你输错了。

    但是再复杂一些,比如说你的身份证号进来之后,它会给您校验,你这个是不是自己编的?因为身份证号它会有校验位,它不是自己编的,第二号码区号,你随便录,是不是对?

    然后再复杂,比如说我的数据进来之后有一个判重,跟主数据要识别它的唯一性,之前录过一条数据,你过两天以后,可能录得非常相似或相近,我要去提示你。等等诸如此类的机制,来保证后续的数据是持续干净的。


    选型宝:作为一种实施风险比较高的项目,您认为,可能导致主数据管理项目失败的因素有哪些?

    张金良:其实从主数据管理来讲,实施难点主要在于几个方面:

    1、怎样驱动业务部门落实新的管理规范

    一般好多企业是这样,使用业务系统我要去使,但是都会认为整个数据的维护管理都应该是IT的事。

    实际情况是,好多数据其实是从业务部门来的,这种情况下它在界定数据维护流程的时候,制度规范很难去往下推。人人都愿意享受数据规范后的便利,但是不一定愿意承受规范带来的束缚。

    2、历史数据的清洗,这是一个脏活累活

    另外一个点很重要,就是数据清洗,以前这个历史数据哪些数据能进主数据,要进之前,一定要做清洗,这步很关键的。

    理论上其实每条每个字段都要过了,所以这个会比较苦,量会比较大,用我们的话讲就是干脏活累活的。

    这一步,也是很重要的一个潜在风险,是关系到项目成败的关键。


    选型宝:有哪些策略可以降低实施风险?

    张金良:首先是要确保领导有力

    这个项目一定需要比较高级别的领导才能推动,只有高级的领导,才能够去协调动各个部门之间的资源或者是人力。

    包括比如说专家,包括各个部门的组长,他来去做数据的规范、数据标准的制定,他来去领导这个流程走下去。

    如果有数据变更,他能去做一些仲裁这样一些内容,所以说这一定要是一个级别比较高的人才能推动这个项目。

    第二,做好激励

    在整个项目实施的过程当中,我们会把这个数据进行一个界定,定义这个数据的数组,到底是谁来管这块数据,哪个部门来负责哪一部分。

    我们系统会有一个整个追溯的过程,到底是谁什么时间做什么维护,改了什么样的数据,会有这样的追溯过程,并且我们会对数据质量有一个评估,有些KPI指标,可以评估整个数据维护的及时性,包括准确性,通过这种KPI指标来统计每个人,可以跟他的绩效进行挂钩,也相当于进行一些相应的正激励或者负激励方式,也是去促使用户既在享受高数据质量的优势的同时,也要有一个贡献。

    第三,通过产品和技术手段,尽可能沿用之前的数据维护习惯

    例如,把主系统和有些页面直接嵌到业务系统里去,沿用用户以前的维护习惯,让用户感觉不到在维护主数据系统,他感觉到我是在为业务系统维护数据,但实际上他进到了主数据系统里面。

    通过降低习惯的改动,降低业务人员的抵触情绪,降低实施风险。

    选型宝:站在客户的角度看,您认为选择一款主数据管理平台,应该重点考察哪些维度?

    张金良:如果以客户角度来讲,选择一个主数据平台,应该从以下角度考察:

    ▣  第一,易用性

    是不是非常好用,是不是非常容易上手,然后是不是我业务部门就能去使,产品做的足够易用,才更容易减少业务部门的抵触情绪。

    ▣  第二,扩展性

    就是刚才说的或者是叫业务响应性,如果数据的结构、标准发生了变化,能不能在第一时间能够响应业务的要求,而不是说再去找原厂重新开发,重新搭建结构、重新部署等等一系列东西,那可能这一系列时间过去之后,那个最佳时机已经过去了。

    ▣  第三,公司和产品的持久性

    因为主数据来讲,它这个核心数据是非常重要的数据。这家公司一定要未来看到它是一个持续发展的公司,不能说过几年这公司都没了,那我这个系统,我的这么重要的数据没有人来去维护,没有去做更新,这也是很关键的。

    ▣  第四,实施人员的业务能力

    因为看似只是纯数据的一个东西,但是你要对它的业务要有一些比较深的了解,你能给他一些经验,比如说哪个行业里边这个数据一般来说怎么维护,然后一般来说定义的数据标准什么样的,我的数据的质量属性一般是哪一些,这有给他一些指导。

    ▣  第五,项目周期

    这块放到最后,其实很重要。

    很多客户都会想实施周期短,因为一旦发现数据质量问题,就肯定想越快越好,所以说项目实施周期也是非常重要,就是我能不能尽快的在半年以内把这个数据治理好。


    选型宝:您认为,与友商相比,你们有哪些关键不同?

    张金良:其实易用和扩展性强就是Stibo的产品优势。

    例如,校验规则通常可以通过配置的方式,来满足客户的个性化的需求。

    另外,操作界面是完全图形化的,图形化来去改模型的,所以当有了新的变化的时候,新加字段的时候,用户只需要在页面上操作几下就能把这个新的字段直接加过来,原来的数据丝毫不受影响,可以接着去使用。


    这样的好处是,实施周期短,未来扩展也相对容易。

    举一个很简单的例子,我们在国外有一些做零售行业的,他们做产品信息的时候,做产品发布。

    产品发布我们知道,新产品发布上市的时候可能就几天的时间。如果它这个东西有发生调整,自己不会调,再找到原厂去给你做,就会非常麻烦。

    所以这个其实某种意义上不是一个成本的问题,而是敏捷性的问题,今天大家都是竞争特别激烈,所以业务部门会对你IT部门提出极高要求,你这为什么数据还没给我录进去?我要赶紧卖了。

    所以这样一个情况下就要求你必须有一个特别高弹性的,高敏捷的一个工具,能够帮你去实现这样一种能力。


    选型宝:支持哪些部署方式?

    张金良:本地部署和云部署都支持。

    本地部署有好多客户还在用,国内可能用的比较多一点。另外一种其实支持云部署,如果说我们有公有云,像亚马逊的云,像微软的云,比如说国内的华为云,我们有好多客户的部署的华为云,包括他自己的私有云,还是公有云都可以部署。


    选型宝:请简单介绍一下Stibo这家公司

    张金良:Stibo Systems是一家专注做主数据管理的软件公司,我们的母公司是Stibo集团,它是成立于1794年,其实就是法国大革命结束完之后。我们总部是在丹麦奥胡斯,是丹麦第二大城市,传统上,做印刷,包括以前常见的电话本、企业的黄页、目录,这这样的整理数据的业务。所以,数据整理、治理是我们的基因。

    Stibo Systems成立于1976年,一直专注在主数据管理领域。

    目前,我们在全球有500多家跨国大型客户,我们在全世界现在有18个办公室,然后在北京我们是2012年开始注册,2013年开始正式开展业务,现在已经进入中国在北京有office,然后在深圳有office。 

    2018年,Stibo Systems 被 Forrester 评为产品信息管理 “领导者”。

    选型宝:在国内外有哪些典型客户?

    张金良:我们在全球的典型的一些案例,其实我们是分了几个大的行业,可以看到有零售业、分销、制造,然后这些比较多,其实里边也可以看到我们经常认识的这些品牌了,比如说麦当劳、沃尔玛,然后家乐福,包括爱马仕这些。

    国内的有维达、联塑这些企业以及制造、汽车、金融、旅游、医疗等行业的客户。



    相关文章

      网友评论

        本文标题:选型宝访谈 | 怎样构建主数据平台,打造干净的数据治理能力?

        本文链接:https://www.haomeiwen.com/subject/oolzrctx.html