美文网首页
从数据中获得价值,自动化数据发现是第一位的

从数据中获得价值,自动化数据发现是第一位的

作者: 锐眼看世界 | 来源:发表于2017-10-23 14:00 被阅读0次

    来源于:TalkingData furion推荐

    高铎(译)

    要点:
    1)很多公司数据分析不到位,实际上使用了不完备的数据;
    2)即便是资深数据分析专家,在面对大量数据库分析时,也会面临成本高昂和容易出错的问题;
    3)自动化的数据发现,采用机器学习来进行大规模数据提取和发现,标示数据和数据关系,应该是我们进行数据治理的常识。

    数据分析的信心来自于数据的完整性。很多公司访问和理解数据的困难,在于处在一个老旧孤立的系统里面。

    考虑到以下情况,你的CEO认识到数据分析需要在公司里面发挥更大的作用,近期尤其迫切。竞争对手也在加速构建数据分析能力,精通数据的新贵如亚马逊也可能进入这个行业。如果你的公司没有全面拥抱和接受数据分析思维,很可能失去市场份额,甚至更糟糕的逐渐在行业变得无足轻重。

    所以,你的CEO组建了最强团队,由公司最厉害的数据分析专家组成,还配备了外部热衷于解决问题的顶级顾问。几个月后,他们基于分析给出一系列改善业务的建议,从增加客户获取和留存、更快的产品演进,到改进的价格计划和客户忠诚度计划,更高的客户满意度计划和更有效的供应链流程。

    在实施这些建议措施并监测几个月效果后,显然预期的改进没有实现,在有些领域还有恶化的倾向。CEO显得有些焦虑,毕竟他承诺过接受数据分析,将会使业务更加高效和有竞争力。到底哪里出了问题?怎么去防止呢?

    数据科学家知道如何做数据分析,但为什么我们不相信结果?

    在已有的数据完整性上,数据分析已经做得很好。虽然分析工作本身可能微不足道,但是好的数据科学团队,知道如何使用流行的数据方法和技术,包括机器学习、随机树、神经网络或非线性回归等,来进行专业高质量的数据分析。他们精通流行的编程语言,如Python、R、Java和C++。此外,他们也了解一些一流公司(如IBM、微软、谷歌、甲骨文、SAP、亚马逊和SalesForce)的数据分析、机器学习等可用性知识。凭借这些知识和专家,为什么数据分析的结果还是可疑的?

    你的数据分析好坏,取决于你的数据完整性。

    答案是数据分析专业人员经常使用不完整的数据。虽然他们的工作是一流的,但技术上分析并不全面,可靠的结论是难以实现的。实际上,数据专业人员在被迫时,也会说实话,他们最困难的不是数据分析本身,而是获得、甚至全面了解他们做好分析所需要的数据。

    这其实不是边缘情况,也不是一个微小因素。事实上研究发现,很多公司缺失80%的数据资产,从而使其缺乏对关键数据元素和数据流的洞见。即使做了此类数据分析的一些公司也会报告说,他们缺乏对20~50%自己数据的深入了解,因为通常其原始数据存储在老旧的孤岛系统里面。另一个原因是采购了良好性能的软件,但这些软件是个黑盒子,数据被隔离而不能进行有效分析。

    数据分析的信心从对完整数据的了解开始 。

    譬如考虑一个拥有很多旧系统的公司,近些年靠多次收购来支撑增长。在用旧系统的情况下,原有的开发人员很早就离开了公司,留下了有限的文件资料;而这些年来系统增加了大量补丁可能使得情况变得更糟。同时,收购的公司也引进了自己的系统,母公司可能将其整合封装在现有的系统中,却从未做过彻底的全面系统切换,因此对基础数据资产缺乏了解。所以该公司可能真正只是了解其数据元素和数据关系的很小一部分。

    另一类场景则是一些在不同业务领域独立运营的公司。譬如,想象一家金融服务公司,有零售银行、经纪人服务、高净值银行服务、企业银行和信用卡部门。该公司期望了解其客户的360度信息,但是由于每个业务单元自身对客户数据了解有成熟的系统,使得公司缺乏将各个业务单元个人数据整合的有效方法。如果公司可以超越这一挑战,它将在客户的购买行为分析、交叉销售机会、客户服务提升和关键问题解决上,有很多新的思路。

    在这两种情况下,数据分析师的建议可能不是显得那么有信心,因为他们只是使用了部分数据。

    人工去做数据发现很难。

    使用老旧系统(包括并购获得的系统)的公司,需要了解其基础系统的数据结构和封装系统的结构,进而了解这些系统中的数据如何与自己数据库中的实体相关。金融服务机构则要了解每个单独系统的结构和架构,它需要一种连接这些系统实体的方法,去表征同一客户的真实生活。

    很少有公司进行深入的数据库映射和挖掘工作。过去这些工作需要一个数据专家团队,去手动探索发现数据的未知元素和关系,这是一项艰巨的任务。

    已经发现的是,数据库专家每月可以分析的数据库数量是有限的,通常每月在3~5个之间。对于具有成百上千个数据库(还可能不断增加)的企业来说,这可能是一个繁琐、费用高昂而有容易出错过程。即使一家公司找到一个可以了基其系统的大型数据库专家团队,可能所有这些艰苦的工作都是徒劳的。一些优秀的公司很难据此采取行动。

    智能数据发现才是解决方案。

    近期的技术突破是第二种更有效的方法:采用智能数据发现解决方案,以自动化的方法,来大规模的检测和标示未知数据元素和数据关系。这种方法采用机器学习,来提取和自动分析企业数据。

    这个方法虽然比较新,但却为数据发现提供了更快捷、更准确和更具成本效益的解决方案。实际上,根据与不同公司的合作,我们发现与人工数据发现相比,自动化进行数据发现,成本降低高达80%。

    一个组织需要对所有数据进行分析,以便在市场上进行更好地竞争,并成功地完成数字化转型。随着今天数据量的高速增长,自动化的关系发现是必须的。过去,很多公司认为统一化数据资产是徒劳的,如今新技术使其可行和可实现。

    使用自动化的机器学习进行综合性数据分析应该是我们的常识。它对于数据治理、数据驱动的决策和数字化转型来说,是最好的。

    相关文章

      网友评论

          本文标题:从数据中获得价值,自动化数据发现是第一位的

          本文链接:https://www.haomeiwen.com/subject/lbqauxtx.html