美文网首页大数据,机器学习,人工智能大数据玩转大数据
你真的了解大数据吗,大数据最全面讲解

你真的了解大数据吗,大数据最全面讲解

作者: 朴实无华的程序猿 | 来源:发表于2019-08-22 09:47 被阅读4次

    不知从什么时候开始,“大数据”这个词悄然成为了我们的常用词汇;我们,也不知从什么时候开始,迈进了“大数据时代”。那么,大数据时代究竟是一个怎样的时代?英国“大数据时代的预言家”维克托迈尔·舍恩伯格和肯尼思 库克耶的《大数据时代》对此有着详细而深刻的洞见。

    一、什么是大数据?

    根据《大数据时代》中所说,大数据并非一个确切的概念,更多的是一种可能的方式。“大数据是人们在大规模数据的基础上可以做到的事情,而这些事情在小规模数据的基础上是无法完成的。大数据是人们获得新的认知、创造新的价值的源泉,大数据还为改变市场、组织机构以及政府与公民关系服务。”、“大数据即一种新型的能力:以一种前所未有的方式,通过对海量 数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。”

    读罢此书,本人更愿意认为,大数据有两层含义,第一层含义,大数据是一个总结性的概念,是对海量数据的总称;第二层含义即书本中所指出的,是一种新型的能力与方式。

    区别于小规模数据时代的抽样分析,大数据时代,分析的样本不再需要经过抽样,直接将全体数据进行更快更准确地分析。

    二、大数据的核心是什么?

    书中 出预测,是大数据的核心。根据收集到的数据分析、挖掘出庞大数据库独有的价值(通过找出关联物并监控它,我们便可以预测未来),以便进行干预或提供相应的资源与服务。

    我觉得,大数据的核心应当是减少冗余,提高资源配置效率。这里的效率包括两个方面:资源配置的速度和配置的精确度(质量)。

    自古以来,人类社会的发展便是资源配置不断优化的过程,大数据作为一种新型的生产工具,它能让我们通过分析海量的数据,得知该如何更有效地分配稀缺的资源。

    如医院通过对某个病人病史、生活习惯、衣食住行、工作娱乐情况等进行全方位分析,便可以准确了解病人的生活情况与生活环境,精确地指出症结引起原因所在,只要建议病人针对引起病源的因素做出调整或进行医学干预,便可以了,避免了对病人过多的用药与过大范围的盲目干预。

    同样的道理,如果银行通过分析某一申请人的家庭情况、消费历史、生活习惯、财务习惯、网页浏览记录等各方面的数据,便可以清晰了解此申请人各方面的情况,甚至可推测其内心的真实想法与将要采取的做法,从而判断申请人的贷款申请资格,决定该不该授信,授信多少等内容,所有的信息在大数据时代,能在系统中搜索一下,几分钟便能全部收集完成。相比以前,申请人申请后,银行得派出两名客户经理上门进行访问、调查、收集电信、征信等多方面的信息(部分信息可能未必能收集到,或者未必收集到准确的内容),再进行人工分析、鉴别等过程,少说也得几天吧?耗费的时间多不说,风险也相对更高:一是收集到的信息准确度需要考究,二是收集到的只是部分信息,大量有关的其他可能是弱相关的信息,没有收集,增加了信息噪音,降低了结论的精确度,给银行业务带来风险。

    可见,大数据的运用不但提高了工作效率,节省了机构与申请人的时间,更能基于精确的信息,确保风险可控,且保证了授信给该申请人的正确性,将有限的资金用在刀刃上,提高资源配置质量。

    三、什么是大数据思维?

    书中指出,大数据思维是一种意识,认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。

    那意思,是不是说,大数据思维便是相信数据分析的能力、数据分析的结果以及预测的准确性?这应当算一种信仰了。

    书中认为,大数据与三个重大的思维转变有关:首先,要分析与某事物相关的所有数据,而不再依靠分析少量的样本;其次,乐于接受数据的纷繁复杂,而不再追求精确度;最后,我们的思维不再探求难以捉摸的因果关系,转而关注事物的相关关系。

    本人认为,大数据思维应当是一种意识,认识到大数据的无穷威力,并积极拥抱这个繁荣的时代;世界上的一切都是信息,都是可以量化分析的信息。如果将相关的信息进行交互分析,便能获得“上帝的视觉”——窥视知道分析对象的一切,包括所思所想;获得的信息可以通过类比(其他有同样行为举止的人已经干了什么),准确推测分析对象的想法以及未来行为;根据推测出来的内容进行干预或服务,从而获得商业机会;在一切均有记忆、一切均能收集、能更加准确预测未来的时代,我们或许受困于过去的行为(过去成为别人预测我们下一步工作的素材,影响或好或坏,一辈子无法消弭);在这个时代,对隐私权、公平与正义的探讨上升至一个新的语境。

    四、我们都参与了众包。

    虽然大数据是近些年才提出来的说法,但事实上,我们一直生活在数据海洋之中。只是在过去,我们从未意识到这些行为能被记录、被分析、从而成为生活中真实存在的永恒。如此时此刻点开的这篇文章,看着的这行字,便成为您这辈子个人数据的内容之一,永远存在。

    浏览网页、看文章、逛街、买衣服、打游戏、吃甜点……这些行为是我们今天才有的吗?不是的,我们生下来就开始渐渐接触这一切,自然而然地发生着这些行为,只是,在遥远的以前,由于技术尚未发达,这曾经发生的一切如海浪冲过的沙滩,留下了记忆便消失得无影无踪,但在现在,有了云计算,有了更多的可以记录信息的设备,我们每天自然而然地进行着的这一切,才被记录了下来,变成了可分析的信息,变成了我们的过往;而我们,也就自然而然地参与了大数据的“众包”。(知乎用户王喆定义:众包指的是一个公司或机构把过去由员工执行的工作任务,以自由自愿的形式外包给非特定的(而且通常是大型的)大众网络的做法。)

    因此,无论自觉还是被迫,无论愿意不愿意,我们早就进入了大数据时代,早就成为了数据提供和享用的神经末梢。

    不是么?

    五、新的时代,我们该怎么办?

    老子说,无为而治。因此,我们还是该吃饭就吃饭,该逛街就逛街,想吃甜点便吃甜点……该干嘛干嘛去,过自己的生活,努力自己的工作。大数据是一种意识,更是一种工具,所有的工具最终都是为了让我们生活得更加方便、更加如意,而作为最高智慧生物的我们,要做的,便是习学如何通过这新的工具,改造世界,创造生活。

    当然,西方也有谚语:预测未来最好的办法是创造未来。面对新的时代,我们,努力将生活过成自己想要的样子(创造想要的未来),便是最好的信条。

    相关文章

      网友评论

        本文标题:你真的了解大数据吗,大数据最全面讲解

        本文链接:https://www.haomeiwen.com/subject/aumgsctx.html