美文网首页互联网&大数据应用学习大数据大数据&云计算
【微科云】大数据寒冬已至,谁将倒下,谁成巨人(上)

【微科云】大数据寒冬已至,谁将倒下,谁成巨人(上)

作者: 微科云 | 来源:发表于2017-02-15 17:11 被阅读0次

    本文经科技杂谈授权,禁止二次转载。
    作者:刘自强

    一、大数据寒冬已至

    凛冽的寒风吹散了跨年的雾霾,带来了数九寒天的冰冻感受。各地大数据的相关展会依然如火如荼,但纸面上的红火无法掩盖内在的虚弱,出来混总是要还的,大数据的寒冬正如这三九天一样,扑面而来,让人措手不及。

    微科云
    早在半年前,百分点科技主动进行业务优化,将超过600人的团队调整至500人。2017新年刚过,亚信数据同样步入调整步伐,负责新领域探索的部门全都在调整范围内,这正是机制灵活公司的快速市场反应。新年前后与多家业界有名的大数据公司沟通,有一个普遍的问题就是共同亏损,不管是做数据生意的,还是做平台项目的,无一例外,而且公司普遍对团队在2017年的盈利提出要求。让我们再想象一下,如果这些团队未能在2017年实现盈利结果会如何?

    对运营商而言,即便联通、电信宣称通过数据变现实现了数亿的销售收入,但如果核算下从数据采集到变现应用全过程的成本投入(包含人员),一定是一个不太乐观的数字。对BAT来说,如果把数据运营部门独立核算,情况同样如此。只是像运营商、BAT这样的家业庞大的公司,不在意当前的损益,有能力持续开展战略投入。

    那么是什么原因导致大数据行业集体进入寒冬?是实体经济下行影响吗?还是大数据停留在概念炒作阶段,未进入到实际应用?

    大环境确实对大数据行业产生负面影响,不只是大数据,2016年实质上还是资本的寒冬,移动互联网的寒冬。但从根本上看,过度竞争才是大数据寒冬的主要因素,也是一切寒冬的罪魁祸首。

    二、更多的玩家更低的门槛必然导致自我淘汰

    必须承认,从整个市场来看,2016年大数据行业整体取得了巨大进步。

    首先,来自数据的价值被充分挖掘。

    大数据的热度让“数据是资产”“数据产生价值”深入人心,且在实际生产中催生了丰富的数据应用。客群分析、精准定向推送、金融信贷中的身份核验、基于数据的信用评级等,其核心并非“大数据”技术的应用,更多的应该是“数据”的价值发掘。如果可以统计的话,2016年各公司之间的数据交易与2015年相比一定是一个指数级的增长。

    数据分析应用经历4个阶段,分别是简单数据的简单分析(传统的数据库统计)、简单数据的复杂分析(传统数据量的数据挖掘)、复杂数据的简单分析、复杂数据的复杂分析。基于数据价值发掘的各项应用绝大部分集中在第一、第二阶段。能够下象棋的“深蓝”和能够下围棋的 “阿尔法狗”其实都应该属于简单数据的复杂分析(单一领域的机器学习)。



    其次,大数据应用的典型案例层出不穷,目前集中于复杂数据的简单分析。

    比如上海踩踏事件后,对于特殊时段/事件的实时人群流量监测成为大中城市的共同需求。通常通过运营商大规模信令数据的准实时处理,来实现区域人群准实时洞察分析。2016年已经在各大旅游区、航展、火车站等进行了广泛的应用。



    比如某市政府因人口疏解压力,要求分析各区县(各乡镇)之间的常住人口、工作人口数量,以及各类人口变动来源与去向。通常通过运营商信令数据的离线分析,可以较好的模拟真实居住/工作人群的结构与变化特征。2016年该领域实际上开展了较深入的应用。

    比如公安部门、信用评级部门需要分析个人或企业的关系链。对个人来说,有那些人跟你是家庭关系、亲戚关系、同学关系、同事关系包括曾经同学、同事等,以及关系的关系。通过大数据图计算方式,能快遍历每个节点与周边多个节点之间的直接或间接关联关系,形成个人关系图谱。对企业来说,股权投资、高管兼任、资金担保等均可通过图计算方式,分析出企业关系图谱或各类复杂的资金链/担保链关系图谱等。

    但是,上述整体市场的进步并不意味着参与的企业个体能够持续的活下去。10家公司出现10个典型案例,大家都可能玩完,而1个公司1个典型案例覆盖10个客户,才有可能活得下去。

    就如“谷贱伤农”的道理一样,过度投入带来的过度竞争才是大数据寒冬的真正原因。不是大数据技术不好,也不是应用缺乏,而是当前的应用市场无法容纳过度参与玩家的生产能力。

    首先,过度投入来自对新技术新领域的追捧。

    从Gartner公司每年一度的新兴技术成熟度曲线(Hype Cycle for Emerging Technologies)可看出,大数据在2013年正处在成熟度曲线的顶峰,2014年已经开始走下坡路,2015年已经脱离曲线,从概念炒作走向实际应用。现在已经有不少公司开展调整,在可见的将来还会有更多的公司步入后尘。那么2016年热度顶峰的新技术是什么,是区块链。我有认识的朋友,一年半前从大数据平台项目离职搞区块链,那时候我还根本理解不了什么是区块链。大概半年前又回到大数据公司,重新搞起了大数据平台。

    其次,软件行业的整体迷茫,纷纷把大数据当成救命稻草。现在还有软件公司(包含广告公司)不称呼自己是大数据公司的吗?还有软件公司不搞些大数据平台或应用产品吗?不用提传统电信运营支撑公司东方国信、亚信数据,就说飞信支撑方神州太岳,在2015年也高调转型大数据应用领域。

    云计算与SaaS化应用的兴起导致的软件革命,让行业竞争加剧,很多软件厂商无所适从。就如一季度曾曝出的用友软件的大幅度亏损一样,不管做ERP还是小应用,传统的软件公司的日子越来越难过。这些软件公司把进军大数据当成解决软件行业性问题的良方,结果是从一个火坑跳入另一个火坑。

    再次,大数据开源技术的低门槛,玩家进出无障碍。以最经典的Apache Hadoop社区为例,Hadoop的项目结构不断丰富发展,已经形成一个丰富的Hadoop生态系统,囊括HDFS、MapReduce、Yarn、Hive、Hbase、Sqoop、Zookeeper、Flume、Kafka、Spark等近30个模块。虽然能够对社区提供持续原创性贡献的企业不多,但并不妨碍众多公司,一两个熟手+若干个生手就可以承诺搭建并运营一个实时交易风控平台(以实时流计算为主要模式的平台)。问题的关键在于,同样面对新技术,新加入的玩家与传统的BI厂商基本处于同一起跑线上。


    最后,建设容易运营难,大数据价值还未真正体现。数据价值已经体现,但大数据价值还未真正体现。很明显,之前大数据的虚火来自于建设的热潮。当建设的热潮退去,需要通过真实的应用价值来回报的时候,发现虽然有不少案例,但是总体的价值根本无法hold住之前的投入。因此反向的减少建设投入,导致市场空间相对于之前的高速扩张有较大的萎缩。

    一切正如2000年的互联网寒冬一样,当前的大数据寒冬正
    是市场机制自动产生的“优胜劣汰”过程,这是历史规律。


    对于任何一个企业或组织来说,最终结局都逃不过失败,但对于优秀的企业来说,可以失败得晚一点,生存得更久一些。就如华为任正非在《华为的冬天》里说到的一样,“十年来我天天思考的都是失败,对成功视而不见,也没有什么荣誉感、自豪感,而是危机感。也许是这样才存活了十年。我们大家要一起来想,怎样才能活下去,也许才能存活得久一些。失败这一天是一定会到来,大家要准备迎接,这是我从不动摇的看法,这是历史规律。”


    预告

    由于篇幅原因,下一篇将继续就大数据寒冬的话题进行讨论哦~

    相关文章

      网友评论

        本文标题:【微科云】大数据寒冬已至,谁将倒下,谁成巨人(上)

        本文链接:https://www.haomeiwen.com/subject/uhiqwttx.html