美文网首页
你不得不知道的大数据变革

你不得不知道的大数据变革

作者: Python大数据工程师 | 来源:发表于2020-03-30 19:34 被阅读0次

在大数据时代下,人们的生活、思维方式等正在被不断改变,一场变革浪潮正在来临。以下为我们总结的10项大变革。

目标驱动型 → 数据驱动

传统科学思维中,决策制定往往是“目标”或“模型”驱动的——根据目标(或模型)进行决策。然而,大数据时代出现了另一种思维模式,即数据驱动型决策,数据成为决策制定的主要“触发条件”和“重要依据”。例如,近年来,很多高新企业中的部门和岗位设置不再是“固化的”,而是根据所做项目与所处的数据环境,随时动态调整其部门和岗位设置。然而,部门和岗位设置的敏捷性往往是基于数据驱动的,根据数据分析的结果灵活调整企业内部结构。

基于知识的方法 → 基于数据的方法

我们传统的方法论往往是“基于知识”的,即从 “大量实践(数据)”中总结和提炼出一般性知识(定理、模式、模型、函数等)之后,用知识去解决(或解释)问题。因此,传统的问题解决思路是“问题→知识→问题”,即根据问题找“知识”,并用“知识”解决“问题”。然而,数据科学中兴起了另一种方法论——“问题→数据→问题”,即根据问题找“数据”,并直接用数据(不需要把“数据”转换成“知识”的前提下)解决问题。

复杂算法→简单算法

“只要拥有足够多的数据,我们可以变得更聪明”是大数据时代的一个新认识。因此,在大数据时代,原本复杂的“智能问题”变成简单的“数据问题”——只要对大数据的进行简单查询就可以达到“基于复杂算法的智能计算的效果”。为此,很多学者曾讨论过一个重要话题——“大数据时代需要的是更多数据还是更好的模型(moredata or better model)?”。机器翻译是传统自然语言技术领域的难点,虽曾提出过很多种“算法”,但应用效果并不理想。近年来,Google翻译等工具改变了“实现策略”,不再仅靠复杂算法进行翻译,而对他们之前收集的跨语言语料库进行简单查询的方式,提升了机器翻译的效果和效率。

业务数据化→数据业务化

在大数据时代,企业需要重视一个新的课题——数据业务化,即如何“基于数据”动态地定义、优化和重组业务及其流程,进而提升业务的敏捷性,降低风险和成本。但是,在传统数据管理中我们更加关注的是业务的数据化问题,即如何将业务活动以数据方式记录下来,以便进行业务审计、分析与挖掘。可见,业务数据化是前提,而数据业务化是目标。、

第三范式 → 第四范式

2007年,图灵奖获得者Jim Gray提出了科学研究的第四范式——数据密集型科学发现(Data-intensive ScientificDiscovery)。在他看来,人类科学研究活动已经历过三种不同范式的演变过程(原始社会的“实验科学范式”、以模型和归纳为特征的“理论科学范式”和以模拟仿真为特征的“计算科学范式”),目前正在从“计算科学范式”转向“数据密集型科学发现范式”。第四范式,即“数据密集型科学发现范式”的主要特点是科学研究人员只需要从大数据中查找和挖掘所需要的信息和知识,无须直接面对所研究的物理对象。例如,在大数据时代,天文学家的研究方式发生了新的变化——其主要研究任务变为从海量数据库中发现所需的物体或现象的照片,而不再需要亲自进行太空拍照。

数据是资源→数据是资产

在大数据时代,数据不仅是一种“资源”,而更是一种重要的“资产”。因此,数据科学应把数据当做“一种资产来管理”,而不能仅仅当做“资源”来对待。也就是说,与其他类型的资产一样,数据也具有财务价值,且需要作为独立实体进行组织与管理。

统计学 → 数据科学

在传统科学中,数据分析主要以数学和统计学为直接理论工具。但是,云计算等计算模式的出现以及大数据时代的到来,提升了我们对数据的获取、存储、计算与管理能力,进而对统计学理论与方法产生了深远影响,主要有:

(1)随着数据获取、存储与计算能力的提升,我们可以很容易获得统计学中所指的“总体”中的全部数据,且可以在总体上直接进行计算——不再需要进行“抽样操作”;

(2)在海量、动态、异构数据环境中,人们更加关注的是数据计算的“效率”而不再盲目追求其“精准度”。例如,在数据科学中,广泛应用“基于数据的”思维模式,重视对“相关性”的分析,而不是等到发现“真正的因果关系”之后才解决问题。在大数据时代,人们开始重视相关分析,而不仅仅是因果分析。

以战略为中心 →以数据为中心

在大数据时代,企业之间的竞合关系发生了变化,原本相互激烈竞争,甚至不愿合作的企业,不得不开始合作,形成新的业态和产业链。例如,近年来IBM公司和Apple公司“化敌为友”,并有报道称他们正在从竞争对手转向合作伙伴——IBM的100多名员工前往Apple的加州库比蒂诺总部,与Apple一起为IBM的客户(例如花旗、Sprint和日本邮政)联合开发iPhone和iPad应用。

不接受 → 接受

在传统科学看来,数据需要彻底“清洗”和“集成”,计算目的是需要找出“精确答案”,而其背后的哲学是“不接受数据的复杂性”。然而,大数据中更加强调的是数据的动态性、异构性和跨域等复杂性——弹性计算、鲁棒性、虚拟化和快速响应,开始把“复杂性”当作数据的一个固有特征来对待,组织数据生态系统的管理目标转向将组织处于混沌边缘状态。

小众参与→ 大规模协同

传统科学中,数据的分析和挖掘都是具有很高专业素养的“企业核心员工”的事情,企业管理的重要目的是如何激励和绩效考核这些“核心员工”。但是,在大数据时代,基于“核心员工”的创新工作成本和风险越来越大,而基于“专家余(Pro-Am)”的大规模协作日益受到重视,正成为解决数据规模与形式化之间矛盾的重要手段。

大数据的思维变革

大数据是指不用随机分析法这样的捷径,而采用所有数据的方法,即全数据模式,样本=总体。

数据化:一切皆可“量化”,比如汽车驾驶座椅的几百个压力传感器。

价值:“取之不尽,用之不竭”,第一眼看到的只是冰山一角,数据的重复利用,混合利用。

角色定位:数据拥有者,数据分析技术、以及大数据思维,三个角色的公司类型都有,集三者于一身的也存在,如谷歌,亚马逊等,这其中拥有大数据思维是最可贵的。

风险:让数据主宰一切的隐忧,一是隐私泄漏的担忧,二是用来抛弃人的主观性的纯客观大数据分析的担忧,如在人犯罪前就实施处罚就是属于过度使用大数据的分析作用了。

掌控:责任与自由并举的信息管理,让大数据使用者来承担责任。谁使用大数据做分析预测,谁就应该对这些数据本身的私密性加以保护,因为他享受到大数据带来的益处。

大数据时代:名副其实的“信息社会”,信息收集变得比以往任何时候都更容易,分析数据的技术比以往任何时候都更先进。

更大的数据源于人本身。大数据提供的不是最终答案,只是参考答案,为我们提供暂时的帮助,以便等待更好的方法和答案出现。这也提醒我们在使用这个工具的时候,应当怀有谦恭之心,铭记人性之本。

大数据的价值体现

网络的传播让我们明白探求数据价值取决于把握数据的人,关键是人的数据思维;与其说是大数据创造了价值,不如说是大数据思维触发了新的价值增长。我曾经看到这样的一个例子:1948年辽沈战役期间,司令员林彪要求每天要进行例常的“每日军情汇报”,由值班参谋读出下属各个纵队、师、团用电台报告的当日战况和缴获情况。那几乎是重复着千篇一律枯燥无味的数据:每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多少,枪支、物资多少……有一天,参谋照例汇报当日的战况,林彪突然打断他:“刚才念的在胡家窝棚那个战斗的缴获,你们听到了吗?”大家都很茫然,因为如此战斗每天都有几十起,不都是差不多一模一样的枯燥数字吗?林彪扫视一周,见无人回答,便接连问了三句:“为什么那里缴获的短枪与长枪的比例比其它战斗略高?”“为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?”“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高?”林彪司令员大步走向挂满军用地图的墙壁,指着地图上的那个点说:“我猜想,不,我断定!敌人的指挥所就在这里!”果然,部队很快就抓住了敌方的指挥官廖耀湘,并取得这场重要战役的胜利。这样的例子让我们看到大数据下的潜在问题和价值。那么,如果我们能够将整个单位乃至整个系统的数据整合起来,我相信对我们的具体工作将是一个巨大的推动作用.世界上最著名的心理健康测试量表《症状自评量表-SCL90》不就是透过大量的数据收集分析得到的吗?

现在,在我们的生活中,大数据的身影将无处不在。虽然,没有那个人能明确的预测出大数据到底会影响我们的生活到那个程度。但是现在,变革的浪潮一浪高过一浪。我们也切实的感受到了变革的价值。发展的脚步一直在继续,我们还要等待吗?

(欢迎留言对此的看法哦!私信小编即可获取免费相关资料哦!)

相关文章

  • 你不得不知道的大数据变革

    在大数据时代下,人们的生活、思维方式等正在被不断改变,一场变革浪潮正在来临。以下为我们总结的10项大变革。 目标驱...

  • “小”数据,“大”变革

    可以毫不夸张的说,将来的整个商业市场,都将因大数据而从新洗牌。 如今,数据已经成为一种商业资产,一项重要的经济投入...

  • 《大数据时代》学习摘要

    《大数据时代》关注三大变革 1.处理数据理念的思维变革 1)大数据不是用随机分析法这样的捷径,而是采用所有数据的方...

  • 《大数据时代》读后感

    今天读了大数据时代,对大数据的理解全面了一些。从大数据的思维变革,大数据带来的商业变革,大数据带来的管理变革,等等...

  • 读《赢》:杰克.韦尔奇如何推进变革

    变革是商业生活中一个绝对关键的部分,你确实需要变革,而且最好是在不得不变革之前进行。如果你想在商业游戏中继...

  • 《大数据时代》的三大思维变革

    《大数据时代》是国外大数据研究的先河之作,作者为奥地利商业分析大师维克托·迈尔·舍恩伯。 维克托·迈尔·舍恩伯格在...

  • 大数据技术原理与应用:大数据概述

    大数据概述 为什么说大数据是第三次信息化浪潮? 数据技术支撑 数据产生方式变革 由于技术支撑以及数据产生方式变革,...

  • 《大数据时代:生活、工作与思维的大变革》

    《大数据时代:生活、工作与思维的大变革》 三大变革,颠覆千百年来人类的思维惯例,对人类与世界交流方式提出全新挑战。...

  • 变革之道

    说起变革,好象是不得了的大事。其实,大到国际关系,小到一个家庭或个人,乃至一件微不足道的小事情,都有可能面临变革。...

  • 驿漫思酒店引领大数据时代来临

    大数据时代的来临,给我们带来了思维的变革、商业的变革和管理的变革,而大数据思维则为酒店市场展现了一个新的预测思维空...

网友评论

      本文标题:你不得不知道的大数据变革

      本文链接:https://www.haomeiwen.com/subject/tpuvuhtx.html