美文网首页R语言与统计分析数据科学家大数据
你还在傻傻的以为数据科学家=统计学家+数据分析师?

你还在傻傻的以为数据科学家=统计学家+数据分析师?

作者: 博文视点 | 来源:发表于2018-06-08 14:50 被阅读911次

    大数据和数据科学已经形成一门学科并将持续发展。本文将讨论数据科学家应有的几个主要特征,以及他们应该具有或获取的专业知识 。本文选自《数据天才:数据科学家修炼之道》。

    数据科学家不是统计学家,不是数据分析师,不是计算机科学家,不是软件工程师,也不是业务分析师。他们对这些领域都有一定的了解,但同时还具有这些领域之外的知识。

    在过去的15年里,统计学家和数据科学家之间的距离越来越远的原因之一是,统计学家,即发表理论性文章(有时不是建立在数据分析基础上的)并且培训统计学家的那些人……已不再是统计学家。此外,很多统计学家认为数据科学是关于分析数据的学科,但事实上它的范畴不止于此。数据科学还包括实现数据自动处理的算法,从而提供对数据自动化的预测和操作,例如下面这些领域。

    自动竞价系统。

    (实时)评估美国所有房屋的价值(Zillow.com)。

    高频交易。

    将一条谷歌广告与一个用户及一个网页匹配起来,使转化率最大化。

    使每条谷歌搜索都能返回高相关性的结果。

    Amazon.com或者Facebook上的书籍和朋友推荐。

    税务欺诈检测和恐怖主义检测。

    为所有信用卡交易评分(欺诈检测)。

    计算化学,模拟新分子用于癌症治疗。

    传染病的早期检测。

    分析NASA(美国太空总署)图像,寻找新的行星或小行星。

    天气预报。

    自动驾驶(飞机和汽车)。

    用于所有旅馆房间的客户定制化(实时)定价系统。

    所有这些领域皆涉及统计科学和百万兆的数据。从事这方面工作的人通常不把自己称为统计学家,他们称自己为数据科学家。随着时间的推移,统计学家也会逐渐开始使用大数据和现代应用程序,这时数据科学和统计学之间的差距就会越来越小。

    同时,数据科学家不是统计学家,因为统计学家懂得很多数据科学家工作中不需要的知识:广义逆矩阵、特征值、随机微分方程,等等。当数据科学家需要用到基于这类数学知识的技术时,通常他们会借助高级的工具(软件),而其中这些数学知识被封装成了黑盒——这就好像软件工程师不再使用汇编语言来编写代码一样。反过来,数据科学家需要新的统计知识,特别是数据驱动、模型无关、稳定可靠的技术,可以用于现代、大规模、快速变化、时常是非结构化的数据。此外数据科学家还要将非结构化数据进行结构化处理和精通分类学、NLP(自然语言处理,也被称为文本挖掘)和标签管理系统。

    数据科学家也不是计算机科学家——首先,因为他们不需要具备计算机科学家那样完整的计算机理论知识体系,其次,数据科学家需要更好地了解随机过程、实验设计及抽样,这些通常是统计学家擅长的领域。但是,数据科学家需要熟悉计算复杂度、算法设计、分布式架构和编程(R、SQL、NoSQL、Python、Java和C++)。独立的数据科学家可以使用Perl来代替Python,虽然Python已经成为标准的脚本语言。数据科学家需要熟悉软件开发生命周期和精简架构以进行代码开发和团队协作。

    数据科学家还应成为一两个应用领域内的专家、有可以分享的成功经验(以及量化成功的指标)、有商业洞察力,并能评估数据科学解决方案给客户或者老板带来的投资回报率。如果你在某个横向领域已经具有几年的行业经验和培训(运筹学、面向大规模数据集的应用统计学、计算机科学、工程学或者侧重分析学科的MBA学位),以上这些技能大多数可以在短期内获得。

    数据科学家还需善于沟通,能够理解,很多时候还需猜测,客户、老板或者管理层试图解决的问题。尤其重要的是能够把高层次的英语语言转换成简单、高效、可扩展、可复制、健壮、灵活、平台独立的解决方案。

    最后,分析师这个名称适合于一个较初级的角色,一般指分析数据的人,但其不涉及创建系统或架构来自动分析处理数据并基于自动检测到的模式或理解执行自动的操作。

    总结起来就是,数据科学 = 一些(计算机科学)+ 一些(统计科学)+ 一些(业务管理)+ 一些(软件工程)+ 专业领域知识 + 新的(统计科学),其中

    一些()指该领域并非完全从属于数据科学。

    新的()指需要该领域的新知识。

    相关图书《数据天才:数据科学家修炼之道》

    多层次讨论数据科学是什么,包含丰富的教程和案例研究,提供大量职业资源,是数据科学家的求职与准备必备指南。

    作者:[美]Vincent Granville 著,吴博 张晓峰 季春霖 译

    图书详情:京东当当亚马逊

    相关文章

      网友评论

        本文标题:你还在傻傻的以为数据科学家=统计学家+数据分析师?

        本文链接:https://www.haomeiwen.com/subject/nxlasftx.html