美文网首页数据科学家
数据分析师和数据挖掘工程师的区别?

数据分析师和数据挖掘工程师的区别?

作者: 蜗牛学院 | 来源:发表于2017-11-20 11:48 被阅读34次

    很多时候数据分析师也在做挖掘方面的工作,而数据挖掘工程师也会做数据分析的工作,数据分析也有很多时候用到数据挖掘的工具和模型,很多数据分析从业者使用SAS、R就是一个很好的例子。而在做数据挖掘项目时同样需要有人懂业务懂数据,能够根据业务需要提出正确的数据挖掘需求和方案能够提出备选的算法模型,实际上这样的人一脚在数据分析上另一只脚已经在数据挖掘上了。

    事实上没有必要将数据分析和数据挖掘分的特别清,但是我们需要看到两者的区别和联系,作为一名数据行业的从业者,要根据自身的特长和爱好规划自己的职业生涯,以寻求自身价值的最大化。

    数据分析可以分为广义的数据分析和狭义的数据分析,广义的数据分析就包括狭义的数据分析和数据挖掘,我们常说的数据分析就是指狭义的数据分析。

    数据分析

    (1)定义:简单来说,数据分析就是对数据进行分析。专业的说法,数据分析是指根据分析目的,用适当的统计分析方法及工具,对收集来的数据进行处理与分析,提取有价值的信息,发挥数据的作用。

    (2)作用:它主要实现三大作用:现状分析、原因分析、预测分析(定量)。数据分析的目标明确,先做假设,然后通过数据分析来验证假设是否正确,从而得到相应的结论。

    (3)方法:主要采用对比分析、分组分析、交叉分析、回归分析等常用分析方法;

    (4)结果:数据分析一般都是得到一个指标统计量结果,如总和、平均值等,这些指标数据都需要与业务结合进行解读,才能发挥出数据的价值与作用;

    数据分析师,一般招聘这类岗位的公司规模都不会太小,人数可能不是一个唯一的衡量指标,但是业务规模肯定比较大(反而言之,业务规模太小的公司就没什么可分析的了)。此岗位重在“分析”,首先要有一定的数据灵敏度和数学底子,知道在什么样的数据规模下,需要看什么样的数据指标。了解常规的数据挖掘算法,可以使用一些工具得到预期的结果。当然是用工具的话是需要公司系统支持一些数据分析软件的,SPSS啊,Clementine什么的,如果没有,说句难听的,弄个Excel表格在有些公司也叫数据分析师。当然有些数据分析师Excel玩儿的可以很溜,可以用Excel模拟一个CTR预估算法的迭代过程。大部分公司会成立一个BI部门,集合了一群数据分析师,每天找开发提数据需求,然后使用工具做一些预测。

    数据挖掘

    (1)定义:数据挖掘是指从大量的数据中,通过统计学、人工智能、机器学习等方法,挖掘出未知的、且有价值的信息和知识的过程。

    (2)作用:数据挖掘主要侧重解决四类问题:分类、聚类、关联和预测(定量、定性),数据挖掘的重点在寻找未知的模式与规律;如我们常说的数据挖掘案例:啤酒与尿布、安全套与巧克力等,这就是事先未知的,但又是非常有价值的信息;

    (3)方法:主要采用决策树、神经网络、关联规则、聚类分析等统计学、人工智能、机器学习等方法进行挖掘;

    (4)结果:输出模型或规则,并且可相应得到模型得分或标签,模型得分如流失概率值、总和得分、相似度、预测值等,标签如高中低价值用户、流失与非流失、信用优良中差等;

    数据挖掘工程师,通过title就可以看出,本岗位重点是要“挖掘”,所以对于人的要求就是要熟悉挖掘的方法,挖掘的工具,或者至少知道在什么平台应该用什么工具,面对什么样的需求应该怎么解。简单来说就是负责接收需求然后产出结果,大部分公司的数据挖掘工程师都比较被动,比如BI找你说“我要100年内的AV女优数据,而且要知道他们每个人在什么年代拍过什么类型的片子”,这时候你就需要做数据采集(爬虫啊,文本处理啊,etc.),加工整理(ETL),结果产出(可视化)。中间可能会加一些数据可视化或者算法工作,但都要求不高。

    综合起来,数据分析与数据挖掘的本质都是一样的,都是从数据里面发现关于业务的知识,从而帮助业务运营、改进产品以及帮助企业做更好的决策。所以数据分析与数据挖掘构成广义的数据分析。

    相关文章

      网友评论

        本文标题:数据分析师和数据挖掘工程师的区别?

        本文链接:https://www.haomeiwen.com/subject/ghfvvxtx.html