DT时代,大数据的价值也越来越被重视,大数据科学家也被称为21世纪最性感的职业,那如何成为大数据科学家呢?
1、大数据开发方向
开发工程师、系统工程师的数据科学家之路,有两个比较典型的方向,一是大数据研发方向,包含三个方面,数据爬虫方向、数据研发方向、数据可视化方向等;二是数据挖掘、机器学习、深度学习方向,主要从事算法模型研发、人工智能应用的研发等。下面我们分别介绍下两个方向的工作情况,所需要掌握的工具和技能,方便大家根据自己的本身技能背景、知识结构等选择适合自己的方向发展。
大数据技术首先是大数据研发方向:
其工作内容有:
a.大数据采集、日志爬虫、数据上报等数据收集工作
b.大数据清洗、转换、计算、存储、展现等数据研发工作
c.大数据应用系统开发、报表仪表盘多维分析开发等数据应用、可视化工作
需要掌握的技术和工具请大家参考我们前面分享的大数据技术地图中的技术和工具,在这里就不重述了;技能学习方面,主要是关系数据库、NOSQL数据库、大数据仓库的技能,日志采集方法、分布式计算、实时计算等技术技能。
其次是算法模型、机器学习、深度学习方向:
其主要的工作内容有如下的5个方面:
a.用户基础研究:用户生命周期刻画(进入、成长、成熟、衰退、流失)、用户细分模型、用户价值模型、用户活跃度模型、用户意愿度识别模型、用户偏好识别模型、用户流失预警模型、用户激活模型等
b.个性化推荐算法:基于协同过滤(USERBASE/ITEMBASE)的推荐,基于内容推荐,基于关联规则Apriot算法推荐,基于热门地区、季节、商品、人群的推荐等
c.风控模型:恶意注册模型、异地识别模型、欺诈识别模型、高危会员模型、
电商领域(炒信模型、刷单模型、职业差评师模型、虚假发货模型、反欺诈模型)
金融领域(欺诈评分模型、征信评分模型、催收模型、虚假账单识别模型等)
d.产品知识研究:产品聚类分类模型、产品质量评分模型、违禁品识别模型、假货识别模型等
e.文本挖掘、语义识别、图像识别,等等
需要掌握的工具和技能方面主要有:
工具: R、Python、SAS、SPSS、Spark、Mlib、mahout等等
技能:需掌握SQL数据库、概率统计、机器学习算法原理(分类、聚类、关联、预测等)、深度学习算法原理、模型评估、模型部署、模型监控等等;
2、数据产品方向
数据产品经理的工作内容:
a.大数据平台建设,让获取数据、用数据变得轻而易举;构建完善的指标体系,实现对业务的全流程监控、提高决策效率、降低运营成本、提升营收水平;
b.数据需求分析,形成数据产品,对内提升效率、控制成本,对外增加创收,最终实现数据价值变现;
c.典型的大数据产品:大数据分析平台、个性化推荐系统、精准营销系统、广告系统、征信评分系统(如芝麻评分)、会员数据服务系统(如数据纵横),等等;
数据产品经理需掌握的工具和技能:
工具: 除了掌握数据分析工具,还需要掌握 像 原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等
技能:需掌握SQL数据库、产品设计,同时,熟悉常用的数据产品框架
3、数据分析方向
数据分析的日常工作内容:
a.临时取数分析,比如双11大促活动分析;产品的流量转化情况、产品流程优化分析,等等;
b.报表需求分析--比如企业常见的日报、周报、月报、季报、年报、产品报表、流量转化报表、经营分析报表、KPI报表等等;
c.业务专题分析:
精准营销分析(用户画像分析、营销对象分析、营销策略分析、营销效果分析);
风控分析(策略分析,反欺诈分析,信用状况分析);
市场研究分析(行业分析、竞品分析、市场分析、价格分析、渠道分析、决策分析等等);
数据分析师需要掌握的工具和技能如下,大家也可以参考我的“数据分析师-零基础入门到精通”的小讲分享,非常系统的告诉大家成为一个数据分析师的方法论和学习框架。
掌握的工具: R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT
需掌握的技能:需掌握SQL数据库、概率统计、常用的算法模型(分类、聚类、关联、预测等,每一类模型的一两种最典型的算法)、分析报告的撰写、商业的敏感性等等;
网友评论