数据分析师的职责:
- 解决问题,控制指标,建立一套标准的解决思维(what、when、who、why、how)
- 将业务数据体系化,建立一套指标框架。(指标体系)
指标体系工程化自动化就是BI。
数据分析思维和业务理解是分析师必备技能。
必备:至少掌握Excel+SQL/hive,了解描述统计学,知道常见的可视化表达。
可选:机器学习,python。
数据分析师是基础岗位,专精于业务可以成为数据运营经理/总监,数据分析经理(管理岗)。
商业/市场分析(面向传统行业),超市开业地址选址。
构建数据化运营体系
数据收集层
数据产品层
数据运营层
用户触达层
数据收集层
两个原则:宜早不宜晚,宜全不宜少
数据类型:行为数据、流量数据、业务数据、外部数据
数据产品层
按照标准整合加工数据
数据清洗 ETL
通过BI将原始数据以维度和度量的方式聚合,进行各类可视化的决策分析
数据指标
如何展现指标(BI)
如何提高指标(算法)
如何计算指标(ETL)
如何与指标组合(用户画像)
用户画像
两种
一种属于市场营销和用户调研领域,叫Persona(用户角色),描绘的是一个自然人的社会属性,用于用户需求和场景的确定。
数据领域,叫Profile,将一系列数据加工出来描述人物属性的数据标签。
例子:淘宝的千人千面,买什么类型的产品,打上什么标签。
用户画像是依赖大数据和机器学习的复杂体系,准确丰富的用户画像能呈指数级的提高运营效果。用户画像V1.0可以是简单将用户按喜爱偏好区分。
数据运营层
运营人员将数据转化为运营策略。
不是全量,而是精细。不止精细,更是精益。
未来比现在重要,现在比过去重要。
系统化与自动化
数据本身没有价值,变成策略才有价值。
数据运营层的核心:
系统化使用加工后的数据,以精细和精益为手段目标,以把握未来为方向,指定运营策略。
用户触达层
迭代是体系的核心。
数据挖掘/算法专家
数据挖掘工程师对于统计学能力、数理能力以及编程技巧有高要求。
数据挖掘Data mining是方式,机器学习Machine Learning是方法/学科。
机器学习分为有监督(回归和分类,从历史数据学习出模型,模型可以针对特定问题求解)和无监督学习。
数据挖掘借助算法(协同过滤、关联规则、PageRank等)
最优化问题的运筹学(因为现实问题有很多约束,为了在约束中找到最优解)算法:
遗传算法、模拟退火算法、蚁群算法等。
编程能力:R、Python、Scala/Java
模型的实施:Hadoop/Spark的工程实践经验,精通SQL/Hive
常见数据挖掘项目的闭环如下:
定义问题
数据抽取
数据清洗
特征选取/特征工程(业务理解深有很大帮助,影响模型质量)
数据模型
数据验证
迭代优化
数据挖掘业务领域细分:
金融行业的信用模型和风控模型/反欺诈模型、广告模型的点击预估模型、电商行业的推荐系统和用户画像系统。
数据分析师将业务需求抽象成具体的数据假设或模型。
比如运营希望减少用户流失,设立流失指标,需要预测用户流失率的模型。
数据挖掘工程师进阶是算法专家,对理论要求很严苛,要阅读全部国外前沿论文,方向不局限于简单分类或回归,包括图像识别、自然语言处理、智能量化投顾等复合领域。
深度学习更前沿,是机器学习子集,由神经网络发展而来。要求熟悉TensorFlow,Caffe,MXNet等深度学习框架,懂模型的应用和调参。
数据科学家是最终形态之一,要么理论能力很强,是研究院的一把手,要么工程能力很强,能完成各种系统的平台化部署。
统计知识,《商务与经济统计》,《The Elements of Statistical Learning》
机器学习入门《统计学习方法》(李航)、《机器学习》(周志华)《PRML》
Python《用Python进行数据分析》活用官网最新文档和stackoverflow.
Python可视化查阅文档。
机器学习代码实现《集体智慧编程》《机器学习实战》《Python DataScience Handbook》
数据产品经理
两种理解:
- 具备强数据分析能力的PM(以数据导向优化和改进产品,用分析来决策)
- 公司数据产品的规划者(数据产品经理,提炼需求、设计、规划、项目排期,甚至落地)
必备:Axure、Visio、MindManager等工具
还需要技术型能力:了解BI/DW原理和实施、了解常用的推荐算法、了解机器学习模型等。
《数据挖掘与数据化运营实战》《数据挖掘技术-应用于市场营销、销售与客户关系管理》
网友评论