- Author：杜七 duqi@kongge.com
- Date: 2014.12.27
时光易老。
请把节省的有限时间，投入到无限的美好生活中去。
0，前言
- 数据分析工作中需要用到的“工具”，是我以前很迷茫的一个东西。
- 现在，把分析师常用和接触到的“工具”，整理一下分享给大家。期望对大家有用。尤其是新人。
- 毕竟，我们没有那么多的时间和精力去学习各种工具，只能从实用考虑，选择合适工具来提高自己。
1，数据提取篇
数据提取，其实是看场景的。
当然，我们这里的场景，都是基于作为一个阿里妈妈数据分析师来考虑的。
其实，不管是数据提取，数据分析，建模，都是要看场景的。
分析师的需求，就是提取产品数据，做一些分析，反馈给需求方。 这个是我们的主要工作场景。
在阿里，这个场景的范围要在缩小一点。
-
1）ODPS SQL
- 在阿里的同学，应该对这个东西不陌生。 如果陌生，请咨询对口产品的BI，让他们提供一些资料来了解一下。
- SQL是结构化查询语言的缩写，云梯2通过SQL可以更轻松的查询和提取数据，方便广大非开发的PD,运营和BI同学。
- 所以，作为数据分析师，这个工具一定要掌握。它相当于一个士兵的枪。
- 枪法好不好是其次，如果没有枪，你说你能在阿里这个战场上混的下去么？
-
2）Shell
- ODPS SQL，提取数据有一些限制，比如：
- 只能结构化查询和结构化提取，不能有更复杂的判断条件，或者满足不同的提取场景
- 数据的处理按照行和列，不能进行其他维度的分析
- 如果做其他的系统化的数据开发，仅仅SQL是不够的
- 等等
- 这个时候，可能你需要Shell（或者Perl等）的帮助：
- 作为一个分析师，基本的ODPS SQL也满足需求。但是，如果除了必要的枪以外，还能掌握更多的工具和知识，在战场上存活的概率会更高。
- 但是。我不建议每个人一下子扑上来都去学Shell。工作和学习不一样。用到的时候再去学，更合适。
- 永远记得：** 技多不压身。 **
- ODPS SQL，提取数据有一些限制，比如：
-
3）其他
- 一般的数据分析师，ODPS SQL 就足够了，顶多再加一个Shell
- 但是，如果你要做系统的数据开发，可能需要更多的技能。这部分，暂时不写了。因为我不会。
2，数据分析篇
基于数据分析师的场景来说数据分析工具。
-
1）Excel
- Excel属于普通话的级别，即每个人不管说的好不好，都会说普通话。
- Excel也是这样一个状态。 每个人都会Excel，只不过有些人用的多，有些人用的少而已。
- 作为一个基本的数据分析师，前期的工作，用一个Excel可能就满足需求了。 就是对SUMMAY的数据画图，对比，产出一个结论。
- 当然，Excel可以画很漂亮和（看上去）专业的图。这个大家有兴趣，可以参考@刘万祥的一些博客，请自行google.
- 它属于轻量级分析工具
-
2）R语言
- 如果处理的数据比较复杂，而且可能需要一些函数来统一处理，就需要一个统计软件了。 这个时候，R语言，SAS,SPSS，MATLAB都出现了；
- 作为用过MATLAB，SAS的过来人，个人推荐R语言。因为它的packages实在是太丰富了。
- R可以干嘛？
- Excel可以做的，它都可以做
- Excel不能做的，比如数据处理和分析，画图（这个很牛），建模，它也可以做。
- 当然，它有一个缺点，如果数据量太大（超过500M），它就很难用。除非要写并行的一些代码
- 但是，基于我们现在用到的数据量，和要做的数据分析，我还是建议大家除Excel，可以了解一下R语言。通过它，你可以了解另外的一个世界。
- 它属于次重量级分析工具
-
3）Python等
- 当然，有些时候，R语言还是解决不了问题，肿么办？那就选择其他语言
- 如果想做Deep Learning，可能需要Java，或者C++，这个，我帮不了你了，我不会
- 如果想发挥黑客的潜质，可以了解一下Julia，它集合了R、Python、Ruby等特点，很赞。
- 如果想用更通用的工具，那就是PYthon了。
- 因为目前阿里有一个XLab的数据挖掘的工具，代码就是python,用这个XLab做数据挖掘，我觉得作为分析师来说，足够用了。
- 当然，Python的用处，不仅仅是为了XLab，还可以更好的处理数据，做更多的数据挖掘等。
- 它属于重量级分析工具
3，数据建模篇
数据建模，越来越简单化。
就像吃饭，不用自己做，点个外卖就可以了。
-
1）R语言
- R语言的强大，就是一个瑞士工具刀，小，但是功能多。
- 如果从业务角度出发，想快速迭代和仅仅做一个尝试，R语言建模不失为一个好工具
- 比如，我们可以选一些样本，通过R语言的内置的pacakge，可以很快的做建模，然后对结果进行分析
- R语言是一个统计软件，可想而知它的建模功能有多强大
- 用R做数据建模，不考虑剔除数据处理和清洗的话，建模的语句不超过5行！灵巧就是这么任性！
-
唯一一个不爽的地方：
- 现在很多同学都不是console状态下提取数据，所以用R语言建模，需要download数据，然后倒入到R里面去，然后建模
- 现在数据安全控制比较严格，可能需要在七星阵里面用R语言来建模
- 当然，如果有console的环境，可以安装RODPS。如果你们有兴趣，参考这里
-
2）XLab
- 目前阿里数据挖掘同学用这个比较多。它是一个基于ODPS的数据挖掘工具，里面内置了很多数据模型和函数，比如，我要做一个聚类，这样用Kmeans的函数，然后输入相关参数就可以了。简单吧？看着很简单
- 它的所有的代码，需要python来实现，当然，里面内嵌了ODPS SQL
- 为什么说它很方便：
- 它基于ODPS的数据表，你个人所有的ODPS数据表，都可以直接当一个数据源，不用另外存储和处理
- 它可以画图，里面有常用的统计分析，画图的功能
- 当然，它最强大的就是可以做建模和挖掘，也是基于你ODPS的数据表
-
想象一个应用场景：
- 你在ODPS上create table 一张数据表t_dq_test
- 然后，你在XLAB里面基于这种表，写一个Python的脚本，里面有聚类函数
- 运行这个脚本，可以对t_dq_test表中的数据进行聚类
- 针对聚类结果，你可以分析是否适合业务和产品需求？等等其他。
- 如果你们想做数据挖掘，我建议可以了解XLab,参考这里
4，最后的建议
- 很多新同学来了，很多老同学也在努力。工具太多，干扰太多。这篇东西，期望先给大家一个总结，让大家知道我们现在有什么，可以用什么，哪些实用，哪些不实用。聚焦自己想学的，不要分散时间和精力。
- 大部分的阿里数据分析师工作，用ODPS SQL + Excel就可以搞定；如果在复杂一点，加一个R语言就够了；如果在复杂一点，加一个XLab就够了
- 还是那句话，工作场景不一样，需求不一样，用的工具也不一样。这个很关键。工作和学习不一样，我们需要用合适的工具，高效率的做完我们的工作。不要都学，都会。
- 如果你想学一门语言，我建议学Python语言
- 如果你还想学一门语言，我建议学R语言
- 如果你还想学点东西，除了产品必要的内容外，我建议多看看营销，广告的书。做分析师，工具都是浮云，关键是解决和推动事情的能力。
- 最后一句：** R语言除了数据处理，画图，现在还可以写Slide,ppt,还可以做自动化产出，可以写报告，可以做任何事情…… **
5，One More Thing （最重要的）
- 分析工具都是浮云
- 功夫都是在诗外
网友评论