数据科学家之旅

上图是IBM Watson的首席技术专家Swami Chandrasekaran编撰的数据科学家地铁图，可以说是数据科学家的技能修炼指南，分享出来，供「骨骼惊奇」之人慢慢修炼。

欲练此功，必先埋头苦读。

一、基础

1、矩阵和线性代数基础
2、散列函数、二叉树和O(n)
3、关系代数、DB基础
4、inner/outer/cross/theta连接
5、CAP原理
6、Tabular Data
7、Data Frames & Series
8、Sharding
9、OLAP
10、多维数据模型
11、ETL
12、报告 vs BI vs 分析
13、JSON和XML
14、NoSQL
15、正则表达式
16、Vendor Landscape
17、环境部署

二、统计

1、选择数据集（UCI Repo）
2、描述统计学（mean/median/range/SD/var）
3、探索性数据分析
4、直方图
5、百分数和极值
6、概率论
7、贝叶斯理论
8、随机变量
9、累计分布函数
10、连续分布（正态、泊松、高斯）
11、偏度
12、方差分析（ANOVA）
13、概率密度分布
14、中心极限定理
15、蒙特卡罗方法
16、假设验证
17、p值
18、卡方检验
19、估计
20、置信区间
21、极大似然估计
22、核密度估计
23、回归
24、协方差
25、相关性
26、皮尔逊相关系数
27、最小二乘法
28、 欧氏距离

三、编程

1、Python基础
2、Excel使用
3、R安装
4、R基础
5、表达式
6、向量
7、矩阵
8、数组
9、因子
10、列表
11、数据框
12、读取CSV
13、读取原始数据
14、构建数据集
15、操作数据集
16、函数
17、因子分析
18、安装包

四、机器学习

1、什么是ML
2、数值变量
3、分类变量
4、监督学习
5、非监督学习
6、概念、输入和特征
7、训练集和测试集
8、分类
9、预测
10、Lift曲线
11、过拟合
12、偏差和方差
13、树和分类
14、分类正确率
15、决策树
16、Boosting
17、朴素贝叶斯分类器
18、K邻近分类
19、逻辑回归
20、排序
21、线性回归
22、Perception
23、层次聚类
24、K-means聚类
25、神经网络
26、情感分析
27、协同过滤
28、标注

五、文本挖掘/自然语言处理

1、语料库
2、命名实体识别
3、文本分析
4、UIMA
5、词文档矩阵
6、词频和权重
7、支持向量机
8、关联规则
9、Market Based Analysis
10、特征提取
11、使用Mahout
12、使用Weka
13、使用自然语言工具包
14、文本分类
15、词汇映射

六、可视化

1、Data Exploration in R
2、Uni, Bi & Multivariate Viz
3、ggplot2可视化包
4、直方图和饼图
5、树图和矩形树图
6、散点图
7、折线图
8、空间图
9、Survey Plot
10、时间轴
11、决策树
12、D3.js
13、IBM ManyEyes
14、Tableau

七、大数据

1、MapReduce框架
2、Hadoop组件
3、HDFS：Hadoop的分布式文件系统
4、数据复制原理
5、安装Hadoop
6、名称和数据节点
7、任务跟踪
8、Map/Reduce编程
9、Sqoop: Loading Data in HDFS
10、Flue, Scribe: For Unstruct Data
11、SQL with Pig
12、DWH with Hive
13、Scribe, Chukwa For Weblog
14、Using Mahout
15、Zookeeper Avro
16、Storm: Hadoop Realtime
17、Rhadoop, RHipe
18、rmr
19、Classandra
20、MongoDB, Neo4j

八、数据获取

1、Summary of Data Formats
2、数据发现
3、数据来源与采集
4、数据集成
5、数据融合
6、转换和浓缩
7、数据调查
8、Google OpenRefine
9、How much Data
10、使用ETL

九、数据清洗

1、维度与数值归约
2、数据规范化
3、数据清洗
4、缺失值处理
5、无偏估计量
6、分箱稀疏值
7、特征提取
8、去噪
9、抽样
10、分层抽样（Stratified Sampling ）
11、主成分分析（Principal Component Analysis）

十、工具箱

1、MS Excel / Analysis ToolPak
2、Java, Python
3、R, R-Studio, Rattle
4、Weka, Knime, RapidMiner
5、Hadoop Dist of Choice
6、Spark, Storm
7、Flume, Scribe, Chukwa
8、Nutch, Talend, Scraperwiki
9、Webscraper, Flume, Sqoop
10、tm, RWeka, NLTK
11、RHIPE
12、D3.js, ggplot2, Shiny
13、IBM Languageware
14、Cassandra, MongoDB