P.S.
+内容来源于：The Complete Guide to Landing a Career in Data [UDACITY]
（大数据行业终极职业指【优达学城】 ）
+个人自我提升的预期规划路径，因此只摘取所需内容，并经过筛选整理。
+可以直接看最后
基本介绍
-
核心技能
-
初级 - 数据分析师
编程、统计、机器学习、数据再加工、数据可视化 -
进阶1 - 数据科学家
Hadoop（最常用的分布式文件系统处理框架），Python，R -
进阶2 - 数据工程师
- 基于Hadoop的技术，例如MapReduce，Hive，Pig
- 基于SQL的技术，例如PostgreSQL和MySQL
- NoSQL技术，例如Cassandra，MongDB
- 数据仓库解决方案
-
初级 - 数据分析师
-
日常工作（简而言之）
- 从各种数据库、数据格式和数据来源中整理、提取、转换和加载数据
- 使用探索性数据分析技巧从复杂的数据集中发现有意义的联系、模式和趋势
- 对无标签的数据进行分类，或利用应用统计学和机器学习预测未来
- 通过有效的数据可视化图表传达数据分析结果。
一些训练
-
阅读
-
比赛（尚未确定是否需要梯子）
-
Kaggle
Kaggle的数据经过清洗，可以专注于构建模型
Kaggle托管了大量数据集，可以在Quora话题下找到资源 -
Hacker Rank
看着界面很干净和好看，因为配色是绿色系的，嗯，就是这么不讲道理。
-
技能分级
-
掌握编程背景知识
-
基础知识
- 变量、控制流、循环、函数
- 调试
- 面向对象的编程：便于复用
-
高级知识
- 数据结构（优化）：堆栈、队列、列表、数组、哈希图、优先队列、try语句和图表。（数据结构能够影响内存使用情况和运行时效率，便于优化程序）
- 算法（优化）：分而治之（D&C）算法、贪婪算法、动态规划、线性规划和图形算法（深度与广度遍历，最小生成树和两个节点之间的最短路径）
- 软件设计模式（优化）：让代码稳健、可复用、可测试。
-
-
掌握数学背景知识
- 基础知识
-
统计学：
对不同类型的分布运用正确的方法、技巧或统计学检验，严格地解析、推导和比较不同类型的数据。 -
概率学：
能够推理事件曾经或未来发生的概率。 -
高级知识
- 多元微积分/线性代数
了解多元微积分和线性代数有助于构建自己的算法。
- 多元微积分/线性代数
-
- 基础知识
具体技能
-
编程语言：Python，R（掌握ggplot2，reshape2，numpy，pandas和scipy）
-
统计学：统计学测试，分布，最大似然估计……
-
描述统计：描述样本特性的量化方式
- 基本值：均值、中位数、众数、标准差和方差、假设检验；
- 分布：正态分布、指数/泊松分布、二项式分布、卡方分布；
- 显著性检验：Z检验、t检验、惠特尼U检验、卡方分布、方差分析
-
推论统计：根据样本预测分析
-
统计学实验设计：
- 样本数、样本关系、对照组+实验组、A/B test、幂次定律。
- SMART实验理念：Specific（明确）+ Measurable（可测量）+ Actionable（可行动）+ Realistic（现实）+ Timely（及时）
-
-
数学：多元微积分，线性代数
-
矩阵运算、点积、特征值、特征向量、多元导数
-
机器学习：
-
监督式学习：“有标签”的训练集+检验集，让学习者发现规则，并帮助识别检验集中的元素。监督式学习能够让手机识别你的声音，电子邮箱过滤垃圾邮件等。
- 工具：决策树、朴素贝叶斯分类、普通最小二乘回归、逻辑回归、神经网络、支持向量机及组合方法。
-
非监督式学习：从给定的“无标签”数据集中发现隐含关系，并得出隐藏结构。非监督式学习能够给你推荐喜欢的电影，预测你喜欢的商品。
- 工具：聚类算法、主成分分析（PCA）、奇异值分解（SVD）、独立成分分析（ICA）
-
强化学习：适用于非上述两种情况的情形。对每个预测性步骤或操作给出某种形式的反馈，但不提供精确的标签或误差测定。如机器人下棋等。
- 工具：Q学习、TD学习、遗传算法
-
-
数据整理（/数据挖掘）：
- 数据库系统：PostgreSQL, mySQL, Netezza, Oracle, Hadoop, Spark, MongoDB
- 工具：正则表达式、数学变换、Python字符串库、解析常见文件格式（csv、xml等），通过log-10变换将非正态分布转换为正态分布。
-
数据可视化：
- 工具：ggplot、matplotlib、sea born、D3.js
- 以及了解可视化编码数据背后的原理，了解业务背景。
-
数据直觉
相关课程
目前仅关注了UDACITY的课程，后续如果没放弃会继续补充。
描述统计学入门（中/英）
推论统计学入门
数据可视化与 D3.js（中/英）
机器学习入门（中/英）
[用 MongoDB 进行数据整理（中/英）)(https://cn.udacity.com/course/intro-to-machine-learning--ud120]
网友评论