统计学和数据分析

有的时候想象数据分析还挺高大上的，特别是现在比较火的机器学习，人工智能什么的，总觉得不学点有点对不起这个时代。虽然做的工作会用到一部分商业数据的分析，可是学习总是时断时续，很难成一个体系，要不是因为为难自己报了一个跨BU的项目，也没有办法接触数据分析了。

不过高大上的东西，都是有底层的逻辑或者叫做基础的东西的，数据分析的核心还是统计学的基础。从探索数据，数据的统计学描述到数据的挖掘，分类预测，渐渐地就变得高深莫测了。把统计学的东西又默默地捡起来了，密度函数，分布函数，可能太深刻了，真的还都没有忘记，就差自己再计算下了，那估计要把积分也给串起来了。看看二项分布，柏松分布，几何分布，多了一份老朋友见面的喜感。统计学的认识又近了一步，就是消灭小概率事件，认为小概率事件是基本不会发生的。有小样本的数据来推测大部分的情况。你可能无法知道所有的事情，但是如果符合大部分的情况认为是真的，那就能认为结论是这样的。

统计学，让我又想起了黑天鹅事件，所以感觉统计学也不是万能的，总有那些个3西格玛以外的意外，对你产生震撼性的影响。

然后大数据时代，突破了统计学的一小样本的研究来探索大范围的规律的普遍的研究方法，偏向于用大量的数据来归纳总结训练数据，用合适的模型来解释数据，最后用各种方法来优化算法，达到所谓的人工智能，通过我点击了某些字段，成功给我做出用户画像。虽然数据量不同了，但是数据挖掘和探索的本质还是很微妙的相同的。