关于机器学习的网络拾慧

1、带你了解机器学习(一): 机器学习中的“哲学”

（1）没有免费的午餐定理(No Free Lunch Theorem -> NFL Theorem) - 没有哪个算法是最好？

（2）奥卡姆剃刀定理(Occam's Razor - Ockham定理）- 少即是多（在统计学和数学领域，我们偏好优先选择最简单的那个假设，如果与其他假设相比其对于观察的描述度一致。）

【奥卡姆剃刀定理并非不可辩驳的真理，而只是一种选择方法。从事科学研究，切勿相信有普遍真理。周孝正教授曾说:"若一件事情不能证实，也不能证伪，就要存疑。" 恰巧，奥卡姆定理就是这样一种不能证实也不能证伪的定理。】

（3）集成学习(Ensemble Learning) - 三个臭皮匠的智慧

（4）频率学派(Frequentism)和贝叶斯学派(Bayesian) - 剑宗与气宗之争

无论是机器学习还是统计学习都是一种寻找一种映射，或者更广义的说，进行参数估计。以线性回归为例，我们得到结果仅仅是一组权重。

频率学派相信参数是客观存在的，虽然未知，但不会改变。因此频率学派的方法一直都是试图估计“哪个值最接近真实值”，相对应的我们使用最大似然估计(Maximum Likelihood Estimation)，置信区间(Confidence Level), 和p-value。因此这一切都是体现我们对于真实值估算的自信和可靠度。

而贝叶斯学派相信参数不是固定的，我们需要发生过的事情来推测参数，这也是为什么总和先验(Prior)及后验(Posterior)过不去，才有了最大后验(Maximum a Posteriori)即MAP。贝叶斯学派最大的优势在于承认未知(Uncertainty)的存在，因此感觉更符合我们的常识“不可知论”。

频率学派试图描述的是「事物本体」，而贝叶斯学派试图描述的是观察者知识状态在新的观测发生后如何更新。

统计学出身的人往往倾向于频率学派，而机器学习出身的人更倾向于贝叶斯学派。

2. 带你了解机器学习(二): 机器学习中的"稳定性"

3. 带你读机器学习经典(一): An Introduction to Statistical Learning (Chapter 1&2)

 4. 带你读机器学习经典(二): An Introduction to Statistical Learning (Chapter 3.1 线性回归)