1、数值计算与正则化思维

在数值计算中，监督学习的目的是从数据X、y中拟合模型f。在这个框架中，最重要的是损失函数，它度量了拟合值和实际值之间的差异，模型的目标则是最小化差异

一般来说监督学习可以看成是最优化问题：

$\hat{w}=\arg_{w}\min\sum_{i}L(y_i,f(x_i;w))$

2、统计学与贝叶斯思维

3、信息论与最大熵思维

4、正则化与贝叶斯

Least Square 的解析解可以用 Gaussian 分布以及最大似然估计求得
Ridge 回归可以用 Gaussian 分布和最大后验估计解释
LASSO 回归可以用 Laplace 分布和最大后验估计解释

参考

[1]. Zxdon:从贝叶斯角度深入理解正则化

机器学习算法背后的思维
持续更新中一个算法可以从很多角度去阐述，如统计学思维（最大似然、贝叶斯）、数值计算思维（最优化、正则化）、信息论...
写《机器学习背后的思维: 针对入门小白的概念、算法及工具的朴素思
2019-12-28，2020-02-01机器学习背后的思维 - 针对入门小白的概念、算法及工具的朴素思考因涉及...
机器学习学习规划
工作三年，近期打算重新深入学习机器学习： 1.西瓜书机器学习基本概念和基础算法理解以及背后数学原理推导，经典算法...
线性回归算法数学原理
在机器学习中，调用算法是件比较容易的事，但是我们想要将机器学习理解的更加透彻，就必须深刻理解每一种算法背后的数学原...
读书笔记-《机器学习实战》
《机器学习实战》介绍：本书没有从理论角度来揭示机器学习算法背后的数学原理，而是通过“原理简述+问题实例+ 实际代...
机器学习算法分类大全
机器学习算法可以分为监督学习算法、无监督学习算法和半监督学习算法，下面以思维导图的形式总结了一下常见的监督学习和无...
人工智能机器学习深度学习
一、人工智能包括机器学习，而机器学习包括深度学习。人工智能就是算法组成的，而机器学习就是包括很多算法，机器学习...
主成分分析法(PCA)等降维(dimensionality re
机器学习算法学习路上的伙伴们，早安、午安、晚安，机器学习一些基础算法的初级知识学的差不多啦，跟着《机器学习算法实战...
meta learning
想较于之前的机器学习算法，meta learning 是让机器学会学习。传统的机器算法只是希望机器学习到一个函数，...
机器学习和算法
机器学习算法 github主页：机器学习和算法最近以来一直在学习机器学习和算法，然后自己就在不断总结和写笔记，记...