线性回归

线性回归是机器学习算法的入门，通过该算法，管中窥豹，研究该算法的精髓之处。

线性回归

线性回归的损失函数为最小二乘法。 损失函数是连续可导的函数，可求导 方向导数， 然后根据梯度下降法求解局部最优值。 （梯度下降法是求解局部最优值的方法之一， 还有牛顿法等，求解最优值是机器学习的重点之一）

最小二乘法与高斯分布

更让人惊讶的地方在于， 最小二乘法作为损失函数可以用高斯分布来解释。 通过高斯分布来构造样本的概率分布，采用最大似然法（最大似然法是机器学习最重要的思想之一，一定要深刻理解它，后续的很多算法都会采用该思想），得出的损失函数是跟最小二乘法是一致！ 简直太优雅了！

这一点涉及的思想有：

极大似然估计（最重要的思想之一）

涉及的概率统计知识点：

条件概率

高斯分布（重要的概率分布有： 伯努利分布，二项分布，泊松分布， 高斯分布等）

逻辑回归

逻辑回归是在线性回归的基础上， 增加了Sigmoid函数（也叫逻辑函数）。Sigmoid函数有比较好的性质， 可结合伯努利分布，表示数据的概率分布P(Y|X,W)， 然后基于最大似然思想，得到损失函数，求最优解方法， 同样可以通过梯度下降法！

逻辑回归的关键在于Sigmoid函数， 那么问题来了： 为什么要选择Sigmoid函数呢？

通过最大熵（信息论中的知识）可以推导出 Sigmoid函数

逻辑回归涉及的知识点：

最大熵（信息论中的知识点，机器学习中也涉及到信息论，如决策树的信息增益）

总结

从线性回归和逻辑回归的算法学习中， 可以窥探机器学习算法的三大基本要素：

预测函数：线性函数和Sigmoid函数

损失函数：最大似然法可推导出的损失函数

求解算法：梯度下降法。

涉及的学科

概率统计，线性代数， 微积分，信息论等。

通过最简答的线性回归和逻辑回归算法， 就可以管中窥豹，机器学习是一门跨学科领域，融合了不同学科的思想，可以说是一个集大成的学科。逻辑回归和线性回归算法虽然只是入门机器学习的第一步， 但也足以领略其中的优雅和美！