正则化其实就是将一些特征给减小很多，相当于消掉，这样函数将变得更加简单，那么他过拟合的可能就更小了。
1.正则化公式
我们使用了这个新的代价函数，来权衡两个目标
- 最小化第一项，可以让（预测值-真实值）的平方尽可能的小，从而算法能更好的拟合数据，（第一个目标就是拟合数据）
- 最小化第二项，让参数Wj尽可能的小，这样可以减小过拟合的风险（第二个目标）
这个时候λ的选择就至关重要，因为想要最小化第二项，如果λ取值很大，w的值就需要取接近于0，这样就导致函数约等于0，就是一条直线。
如果λ取值为0，这样就到时w都非常大，这样数据就产生了过拟合的现象。
所以λ需要取值在两者之间较好，会拟合出一个多项式，保留了所有的特征。
2. 用于线性回归的正则化
加上了为了避免过拟合的第二项之后，梯度下降算法就相应的做了变化。
因为第二项是针对w的函数，所以b的更新求导并没有变化。
3. 用于逻辑回归的正则化
网友评论