美文网首页
学习笔记-机器学习-(4)正则化

学习笔记-机器学习-(4)正则化

作者: 饼干和蛋糕 | 来源:发表于2019-03-12 16:25 被阅读0次

    吴恩达-机器学习课程--07: Regularization的学习总结:

    欠拟合(underfitting/high bias):模型的拟合程度不高,数据距拟合曲线较远。

    过拟合(overfitting/high variance):为了得到一致假设而使假设变得过度复杂,训练出的模型只能在训练数据上很好的拟合,但在训练数据外的数据集上不能很好地拟合数据,泛化能力差。如果有较多的特征而训练数据较少,就容易出现过拟合。

    泛化能力(generalization ability)):机器学习算法对新样本的适应能力。

    下图一underfitting,下图三overfitting。

    以线性回归为例展示过/欠拟合情况

    解决过拟合的方法:

    1、减少特征数量     2、正则化

    如果每个特征都对最后的结果的有影响,可选择正则化的方法来解决过拟合问题。

    正则化:修改代价函数,使参数 θ变小,以获得更简单的模型,如下图所示(通常不惩罚θ0)

    正则化的线性回归代价函数

    λ为正则化参数,需要平衡选择,既要使模型较好的拟合训练数据,又要使θ变小,避免过拟合。

    如果λ选择过大, θ趋近于0,会出现underfitting的情况。

    梯度下降法求θ

    原锑度下降法求线性回归的参数θ:

    原锑度下降法求线性回归的参数θ

    求导后:

    原锑度下降法求线性回归的参数θ

    正则化后J(θ):

    正则化后J(θ)

    求导后:

    求导后的θj

    合并第一项和第三项:

    合并后的 θj

    第一项中的

    大概等于(1-很小的数)如0.99

    第二项和之前的梯度下降法求线性回归的参数θ没有区别。

    正规方程求θ

    原正规方程求 θ的公式:

    原正规方程求θ

    忽略推导过程,正则化后为:

    正则化后正规方程求θ

    已证明λ>0,括号中的矩阵一定是可逆的。

    逻辑回归的正则化

    原逻辑回归代价函数:

    原逻辑回归代价函数

    正则化需要在上式后加上如下项:

    加入项

    原梯度下降法求逻辑回归的参数θ(求导后):

    原梯度下降法求逻辑回归的参数θ

    正则化后梯度下降法求逻辑回归的参数θ(求导并且合并后):

    正则化后求θ

    相关文章

      网友评论

          本文标题:学习笔记-机器学习-(4)正则化

          本文链接:https://www.haomeiwen.com/subject/movrpqtx.html