美文网首页
Andrew Ng ML(4)——过拟合&正则化

Andrew Ng ML(4)——过拟合&正则化

作者: tmax | 来源:发表于2018-12-19 17:01 被阅读0次

    • overfitting(过拟合)
    特征过多会导致过拟合(或者说训练样本太少) 线性回归中的过拟合 逻辑回归中的过拟合
    Q:如何解决过拟合?
    1.减少特征(人工或者用算法)2.正则化(可以保留所有特征)
    • 正则化

      overview: 加入惩罚项(其实就是使某些θ趋于0)解决过拟合问题(使h函数图形更加平滑)
    Q:实际运用中,不清楚需要对哪些\theta进行正则化,怎么办?
    对所有θ正则化(除θ_0(Ng说这个是习惯))

    Ng给出的示例中正则化参数\lambda=1000,但是\lambda取值过大会导致欠拟合(偏见性很强)

    λ取值过大会导致θ1~θn均趋于0,而使假设函数h变成一条直线
    • 线性回归的正规化

    P.S.需要对\theta_0做特殊处理(由于没有对θ_0做正规化)

    • 正规方程的正则化
      P.S.当\lambda>0时可以解决X^TX不可逆的问题

    相关文章

      网友评论

          本文标题:Andrew Ng ML(4)——过拟合&正则化

          本文链接:https://www.haomeiwen.com/subject/vsrjhqtx.html