机器学习欠拟合和过拟合—Apple的学习笔记

作者: applecai | 来源:发表于2018-10-28 13:52 被阅读10次

1. 什么是欠拟合和过拟合

先看三张图片,这三张图片是线性回归模型 拟合的函数和训练集的关系

第一张图片拟合的函数和训练集误差较大,我们称这种情况为 欠拟合

第二张图片拟合的函数和训练集误差较小,我们称这种情况为 合适拟合

第三张图片拟合的函数完美的匹配训练集数据,我们称这种情况为 过拟合

2. 如何解决欠拟合和过拟合问题

欠拟合问题,根本的原因是特征维度过少,导致拟合的函数无法满足训练集,误差较大。

欠拟合问题可以通过增加特征维度来解决。

过拟合问题,根本的原因则是特征维度过多,导致拟合的函数完美的经过训练集,但是对新数据的预测结果则较差

解决过拟合问题,则有2个途径:

[if !supportLists]1.     [endif]减少特征维度; 可以人工选择保留的特征,或者模型选择算法

[if !supportLists]2.     [endif]正则化; 保留所有的特征,通过降低参数θ的值,来影响模型

3. 正则化

回到前面过拟合例子, h(x) = θ0 + θ1x1 + θ2x2 + θ3x3 + θ4x4

这样在求解最小化代价函数的时候使得参数θ3, θ4接近于0。 正则化其实就是通过对参数θ的惩罚来影响整个模型 

相关文章

  • 学习笔记

    机器学习理论基础 来自《scikit-learn机器学习》 过拟合和欠拟合 过拟合是指模型能很好的拟合训练样本,但...

  • 机器学习欠拟合和过拟合—Apple的学习笔记

    1. 什么是欠拟合和过拟合 先看三张图片,这三张图片是线性回归模型 拟合的函数和训练集的关系 第一张图片拟合的函数...

  • Task03:动手学深度学习——过拟合和欠拟合、梯度消失和梯度爆

    (学习笔记,待补充)本文目录如下: 1.过拟合和欠拟合1.1过拟合和欠拟合的概念1.2.防止过拟合的方法1.3.防...

  • 学习笔记----机器学习(六)

    机器学习基础理论 模型过拟合和模型欠拟合 过拟合Under Fitting(高方差high bias ) ----...

  • 学习笔记:Python深度学习

    机器学习基础 过拟合和欠拟合 机器学习的根本问题是optimization和generalization之间的对立...

  • 学习曲线

    在机器学习中,模型的欠拟合和过拟合是需要格外注意的问题,同时也是经常发生的问题,其中过拟合最为常见. 欠拟合,即训...

  • 如何处理欠拟合、过拟合?

    在我们机器学习和深度学习的训练过程中,经常会出现过拟合和欠拟合的现象。训练一开始,模型通常会欠拟合,所以会对模型进...

  • 机器学习第六课_其他几个重要概念

    1、偏差和方差 在机器学习中,过拟合和欠拟合都会使训练好的机器学习模型在真实的数据中出现错误。我们可以将错误分为偏...

  • 机器学习中的偏差和方差

    1、定义 在机器学习中,过拟合和欠拟合都会使训练好的机器学习模型在真实的数据中出现错误。我们将错误分为偏差和方差两...

  • 欠拟合和过度拟合

    定义: 废话不说,先上图 如果有一群数据集,中间为比较合适的拟合曲线。左端为欠拟合,右端为过拟合。 机器学习,学习...

网友评论

    本文标题:机器学习欠拟合和过拟合—Apple的学习笔记

    本文链接:https://www.haomeiwen.com/subject/jqiptqtx.html