美文网首页Machine Learning
机器学习入门(15)--过度拟合

机器学习入门(15)--过度拟合

作者: Alfie20 | 来源:发表于2017-01-03 20:02 被阅读569次

定义

对于线性回归或逻辑回归的损失函数构成的模型,可能会有些权重很大,有些权重很小,导致过拟合(就是过分拟合了训练数据),使得模型的复杂度提高,泛化能力较差(对未知数据的预测能力)。

下面左图即为欠拟合,中图为合适的拟合,右图为过拟合:

拟合情况

分析:过拟合问题往往源自过多的特征。

解决方法

1)减少特征数量:减少特征会失去一些信息,即使特征选的很好。可用人工选择要保留的特征;也可根据模型选择算法;

2)正则化:特征较多时比较有效,保留所有特征,但减少θ的大小

正则化方法

正则化是结构风险最小化策略的实现,是在经验风险上加一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化项就越大。从房价预测问题开始,这次采用的是多项式回归。左图是适当拟合,右图是过拟合:

直观来看,如果我们想解决这个例子中的过拟合问题,最好能将x3,x4的影响消除,也就是让θ3=0,θ4=0.。假设我们对θ3,θ4进行惩罚,并且令其很小,一个简单的办法就是给原有的Cost函数加上两个略大惩罚项,例如:

通过这样的代价函数选择出的θ3和θ4对预测结果的影响就比之前要小许多。假如我们有非常多的特征,我们并不知道其中哪些特征我们要惩罚,我们将对所有的特征进行惩罚,并且让代价函数最优化的软件来选择这些惩罚的程度。这样的结果是得到了一个较为简单的能防止过拟合问题的假设:

备注:注:根据惯例,我们不对θ0进行惩罚。

其中λ又称为归一化参数(Regularization Parameter)。如果它的值很大,说明对模型的复杂度惩罚大,对拟合数据的损失惩罚小,这样它就不会过分拟合数据,在训练数据上的偏差较大,在未知数据上的方差较小,但是可能出现欠拟合的现象;如果它的值很小,说明比较注重对训练数据的拟合,在训练数据上的偏差会小,但是可能会导致过拟合。经过归一化处理的模型与原模型的可能对比如下图所示:

如果选择的归一化参数λ过大,则会把所有的参数都最小化了,导致模型变成hθ(x)=θ0也就是上图中红色直线所示的情况,造成低度拟合。

如果我们要使用梯度下降发令这个代价函数最小化,因为我们未对θ0进行归一化,

对上面的算法中j=1,2,...,n时的更新式子进行调整可得:

可以看出,归一化线性回归的梯度下降算法的变化在于,每次都在原有算法更新规则的基础上令θ值减少了一个额外的值。

我们同样也可以利用正规方程来求解归一化线性回归模型,也就求使J(θ)min的θ,令J(θ)对θj求导的所有导数等于0,有公式如下:正则化后的线性回归的Normal Equation的公式为:

同样对于逻辑回归,我们也给代价函数增加一个归一化的表达式,得到:

要最小化该代价函数,通过求导,得出梯度下降算法为:

注:看上去同线性回归一样,但是知道hθ(x)=g(θTX),所以与线性回归不同。

相关文章

网友评论

    本文标题:机器学习入门(15)--过度拟合

    本文链接:https://www.haomeiwen.com/subject/wtleyttx.html