美文网首页
[线性回归] 模型和代价函数

[线性回归] 模型和代价函数

作者: JaiUnChat | 来源:发表于2016-12-28 13:57 被阅读305次

代价函数 Cost Function

为了度量预测函数(hypothesis)的精确性,我们引入了代价函数。它用对所有基于输入(x)的预测结果和输出(y)取平均差。

代价函数

它其实是平均值的1/2,这个平均值是m项加起来最后除以m所得。
这个代价函数又叫“平方误差函数”,或者“均方差函数”[1]
均值前面的1/2是为了方便梯度下降的计算(用1/2抵消1/2平方项求导产生的2)。

Prof.Ng 的PPT草图

例子

想象着数据集分散在xy轴所构成的画板上,有一条线尽可能穿过所有的点. 这时J(θ0,θ1)将等于 0. 接下来的例子是一种理想状态的代价函数,它的值为0.


当 θ1=1 时, 斜率为1的直线穿过了所有的点。
当 θ1=0.5 时,我们所画的线到数据点之间的距离增加。

这时代价函数值为 0.58。 再继续画几个点就会得到如下所示的图:


我们的目标就是得到代价函数的最小值。在这个案例中,θ1=1就是目标的最小值。

注:
[1] 这里用均方误差来衡量,是经过实践校验比较合理精确的方法,还有其他的方法后续也会介绍。均方误差——百度百科

相关文章

  • 逻辑回归(二)

    代价函数(Cost Function) 对于线性回归模型,我们定义的代价函数J(θ)为: 现在对于逻辑回归模型我们...

  • 哲哲的ML笔记(十二:逻辑回归中的代价函数)

    代价函数 要定义用来拟合参数的优化目标或者叫代价函数 对于线性回归模型,我们定义的代价函数是所有模型误差的平方和。...

  • 线性模型用于二分类的理论

    蓦然回首,线性模型 蓦然回首,代价函数 代价函数可视化 上限理论 实践:回归用于分类 回归用于分类

  • 21吴恩达机器学习课程大纲

    机器学习的定义,兴起原因,应用领域,主要内容;线性回归模型假设函数。 线性回归的代价函数,梯度下降算法,特征缩放,...

  • 线性回归与梯度下降算法

    一、单变量线性回归 1.1 线性回归模型 其中J(θ0,θ1)是代价函数,目标可以用下图来理解,也就是寻找θ0和θ...

  • [线性回归] 模型和代价函数

    代价函数 Cost Function 为了度量预测函数(hypothesis)的精确性,我们引入了代价函数。它用对...

  • 3.2Logistic回归模型

    逻辑回归的代价函数 上图是之前线性回归问题时的代价函数,现将上图公式进行改写: 在线性回归问题中,代价函数会被定义...

  • 零基础入门数据挖掘-Task4 建模调参

    内容介绍 线性回归模型:线性回归对于特征的要求;处理长尾分布;理解线性回归模型; 模型性能验证:评价函数与目标函数...

  • 2020-04-01

    线性回归模型:线性回归对于特征的要求;处理长尾分布;理解线性回归模型;模型性能验证:评价函数与目标函数;交叉验证方...

  • 逻辑回归模型的代价函数

    假设有训练集有m个样本有n个特征值预测函数 与线性回归类似,先要获得逻辑回归的代价函数: 这个和线性回归的代价函数...

网友评论

      本文标题:[线性回归] 模型和代价函数

      本文链接:https://www.haomeiwen.com/subject/azeyvttx.html