13 回归算法 - 局部加权回归 - 损失函数

作者: 白尔摩斯 | 来源:发表于2018-10-21 13:27 被阅读46次

13 回归算法 - 局部加权回归 - 损失函数
14 线性回归总结
2.2 局部加权线性回归
CS229学习笔记（5）
【算法】局部加权回归（Lowess）
线性回归
机器学习实战——回归
回归算法
（Ridge， Lasso） Regression
线性回归

普通线性回归损失函数： $J(θ)=\sum_{i=1}^m(h_θ(x^i) - y^i)^2$

局部加权回归损失函数： $J(θ)=\sum_{i=1}^mw^i(h_θ(x^i) - y^i)^2$

根据每个不同的样本，加上不同的权重: wⁱ
根据要预测的点和数据集中的点的距离，来为数据集中的点赋权重。
某点离要预测的点越远，其权重越小，否则越大。

两个点离得无限远，那么wⁱ越趋向于0。
两个点重合的时候，那么wⁱ=1

两点相似度的度量公式 - 高斯核

该函数称为指数衰减函数，其中σ为波长函数，它控制了权值随距离下降的速度。

注意： 使用该方式主要应用到样本之间的相似性考虑，主要内容在SVM中再进一步介绍

13 回归算法 - 局部加权回归 - 损失函数
普通线性回归损失函数：局部加权回归损失函数：根据每个不同的样本，加上不同的权重: wi根据要预测的点和数据集中...
14 线性回归总结
算法模型：线性回归（Linear）、岭回归（Ridge）、LASSO回归、Elastic Net、局部加权回归 0...
2.2 局部加权线性回归
一. 局部加权线性回归局部加权线性回归是普通线性回归的一个改进，普通的线性回归努力寻找一个使得全局代价函数最小的...
CS229学习笔记（5）
CS229_5-局部加权线性回归局部加权线性回归欠拟合与过拟合上述三幅图展示了，不同假设函数对于同一训练集的...
【算法】局部加权回归（Lowess）
注：以下公式为latex公式，可看：http://blog.csdn.net/longgb123/article/...
线性回归
线性回归是机器学习算法的入门，通过该算法，管中窥豹，研究该算法的精髓之处。线性回归线性回归的损失函数为最小二乘...
机器学习实战——回归
本章内容】线性回归局部加权线性回归岭回归和逐步线性回归例子【线性回归】 wHat = (X.T*X).I...
回归算法
局部加权线性回归误差分析, 偏差与方差
（Ridge， Lasso） Regression
岭回归岭回归的损失函数 MSE+L2 岭回归还是多元线性回归 y = wTx 只不过损失函数MSE添加了损失...
线性回归
损失函数介绍简单线性回归最小二乘法梯度下降求解线性回归评价指标多元线性回归链接损失函数介绍损失函数描述了单个样...