13 回归算法 - 局部加权回归 - 损失函数

普通线性回归损失函数：

局部加权回归损失函数：

根据每个不同的样本，加上不同的权重: wⁱ
根据要预测的点和数据集中的点的距离，来为数据集中的点赋权重。
某点离要预测的点越远，其权重越小，否则越大。

两个点离得无限远，那么wⁱ越趋向于0。
两个点重合的时候，那么wⁱ=1

两点相似度的度量公式 - 高斯核

该函数称为指数衰减函数，其中σ为波长函数，它控制了权值随距离下降的速度。

注意： 使用该方式主要应用到样本之间的相似性考虑，主要内容在SVM中再进一步介绍