各机器学习模型的目标函数

目标函数和损失函数的区别

• 损失函数：模型拟合的越好，损失应该越小；
• 目标函数：优化的目标，可以是“损失函数”或者“损失函数+正则项”，分为经验风险最小化，结构风险最小化。

1. 感知机

误分类点集M到超平面S的总距离：

所以感知机的损失函数定义为：

2. 线性回归

线性回归的目标函数，一般使用均方误差：

3. K近邻（KNN）

分类决策采用多数表决：

I()为指示函数，括号内成立输出1，否则输出0；

实际是的误分类率最小，等价于经验风险最小化：

4. Logistic回归

目标y=1与x的函数为：

对数似然函数作为损失函数：

最后加入正则项极为目标函数。

5. Softmax

学习的模型变为：

损失函数变为：

目标函数一般为损失函数+正则项；

6. SVM

SVM的目标函数为：

其中第一项称为合页损失函数(hinge loss)，下标“＋”表示以下取正值的函数，即分类正确切距离超平面有一定距离时损失为０，否则损失为[1-y(wx+b)]。

决策树

1. 生成过程：（从局部出发）递归地选择最佳特征构建决策树，相当于用 极大似然法 进行概率模型的选择；

2. 剪枝过程：（从整体出发）相当于极小化决策树的目标函数（损失函数）。
   设树T的叶结点个数为|T|, t是树T的叶结点，该叶结点有Nt个样本点，其中k类的样本点有Ntk
   个，k=1,2,...,K，Ht(T)为叶结点t上的经验嫡，a>=0为参数，则决策树学习的损失函数可以定义为

   
   
   
   
   

   C(T)表示模型对训练数据的预测误差，即模型与训练数据的拟合程度，|T|表示模型复杂度，参数a>=0控制两者之间的影响。剪枝，就是当a确定时，选择损失函数最小的模型，即损失函数最小的子树。损失函数正好表示了对模型的复杂度和训练数据的拟合两者的平衡。

GBDT

博客园：梯度提升树(GBDT)原理小结

XGBOOST

陈天奇的slide：https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf

附录：常见损失函数对比

附录：统计学习方法特点概括 — 李航《统计学习方法》