Are Loss Functions All the Same?

Rosasco L, De Vito E, Caponnetto A, et al. Are loss functions all the same[J]. Neural Computation, 2004, 16(5): 1063-1076.

@article{rosasco2004are,
title={Are loss functions all the same},
author={Rosasco, Lorenzo and De Vito, Ernesto and Caponnetto, Andrea and Piana, Michele and Verri, Alessandro},
journal={Neural Computation},
volume={16},
number={5},
pages={1063--1076},
year={2004}}

概

作者给出了不同的损失函数, 在样本数量增多情况下的极限情况. 假设为的密度函数，其中为输入样本, 为值(回归问题) 或 类别信息(分类问题). 设为损失函数, 则期望风险为:

其中为预测函数, 不妨设最小化期望风险. 在实际中, 我们只有有限的样本, 在此情况下, 我们采取近似

同时

其中为hypothesis space.

与之间的差距如何, 是本文的核心.

主要内容

一些假设

首先的在空间中寻找, Reproducing Kernel Hilbert Space(RKHS)一文中(没看)给出了这种空间的构造方式. 给定对称正定函数(Mercer核):

同时是连续函数.
函数通过下述方式构造:

给定常数, 构造hypothesis space :

则在下, 是连续函数上的一个紧集，其中是紧的(这个证明要用到经典的Arela-Ascoli定理, 只需证明中的元素是等度连续即可).
另外:

故

其中.

损失函数为凸函数且满足:

1. 是Lipschitz函数, 即对于任意的, 存在常数使得
   对于任意的成立.
2. 存在常数,
   
   成立.

注: 这里的凸函数, 因为一般的损失函数实际上是以(回归), (分类)为变元, 所以要求关于或者为凸函数.

损失函数

回归问题:

在这里插入图片描述

分类问题:

在这里插入图片描述

这些损失函数都是满足假设的, 所对应的, 当时为

在这里插入图片描述

假设, 一般的误差

第一项是我们所关注的, 称为估计误差, 第二项为逼近误差.

这里引入的covering number, , 文中所指的应该是wiki中的external covering number.

下面是理论结果, 引理的证明用了Hoeffding不等式, 这个不了解, 感兴趣请回看原文.

在这里插入图片描述 在这里插入图片描述
这里实际上(6)不等式右端第二项, 令其为, 反解的意思.
第一个不等式实际上就是引理的推论, 第二个不等式注意到: 在这里插入图片描述
又(这个说是根据定义, 但我没弄清楚), 故不等式成立.

损失函数的统计性质

收敛速度

考察不同损失的函数的:

回归问题:

:

在这里插入图片描述
:
在这里插入图片描述
注意到, 因为square loss 的covering number 随着的增加会变大, 所以会变大，所以在收敛速度上, square比不上上面俩个.
在这里插入图片描述

分类问题:

hinge:

在这里插入图片描述
logistic:
在这里插入图片描述
二者的收敛表现是类似的, 而square是类似的().

分类的界

关注分类问题中的hinge损失, 因为它会逼近概率推断.

在二元分类问题中, 其最佳函数为:

在这里插入图片描述
当.

有如下事实:

在这里插入图片描述
证明蛮有趣的, 这里贴一下
在这里插入图片描述
的证明是类似的.

另外(证明在别的论文中):

又(至少有的概率)

并注意到(感觉怪怪的):

故至少有的概率

在这里插入图片描述
成立. 也就是说当样本个数足够大的时候, 的效用是等价于统计判别的, 这是hinge loss独有的优势.