Margin Disparity Discrepancy(MDD

作者: LiBiscuit | 来源:发表于2021-02-05 18:13 被阅读0次

一下子就二月了~时间真的好快进度条被迅速拉近~也快过年了。
我现在虽然有一些粉丝赞也不少但我不知道真正还有在看的有多少人因为最近遇到一些事情所以想说一下
我的本意就是记录自己的学习和一些知识并不是说在和朋友圈一样在分享生活所以希望简信更多的是知识交流哈~ thanks
今天简单记录一个小知识点（论文阅读要拖到年后了吧~）

Margin Disparity Discrepancy

What？
我是在阅读小样本域适应即：《Few-Shot Learning as Domain Adaptation: Algorithm and Analysis》该论文中看到Margin Disparity Discrepancy这个概念的，文中将其称为间隔差异。有兴趣的可以看看论文，地址如下：
论文的地址：
https://arxiv.org/pdf/2002.02050.pdf
论文阅读参考：https://blog.csdn.net/weixin_42137700/article/details/106927167
后来，找到了概念出处即论文《Bridging Theory and Algorithm for Domain Adaptation》
论文地址：
http://ise.thss.tsinghua.edu.cn/~mlong/doc/domain-adaptation-theory-icml19.pdf

那接下来先简单说说什么是MDD？
看到有的博客也称为间隔分歧散度，那其实和间隔差异之称是异曲同工的，它是用在特征空间对齐目标域和源域，是属于一种度量准则，是域适应或者迁移学习中会使用到的。

晒出定义：1.首先我们通过约束假设空间来测量分布差异。给定两个假设h，h'∈H，我们对它们之间的（期望、经验）0-1差距进行定义。
2.接下来是DD差异的定义:给定假设空间H和特定的分类器h∈H (注意：这边的差异不仅取决于假设空间H，而且还取决于特定的分类器H，具体的关于DD的证明推导可以看上述论文的附录，这边不具体展开）
3.提出MDD
在多分类的情况下，评分函数的边际（the margin of scoring
functions）成为信息泛化界的一个重要因素。现有的领域适应理论没有给出与评分函数和边际损失绑定的泛化的形式化分析。为了弥合通常用对称性和次可加性分析标签函数和损失函数的理论与广泛采用评分函数和边际损失的算法之间的差距，我们提出了一种基于边际的差异，即MDD。
边际差异，将0-1损失更改为边际损失的差异及其从假设f到f'的经验形式定义为： (注意:f和f'是评分函数，而 $h_f$ 和 $h_{f'}$ 是它们的标记函数。）
MMD的完整定义如下：（P\Q为源域和目标域）

MDD框架图
在迁移学习的网络图如上所示。总的来说，MDD就是一个改进后的度量差异的准则，用来在域适应中对齐源域和目标域特征空间的。