论文阅读“Self-supervision based Sema

作者: 掉了西红柿皮_Kee | 来源:发表于2023-09-10 22:04 被阅读0次

Week4 hw3: Create a Web as Pinte
论文阅读“Variation Autoencoder Based
基于道路模型和基于图形结构的自动驾驶车辆分层路径规划方法
论文阅读——Attention-based Transactio
【论文阅读】User Profiling based Deep
推荐系统论文阅读（二十)-阿里妈妈基于用户长序列历史行为的推荐S
推荐系统论文阅读（五十三)-基于多任务模型的蒸馏召回模型
推荐系统论文阅读（四十四)-微信看一看(RALM)：look-a
QMDP-Net阅读记录
【论文阅读】 Stochastic Class-based Ha

Zhu R, Li S. Self-supervision based semantic alignment for unsupervised domain adaptation[C]//Proceedings of the 2022 SIAM International Conference on Data Mining (SDM). Society for Industrial and Applied Mathematics, 2022: 1-9.

问题解决

从（源域的样本和原型对齐）以及（目标域样本和源域样本的对齐）两个方面来改善低置信度伪标签带来的错误对齐的问题。

模型浅析

提出模型的缩略图

该模型包含三个组件：

$\text{S}^3\text{A}$ 将源样本对齐到对应的类原型。这种自对齐的源数据有助于学习具有辨别性的特征表示。
设计了语义跨域对齐模块用于将每个目标样本对应到其在源域上的近邻样本。为避免由源域和目标域的错误对应带来的坍塌，本文作者引入了基于分类器的置信得分来为跨域的对应赋予不同的权重。
进一步，本文展示了如何将提出的框架和基于对抗学习的UDA方法结合。

提出模型的主要目标在于：利用自监督机制来语义地对齐源域和目标域，学习分类器 $f: x \to y$ 以最小化目标风险 $\epsilon_t = \mathbb{E}_{(x_t, y_t) \sim \mathcal{D}_t}[f(x_t) \neq y_t]$ 。

Semantic Alignment in Source Domain
在该模块中，首先构造了一个内存块来存储源域样本的特征和类原型。具体来说，源域内存 $M_f=[m_f^1, \cdots,m_f^{n_s}]$ 用于存储所有 $n_s$ 个源域样本的特征，源域类原型内存 $M_c=[m_c^1, \cdots, m_c^K]$ 用于存储 $K$ 个源域类的原型特征。其中， $m_f^k$ 是源域样本 $x_s^k$ 的特征向量， $m_c^i$ 是第 $i$ 个源域类原型如下：其中， $\mathcal{D}_s^i$ 是在源域中分配到类别 $i$ 的样本集合， $g_s=G(x_s)$ 是特征提取器。
$M_f$ 由编码器 $G$ 的前馈计算来进行初始化， $M_c$ 由每个类别对应的样本的平均向量初始化。 $M_c$ 中的第 $i$ 个元素的更新依赖于当前batch中分配给第 $i$ 个类的样本： $\mathcal{B}_s^i$ 表示在batch $\mathcal{B}_s$ 中分配到第 $i$ 个类的样本集合。动量更新系数 $\gamma \in [0,1]$ ，按照经验通常设置为0.9。而特征更新则较为直接，就是当前batch中通过编码器 $G$ 获得的特征表示，即： $m_f^k=G(x_s^k)=g_s^k$ 。
基于此，源域对齐的损失: $m_c^i$ 是样本 $x_s^k$ 对应的真实类原型， $<\cdot, \cdot>$ 是用于相似性计算的内积运算， $q_s^k$ 向量为 $q_s^k=[q_s^{(k,1)}, \cdots, q_s^{(k,K)}]$ 。从形式上来看，如果温度系数 $\tau=1$ 就是样本 $x_s^k$ 到每个类的概率分配。为降低过拟合的风险，这里将 $\tau$ 设置为0.05。最终的损失函数，样本对应的原型表示和真实标签之间的交叉熵损失：
Cross-Domain Target Alignment
第二组件是为了对齐目标域和源域类原型，为了避免多对一引发的错误对齐，作者采用了一种将目标域样本先对应到源域中的相似样本，然后间接的借助第一部分的设计实现目标域样本到源域类原型的对齐。
$\text{Entropy minimization loss}$ ：通过最小化目标样本和内存块中源域特征的相似分布的熵来寻找每个目标样本的跨域近邻。给定 $x_t^k \in \mathcal{B}_t$ ，其对应的特征表示为 $g_t^k=G(x_t^k)$ ，成对的目标样本到源域样本的相似性表示为：因此，对应的熵最小化为：通过最小化以上损失，无标签的目标样本将会被映射到与目标样本语义相近的源域类别中。
$\text{Alignment with confidence scores}$ ：熵最小化的对齐方式虽然会使得源域和目标域实现语义的对齐。但在对齐的过程中，所有的对齐匹配是同等权重的，而错误匹配将会对特征的学习造成误导。因此，作者指出在对齐的过程中考虑类别的一致性的置信度作为权重信息。
给定 $x_t^k$ 以及其对应的特征向量 $g_t^k$ ，分类器 $F$ 用来计算样本分配到每个类的概率 $p_t^k \in \mathbb{R}^{1 \times K}$ ，其预测的类别标签为 $\hat{y}^k_t$ 。在本文中，作者使用分类权重 $W_c=[w_c^1, \cdots, w_c^{n_s}]$ ，其中 $w_c^i=p_t^{(k,j)}$ 同时满足 $y_s^i=j$ ，此时可以得到目标样本 $x_t^k$ 到每个源域样本的匹配权重。通俗一点来讲，就是该样本有多大的概率被分到对应的类中，那么源域中包含在这个类的样本的权重就被设置为该概率值。因此，前面的熵的损失可以改写为：
Integrating $\text{S}^3\text{A}$ with Adversarial UDA
在UDA领域的应用相当于在原本的UDA框架中加入 $\text{S}^3\text{A}$ 的损失，针对源域样本的的分类器 $F$ 设计了分类损失：以及对抗损失：对抗UDA损失即联合优化：进一步，为了降低错乱对齐造成的影响，本文还对 $\mathcal{L}_{adv}$ 进行了基于熵 $H(p)=-\mathbb{E}_p\log p$ 的权重化改进，那些具有高置信度的样本将在跨域学习中贡献更多。具体来说，给定源域样本 $x_s^k$ ，熵权重定义为如下： $q_x^k$ 是样本 $x_s^k$ 到类原型 $M_c$ 之间的相似分布， $p_s^k$ 是样本到每个类别的概率分布。相似的，目标域样本 $x_t^k$ 的权重为： $q_{w_c(t \to s)}^k$ 是样本 $x_t^k$ 到源域样本 $M_f$ 之间的相似分布， $p_t^k$ 是样本到每个类别的概率分布。
基于该权重，带有权重的 $\mathcal{L}_{adv}^w$ 重写为如下的形式：最终损失：