相关工作

•投影

•SOC 将视觉属性投影到语义空间，通过knn进行搜索语义嵌入向量

•ALE利用排序损失学习图像与属性空间之间的双线性相容函数。

•SAE 提出了一种语义自动编码器，通过增强映射到待重构语义空间的图像特征来正则化模型。

•CMT使用一个具有两个隐藏层的神经网络来学习从图像特征空间到word2vec空间的非线性投影。

•投影

•SOC 将视觉属性投影到语义空间，通过knn进行搜索语义嵌入向量

•ALE利用排序损失学习图像与属性空间之间的双线性相容函数。

•SAE 提出了一种语义自动编码器，通过增强映射到待重构语义空间的图像特征来正则化模型。

•CMT使用一个具有两个隐藏层的神经网络来学习从图像特征空间到word2vec空间的非线性投影。

•通过CVAE生成的unseen类的分布。

•真实的unseen类别的分布。

•可以看出生成的分布和真实分布之间的差距，为了生成样本可以有效用于训练，需要使上图样本的分布向下图的分布靠近。

创新点

•真实的unseen类别的分布。

•可以看出生成的分布和真实分布之间的差距，为了生成样本可以有效用于训练，需要使上图样本的分布向下图的分布靠近。

•1.  encoder计算z, decoder 解码z & a 得到[if !msEquation]x ̂[endif]

•2. Regressor ma[if !msEquation]ps x ̂  to its predicteda ̂[endif]

•3.decoder的作用是生成和unseen样本近似的分布

OCD over-Complete Distribution

对一个类构造OCD 包括生成所有可能的hard

samples，这些样本和其他类的分布更加接近

对于未知类，可以通过采样生成的方法得到其分布

由一类的变分得到的近似分布的参数用µ，σ表示，OCD分布通过µOC, σOC表示。

X ̂  表示[endif]生成unseen的近似分布

X ̂_OC表示构造OCD分布

CVAE 构造unseen样本三元组损失和中心损失重构a

使同类间距离减小，异类间距离增大

重构

正则化保证采样的结果属

unseen类内

Centre loss

•目的：将样本和它的属性对应

•为了学习不同样本到一个类的属性映射，应该最小化一个类在属性空间中分布的标准偏差。因此，centre loss和regression

loss被用来最小化与中心的偏差。

是类别c的中心， 代表c类中的样本

Triplet loss

•指向同一人脸的encoding

vector 的距离很近

•指向不同人脸的encoding

vector 的距离很远