一、See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification
该论文还未发表。论文采用一种数据增强方式提高细粒度分类的效果。
具体数据增强原理：
生成类似saliency map的attention map，然后利用attention map对原始图像作pixel增强或减弱。一张原始图像对应两张数据增强后的图像。
相关pytorch代码位于WS-DAN.PyTorch。代码作者称在FGVC 6 dataset上的表现优于DFL和RA。
二、Semantically tied paired cycle consistency for zero-shot sketch-based image retrieval
结构图
该论文发表于CVPR2019.
论文提出了利用zero-shot learning方法进行基于轮廓的图像检索。
zero-shot learning 方法使用了网络上的side information（关于图片的文本等信息），但是论文并没有详细说明这一方法的具体操作。
训练时将image、sketch都映射到S（side information）空间。利用GAN进行训练。然后又从S空间映射回图像和sketch。
测试时image、sketch都映射到S（side information）空间。然后在S空间进行image retrieval。
该论文的代码位于github。
三、Zero-Shot Learning with Attribute Selection
该论文发表于AAAI 2018.
该论文核心思想是attribute的质量对于ZSL任务有重要影响。因此应该筛除不合理的attribute。
对attribute的评价指标有二：
1. Information amount: which indicates whether the attribute can help to distinguish the classes.
计算方法：
-
对于binary attribute使用熵。
For a binary attribute, we use p to denote the ratio of classes having this attribute and 1 − p to denote the ratio of other classes. Then we can use entropy −p*log(p).
熵很小意味着几乎所有的类别都有这项attribute，所以该attribute对于分类的有效性不高。 -
对于continuous attribute，使用variance
2. The predictability of attributes: whether the attribute is predictable for the input image.
- 有一些attribute比如'inactive', 'smelly' 很难从图中分辨出来，所以predict precision很低。
本文采用两种选择attribute的方法：
- 直接删除熵很小而且预测准确率很小的attribute。
- 将ZSL任务和熵、预测准确率进行联合训练。
四、I read, I saw, I tell: Texts Assisted Fine-Grained Visual Classification
该论文发表于ACM MM 2018
结构图
改论文实用的方法和我们的multi-task network差不多，利用输入图像生成attribute。然后将attribute 进行embedding之后分类。
网友评论