TJ-AIDL论文翻译&总结

论文：《Transferable Joint Attribute-Identity Deep Learning for Unsupervised Person Re-Identification》

【论文链接】：https://arxiv.org/abs/1803.09786

摘要：

现在的绝大多数reid算法都是需要每个摄像头下的成对的标注好的图像来进行监督训练，这很大限度地限制了reid在现实中针对多摄像头时的可拓展性和可用性。为了解决这个问题，我们提出了一个非监督的算法，把现存的数据集迁移到一个无标注的非监督的目标域。特别地，作者提出了TJ-AIDL，同时学习可迁移的属性-语义和id-识别特征表示空间，当迁移到新的目标域的时候，不需要从目标域中收集新的未标注的训练集。在market1501、duke、VIPeR和PRID等多个数据集上与多个state-of-art非监督reid算法的对比实验表明，TJ-AIDL模型是reid非监督算法中处于优先地位的算法。

1.介绍：

现在的red技术旨在把不同摄像头之间，不同位置的人匹配配对。绝大多数都是监督算法，如优化成对图像的距离度量或者深度学习方法。监督算法需要大量的高成本标注样本，而且每个摄像头对下不一定有足够数量的训练样本，这些原因都大大限制了监督reid方法的发挥。

我们需要非监督reid方法。当前有许多非监督的reid方法被提出，但是都无法与监督的算法抗衡，这时的它们无法实际应用。原因在与非监督方法无法在缺少必要信息的情况下得知不同摄像头下一个人的身份特征的变换情况。我们可以同时挖掘目标域中的无标注数据从同一个训练源的域中已存在的有标注的数据集。为了学到特征的表示，我们需要从有标注的数据集中学习，并迁移到一个只用无标注数据的目标域中。由于目标数据集没有标注，所以我们可以把它看成非监督学习问题。

现在已经有不少关于挖掘无标注目标数据的非监督reid模型了，他们里面有用到属性标签的，有用到id标签的，也有两者都用的。但是，由于域之间的手工标注特征的敏感性或者缺少有效的，属性和id识别特征之间的知识转移学习算法，这些算法的reid准确率都很低。

解决跨域和多任务（id和属性分类）迁移学习问题是很具有挑战性的问题，因为：

1.源和目标域有着不同的摄像头视角

2.源和目标域之间的行人数量（类）是不重叠的，所以识别起来更难

3.同时学习id和属性信息会遇到异方差学习问题

在本文中，我们把源域的知识分享给非监督reid，用id与属性结合的形式来做迁移学习。我们的工作有三个贡献：

1.规划了一个新颖的想法：异方差多任务结合的属性与id识别的深度学习非监督reid

2.提出了TJ-AIDL，通过IIA（identity Inferred Attribute）极大程度地结合了从源域学习到的属性和id信息。

3.提出了一个属性一致方案来实现TJ-AIDL模型在无标注目标数据上的非监督适应，这可以加强在目标域上的reid的区分能力。

2.相关工作：

行人重识别

绝大多数行人重识别算法是监督学习的算法，没有可拓展性，不符合现实要求，因为同一个人在每个摄像头下都有很多照片样本的条件很难满足。为了满足可拓展性，基于手工特征的非监督学习算法可以考虑发展。但是这些方法的分类准确率比监督算法低得多，所以没有现实意义。半监督学习可以在高准确率和可拓展性这两个因素上做到平衡，但是还是需要很大量的成对的标注图片，而且拓展性也不强。

最近，跨域迁移学习的非监督reid方法从源域挖掘有标注数据，并提取可迁移的id识别信息到无标注目标数据集中。然而，这些方法也有受限之处：

1.依赖手工特征，没有深度学习自动学习训练数据中更强的表示特征的能力

2.用了预训练模型，缺少有效的域适应机制

3.在学习过程中独立地使用id和属性的监督作用，忽略了他们的相互作用和兼容性

数据合成也是解决数据限制的一个方法，尽管会遭受非目标行人在场景中出现带来的干扰和源的选择这两方面的困扰。TJ-AIDL方法用同一的深度协同学习模型解决了这些现存的方法的限制。我们的方法超越了普通的多任务协同学习，该方法的设计在于引入了一个更易迁移的id区分+属性学习机制，该机制在一个端到端的过程中对id区分和属性学习进行了优化。实验表明，即使只使用源域中的少量监督信息，我们的方法也胜过了现存的所有算法。

行人重识别中的属性

在多视角reid任务重，视觉语义属性可以作为中间特征使用。然而，这种语义协同表示的表示能力远比不上卷积特征向量的id识别能力。因为：

1.属性协同表示通常是低维的

2.当标注好的训练数据是稀疏的，行人图像的质量很低下的时候，独立地持续预测所有的属性是个很困难的任务

所以我们提出TJ-AIDL，引入协同学习标注好的数据的属性和id信息的id识别+属性信息提取机制。此外，我们独特地应用了属性空间，来做非监督域适应。

3.联合属性-id空间

1.属性检测是多标签识别问题

2.两种标签监督，属性是局部的，id是全局的

         我们提出了TJ-AIDL，建立了id识别和属性敏感特征表示空间，专门为标注好的，没有任何id和属性标签的目标域reid。我们避免了简单结合reid和属性特征向量来获取他们的互补又是，这会遇到异方差性问题，并最终导致次佳的结果。与上面不同的，我们把他们安排到两个分开的分支里，同时学习独立的识别特征，服从对应的监督标签。为了平滑地转移全局id信息为局部属性特征表示空间，我们引入了（Identity Inferred Attribute）IIA规格化空间，形成一个先进的知识融合机制。IIA空间使得学习后的模型适应到目标域成为可能。就是这样，TJ-AIDL在一个共享表示空间上解决了在id识别和属性识别上联合学习的挑战。

3.1TransferableJoint Deep Learning

模型回顾

先我们构建了一个多分支网络，在不同类的监督下学习，执行多分类任务。多分支结构的合理性在于维持两个独立的监督学习任务时避免他们潜在的矛盾。网络流程概况如图1所示。

TJ-AIDL由两个分支组成：

1.id分支：旨在从源域中可得的id类别标签提取reid信息；

2.属性分支：旨在从源域中的属性标签提取语义知识。

为了建立一个知识融合通道，我们引入了IIA空间，它可以用一种平滑的方式把id识别信息从id分支转移到属性分支。也就是说，当TJ-AIDL训练好之后，从属性分支提取到的特征可以直接用来做reid。

TJ-AIDL的实施流程为：

1.可迁移的属性识别联合学习：受源域中有标签的训练数据的监督；

2.无监督的目标域适应：在目标域上实施

3.1.1Attribute-Identity

Transferable Joint Learning

Identity and Attribute Branches

我们选择mobileNet作为两个分支的CNN结构。当训练id分支的时候，选择coross

entropy loss作为loss

鉴于属性分支是个多标签分类学习任务，我们选择sigmoid cross entropy loss,把m个属性都考虑在内。

通过独立地训练两个分支，我们只允许优化他们对应的特征，不能发掘他们最大化兼容性的互补效应。一个通常的方法是建立一个多任务联合学习网络，它直接在训练时让共享的特征表示服从于id loss和属性loss。不同的是，我们提出了更有效的多源知识融合策略。

IdentityInferred Attribute Space

         IIA空间可以实现知识融合学习。IIA空间是两个分支的信息迁移和融合时联合学习到的。该过程允许训练过程中持续的和累积的知识融合。

         IIA空间使用编码-解码框架构建起来的，之所以这么做是因为：

         1．借助简明的特征向量表示，它可以强有力地从给定任务中获取最重要的信息

         2.如此简明的特征表示促进了内任务的信息迁移，同时还保存了充足的更新自由空间给每个学习任务。

这就是IIA编码解码器

3.1.2UnsupervisedTarget Domain Adaptation

要让一个学习好的TJ-AIDL模型能够适应无标注目标域，我们把属性分支的预测和IIA部分看作不同域的不同的属性面。一个调试好的TJ-AIDL模型应该要在两个不同属性上存在较小的矛盾。

我们的目标是适应属性分支，因为它是用来做reid的。适应算法如下：

1.在目标域上部署在源域中学习后的TJ-AIDL模型，并获取无标注行人的属性

2.用软标签当作伪ground-truth，更新属性分支IIA构件，减少域之间属性差异

3.适应模型到目标训练集上，直至收敛

3.2ModelOptimisation and Deployment

优化：SGD

部署：给定一个在有标注的源域上训练好的TJ-AIDL模型，在目标域上做适应，我们会从属性分支得到1024-D的特征表示。这些特征向量不仅是又属性语义的，而且是有id识别能力的。所以我们用L2距离在目标域上部署。

算法描述：

4. Experiments

数据集和评估标准

数据集：

1)market-1501

2)DukeMTMC-ReID

3)VIPeR

4)PRID

评估标准：CMC和mAP

属性标注

用market和duke为源域，因为他们提供了充足的属性标注

实现细节

框架：Tensorflow

IIA编码器：3个FC层网络，输出维度为512/128/m（m为属性的个数）

Lambda1和lambda2都取10

在两个分支上的MobileNet都是在ImageNet上预训练的模型

优化：adam

学习率：0.002

动量：B1=0.5，B2=0.999

Mini-batch:8

迭代次数：100000源域id标签，再在在源域和目标域的整个迁移联合学习上迭代20000次

4.1 Comparisonsto the StateOfTheArts

与19种，三类非监督的reid算法对比，不管怎么看怎么比，TJ-AIDL都是最棒的！而且我们用到的标注数据还比别人少！见表一：

4.2. Comparisonsto Alternative Fusion Methods

与两种多源融合方法对比：

1.独立监督：独立训练id和属性学习，然后讲特征向量整合，应用于目标域

2.联合监督：让id和属性监督服从共享的特征表示，端到端的训练

在目标域部署reid的时候，我们应用了多监督共享特征表示。

TJ-AIDL超越了上述两种多源融合方法。

从表二可以得出结论：

1.我们的方法在挖掘和融合多监督信息上有很大的优势，可以应用于跨域非监督reid上

2.当源域是market1501而目标域是duke时，我们的方法能获得更好的表现，反则不然；原因是market中的源信息对于duke来说是充足的，所以可以适应，反之，duke中的源信息容易受图像分辨率、背景斑驳、复杂等因素的影响。

4.3. FurtherAnalysis and Discussions

Effect of Joint Attribute and IdentityFeatures

同样是用mobileCNN，联合训练和独立训练之间作比较，见表三：

从表三可以看出，用联合学习的方法获得的reid准确率比用独立训练的方法要高得多~

而且我们绘制了随机挑选的测试集中的10个人的三种特征的分布，见图四：

从图四汇总可以看出：

1.不管是单单迁移id还是属性知识，都可以形成id聚类

2.用我们的方法做的知识迁移，可以让聚类之间更分开

Effect of Target Domain Adaptation

域适应可以提升reid表现，见表四：

从market—>duke的提升比从duke—>market的提升要大一些，该结论与表二的结论一致。

5.Conclusion

我们提出了TJ-AIDL，id+属性在源域上的联合学习，可以在复杂的目标域上进行域适应，并进行非监督reid。绝大多数的非监督reid算法，要不就是忽略了可拓展性，要不就是以太直接所以没有达到最好的形式，去做联合学习。我们提出的方法可以在复杂的多监督迁移学习上最大化id与属性之间的互补作用，达到无监督reid的最优结果，并且易于拓展。TJ-AIDL之所以那么好，得益于IIA空间在两个分支上的CNN对id和属性的学习。而且我们还提出属性一致性最大化机制，可以讲学习好的TJ-AIDL模型适应到给定的目标域上，不需要额外的标注，所以很适合在现实世界中应用。

欢迎关注“pyhon修炼之道”，我们将持续更新新鲜python相关文章~