A Simple Recipe for Competitive Low-compute Self supervised Vision Models
https://arxiv.org/abs/2301.09451
视觉中的自监督方法主要集中在大型架构上，因为对于小型架构，它们似乎会遭受显著的性能下降。在本文中，我们提出了一种简单的自监督蒸馏技术，可以训练高性能低计算神经网络。我们的主要见解是，现有的基于联合嵌入的SSL方法可以重新用于从大型自监督教师到小型学生模型的知识蒸馏。因此，我们称我们的方法为替换一个分支（RoB），因为它简单地用一个大型教师模型替换了联合嵌入训练的一个分支。RoB广泛适用于许多架构，如小型ResNets、MobileNets和ViT，以及预训练模型，如DINO、SwAV或iBOT。在ImageNet数据集上进行预训练时，RoB生成的模型与监督的知识蒸馏相竞争。当应用于MSN时，RoB培养出具有强大的半监督能力的学生。最后，我们最好的ViT Tiny模型在ImageNet上比先前的SSL技术进步了2.3%，并且在五个下游传输任务（iNaturalist、CIFAR、Clever/Count、Clever/Dist和Places）上与受监督的蒸馏DeiT不相上下或更好。我们希望RoB能够实现较小规模的实际自监督
网友评论