论文阅读“Efcient multi‑view clusteri

Ke G, Hong Z, Yu W, et al. Efficient multi-view clustering networks[J]. Applied Intelligence, 2022, 52(13): 14918-14934.

导读

在过去的十年中，深度学习在多视图聚类（MvC）方面取得了显著的进展，现有的文献采用了一个广泛的目标来指导网络学习过程，如最小化重构损失。在本文中，作者提出了一个新的框架，称为高效的多视图聚类网络（EMC-Nets），以保证网络的学习能力，并从多个视图表示产生一个有区别的共同表示。具体地说，我们使用了一个交替训练的过程，包括一个近似过程和一个指导过程，它有效地刺激了多视图特征融合的过程，以迫使网络学习一个有区别的共同表示。近似过程采用标准的聚类算法，即k-means，生成与当前公共表示对应的伪标签，然后利用伪标签迫使网络逼近合理的聚类分布。指导过程中的目的是为近似过程提供一个正确的学习方向，防止网络获得平凡的解，从而避免错误预测的伪标签对特征的学习产生负面影响。代码地址： https://github.com/Guanzhou-Ke/EMC-Nets

模型浅析

相比于传统的多视图聚类框架，各视图编码-融合-各视图解码都是常见操作，除此之外，为了适用于下游的聚类任务，一般的Clustering module一般来说是一个深度可调的KL Clustering Layer（如DEC中的聚类层）。在本模型中，在产生了聚类分配后，直接用硬标签作为伪标签构造分类器对特征学习进行监督。但是在本模型中，重构损失和聚类的产生是不能联合训练的。因此，作者使用了交替训练的方式进行聚类结果和表示的优化。

• Attention Fusion Layer

  
  

  这里没什么好说的，就是简单的将拼接之后的东西用自注意力机制进行了计算。直接可以对标到单视图的数据。

• Clustering Module
  使用融合层的输出进行聚类标签和类簇中心表示的学习：

  并将其作为伪标签，重新对包含一层非线性MLP的分类器进行监督。

• Supervisor module
  

  该模块的设计是为了防止聚类模块得到平凡解，从而从保留原始信息的层面出发，对聚类模块进行指导。

• Training Procedure
  该模型的优化并不是简单的联合优化，而是设计了两个过程的交替训练。
  

  该交替训练过程分为两个子过程：近似过程（由聚类模块主导）和指导过程（由主管模块主导）。详细的训练过程如下：

数据集记录

文本和思路都挺好。。