论文阅读“Multi-view Clustering via D

作者: 掉了西红柿皮_Kee | 来源:发表于2021-12-20 15:55 被阅读0次

Zhang C, Wang S, Liu J, et al. Multi-view Clustering via Deep Matrix Factorization and Partition Alignment[J]. arXiv preprint arXiv:2105.00277, 2021.

摘要翻译：

近年来，多视图聚类(MVC)在收集多源信息方面得到了广泛的研究。一种典型的MVC方法是基于矩阵分解，以有效地进行降维和聚类。但是，现有的方法可以进一步改进，并考虑到以下几点：（1）目前的仅包含一层矩阵分解的框架，不能充分利用数据表示。（2）大多数算法只关注共享信息，而忽略了特定于视图的结构（意在保留各视图中那些具有鉴别性的信息），导致了次优解决方案。（3）在现有的工作中还没有利用分区级（ partition level）信息。为了解决上述问题，我们提出了一种新的通过深度矩阵分解和分区对齐的多视图聚类算法。具体来说，通过深度矩阵分解得到每个视图的分区表示，然后与最优分区表示共同用于融合多视图信息。最后，提出了一种交替优化算法来解决已证明收敛性的优化问题。

Intro

The basic idea of early fusion is to fuse multiple feature or graph structure representations of multi-view into a single representation, after which a known single-view clustering algorithm can be applied.
可借鉴

在这部分，作者给出了自己基本的改进方向：
（1）保留那些具有辨别性的局部特征
（2）同时使用共享特征和局部特征
（3）改进多视图之间的融合机制
对应的方法命名为MVC-DMF-PA：作者首先使用Deep Semi-NMF得到基划分矩阵，同时也从不同的视图中获取了特定的视图表示信息。接着，通过最优排列来最大化一致划分矩阵与均匀加权的基划分矩阵的对齐。最后，将base partition learning和 late fusion 统一到一个框架中，希望学习一个聚类的共识划分矩阵。

模型浅析

模型图概览

动机

多视图聚类本质上是一项信息融合的任务。信息融合可以根据融合阶段分为早期融合和后期融合，或称为特征级和决策级融合。虽然我们可以在融合的任何一个阶段都得到结果，但在后期融合可以减少其他信息通道对每个单独分区的干扰。（特征中所存在的噪音尽可能减少）因此，作者考虑了如何对所得到的基分区进行后期融合。
在前面的模型图中，作者给出了一个后期进行多视图融合的小demo。可以发现，虽然 $H_m^{(1)}$ 和 $H_m^{(v)}$ 有不同的表示，但它们都显示出的类似的聚类结果。作者将 $H$ 表示为公共划分或称为共识划分矩阵。后期融合的目标是：通过最优排列最大化 一致划分矩阵 $H$ 与均匀加权W基划分矩阵 $H_m^{(v)}$ 的对齐，得到最优的一致划分矩阵 $H$ 。

模型

作者认为，不同视图的多层semi-NMF后的聚类结果应该是相同的。因此该工作是以深度semi-NMF为基础的后期多视图融合。不同于其他工作在进行特征学习的时候就进行融合，作者使用的是在决策是融合或者后期融合以减少随机噪声的影响。该工作的目标函数如下：

该优化目标包含两个部分，第一部分为多视图中

V

个视图的重建损失，也对应于模型图中关于多视图深度semi-NMF的部分。

α

表示所有视图的重建损失的百分比。这里我觉得可以理解为在视图重建的过程中，每个视图的权重是不一样的。在semi-NMF的最后一层维数为

k

，这也意味着

H^{(v)}_m

表示第

v

个视图的划分矩阵。而关于中间层的设定，作者指出“为了适应每个数据集，不同层的维度调整为类簇数的倍数。”这种重构项损失可以帮助我们更好地探索更丰富的起源数据隐藏信息。作者认为：不同的视图有不同的起源，所以每个视图的最终划分矩阵将会有一些不同，并且表示为

H^{(v)}_m

。
第二项则代表了后期融合的损失。

H^{(v)}_m

表示第

v

个视图的划分矩阵，

H

表示共识聚类划分矩阵。

W^{(v)}

表示第

v

个视图的列对齐矩阵，该矩阵可以进行列交换，解决不同视图的聚类索引矩阵具有相同含义但表示不同的情况。

β^{(v)}

是融合的第

v

个分区矩阵的加权系数。因此，后期融合的目标函数是最大限度地实现一致划分矩阵

H

和融合划分矩阵

\sum_{v=1}^V=β^{(v)}{H^{(v)}_m}^TW^{(v)}

的对齐。

初始化

对原始矩阵进行逐层的初始化操作。
首先，对视图 $v$ 的原始矩阵进行分解： $X^{(v)}=Z_1^{(v)}H_1^{(v)}$ ，因此可以得到新的表示矩阵 $H_1^{(v)}$ 。
然后对 $H_1^{(v)}$ 进行分解： $H_1^{(v)}=Z_2^{(v)}H_2^{(v)}$ ，得到 $H_2^{(v)}$ 。
一直对新得到的表示矩阵进行分解直到得到每个视图所对应的 $H_m^{(v)}$ 。
使用 $W^{(v)} = I_k$ 来初始化各视图的对齐矩阵，并且需要满足条件 $W^{(v)} {W^{(v)}}^T= I_k$ 。
在初始化时，所有视图造成的损失是相同的，所以设置 $α^{(v)}=1/V$ 和 $β^{(v)}=1/\sqrt{V}$ 。