Latent Multi-view Subspace Clust

作者: zelda2333 | 来源:发表于2021-10-26 10:12 被阅读0次

参考链接：
煎锅的薯片多视角-4
洛斯里克甜面包
原文地址：CVPR_2017

Abstract

论文提出了一种新的潜在多视点聚类方法，该方法对具有潜在表示的数据点进行聚类，同时从多个视点中挖掘潜在的互补信息。与现有的利用原始特征重构数据点的单视图子空间聚类方法不同，我们的方法寻找潜在的潜在表示，并在学习到的潜在表示的基础上进行数据重构。
由于多视图的互补性，潜在表示可以比单个视图更全面地描述数据本身，从而提高子空间表示的准确性和鲁棒性。该方法具有直观、高效的特点，并采用了改进的拉格朗日乘子交替方向最小化(ALM-ADM)算法。

1 Introduction

一般而言，子空间聚类方法认为数据点是从对应于不同簇的多个子空间中提取的。最近提出了一种基于自表示的子空间聚类方法，该方法可以用数据点本身的线性组合来表示每一个数据点，一般公式表示如下：
$\min \limits_Z L(X,XZ)+αΩ(Z) \tag{1}$

$α > 0$ 平衡了重构的误差和子空间表示 $Z$ 的正则化
$L ( . )$ 和 $Ω ( . )$ 各自表示损失函数和正则化项，通常是根据不同的假设来定义的，比如稀疏子空间聚类(Sparse Subspace Clustering, SSC)、低秩表示聚类(Low-Rank Representation clustering, LRR)、平滑表示聚类(Smooth Representation clustering, SMR)。

基于自我表示矩阵 $Z$ ，通常用 $S=abs(Z)+abs(Z^T )$ 来构建相似矩阵，最后，基于相似矩阵 $S$ ，通常使用谱聚类算法来得到最后聚类结果。

以往的子空间聚类方法仍然存在不足的地方，他们的performance通常受到原始特征之类的影响，特别是在观测量不足或严重损坏的情况下。因此多视角聚类被提出来了，其中每个数据点都用来自多个来源的特征信息来描述。这些多视图表示包含来自多个线索的丰富信息，有利于任务聚类。在适当的多视图约束条件下，这些子空间聚类方法显示出了它们的优越性。它们通常直接重构原始视图上的数据点，并生成每个视图的子空间表示。然而，单个视图通常不足以描述数据点，这使得仅使用一个视图进行重构本身存在风险。此外，数据采集可能存在噪声，进一步增加了聚类的难度。

为了解决这些问题，论文中介绍了一种潜在的表示方法，用于显示数据点之间的关系并处理可能的噪声。
假设多重视角来源于一个共同的潜在表示，它可以从本质上描述数据，并且揭示一般的不同视角共享的潜在结构。基于此，论文提出了Latent Multi−view Subspace Clustering (LMSC)。提出的方法基于多视角特征学习潜在表示，并且生成了一般的子空间表示。更多的，该方法将潜表示学习和多视角子空间聚类集成在一个统一的框架内，并利用增广拉格朗日乘子和交替方向最小化策略来进行了优化。

论文使用综合的多视图潜在表示进行数据重构，而不是原始的每个单一视图。

1.1Related Work

此前，多数的多视图聚类方法都基于图模型，有一些方法基于矩阵因子分解或基于数据集在原始视图上的自我表示，有一些方法对一致性进行了优化。除此之外，有一些方法基于K-means来解决大规模多视图聚类。另外，多核学习、潜在空间的稀疏子空间聚类(Latent Space Sparse Subspace Clustering, LS3C)和潜在低秩表示(Latent Low-Rank Representation, LatLRR)等方法也被提出。

与LS3C对原始单视图数据进行降维不同，论文方法恢复了潜在的多视图表示，并在这种潜在表示下同时学习了不同视图对应的投影。

2 Proposed Approach

论文考虑潜在表示（latent representation）子空间聚类。给出 N 个多视角的观测量 $\left\{\left[\mathrm{x}_{i}^{(1)} ; \ldots ; athrm{x}_{i}^{(V)}\right]\right\}_{i=1}^{N}$ ，它包括了 $V$ 个不同视角，目标是推出每个数据点共享的latent representation h。
论文方法假设这些不同视角都是源于一个潜在的表示。如上图所示，不同视角的观测结果可以使用各自的模型 $\left\{{P}^{(1)}, \ldots, P^{(V)}\right\}$ 和共享潜在表示 $H=\left\{h_{i}\right\}_{i=1}^{N}$ 来重构。相应的，作者有 $x_{i}^{(v)}=P^{(v)} h_{i}$ ,考虑噪音，可以得到：

$x_i^{(v)} =P^{(v)}h_i+e_i^{(v)} \tag{2}$

其中 $e_i^{(v)}$ 表示对应于 $v^{th}$ 视角的重构误差要推出的多视角潜表示的目标函数：

$\quad\quad\quad\quad\quad\quad\min_{P,H} L_h (X,PH) \\ with \quad X=\left[ \begin{matrix} X^{(1)}\\ \dots\\ X^{(V)}\\ \end{matrix} \right] \quad and \quad P=\left[ \begin{matrix} P^{(1)}\\ \dots\\ P^{(V)}\\ \end{matrix} \right] \tag{3}$

其中 $X$ 和 $P$ 分别四多视角的观测值和与之对齐的重构模型
$L_h( . )$ 表示与潜在(隐藏)表示所关联的损失函数

一般来说，在多视角的互补性作用下，隐性表征比单独对应于单个视角的表征更具有综合性

基于潜在(隐藏)表示 $H$ ,基于自表示的子空间聚类的目标函数式(1)重新表示为
$\min \limits_Z L(H,HZ)+αΩ(Z) \tag{4}$

其中 $L_r( ·)$ 为数据重构相关的损失函数， $Z$ 为重构系数矩阵

将Eq.(3)中的潜在表示学习和Eq.(4)中的子空间聚类整合为一个统一的目标函数，如下所示
$\min \limits_{P,H,Z} L_h(X,PH)+λ_1L_r(H,HZ)+λ_2 Ω(Z) \tag{5}$

$λ_1$ 和 $λ_2$ 平衡此三项

合理的潜在表示和子空间重构的约束保证了子空间聚类。而多视图的互补性保证了隐表示，并通过子空间重构改进了隐表示。考虑到离群点的鲁棒性，最终的目标函数如下

$\left\| \cdot \right \|_*$ 矩阵核范数，保证子空间的表示是低秩的.
$\left\| \cdot \right \| _{2,1}$ 即 $\ell_{2,1} \text { -norm }$ ,尽可能使（encourage）矩阵的列为零，其定义为
$\|\mathbf{A}\|_{2,1}=\sum_{j=1}^{D} \sqrt{\sum_{i=1}^{C} \mathrm{~A}_{i j}^{2}} \text { with } \mathbf{A} \in \mathbb{R}^{C \times D}$

潜在假设数据的坏块是具体样本的

约束 $P$ ，因为在没有约束的情况下， $H$ 只能通过重新矫正 $H / s$ 和 $Ps (s > 0)$ 来任意地趋近于零，同时保持相同的损失。

第一项被用来保证学习的潜表示 $H$ 和重建模型 $P^{(V)}$ 与不同的视角相关联，有利于重构观测值
第二项惩罚潜(隐藏)多视角子空间重构的误差
最后一项通过使子空间的表示低秩，来避免平凡解

鲁棒性受益于两方面
一方面，因为多视角间互补的信息，相比于单视角，潜在子空间的表示可以更综合地描述数据
第二方面， 2，1 第一和第二项的核范数是matrix block norm（矩阵块规范？），这比Frobenius准则（范数）对异常值更稳健

更进一步，垂直连结了潜在表示和子空间表示相对应的误差列。在积分的方式上，它将使Eh和Er的列具有共同一致的量值，于是，目标函数有以下形式：

参数 $\lambda>0$ 平衡了误差和正则化项

3 Optimization

目标函数在从多视角学习潜空间的同时，找到了有意义的有关潜空间的相似矩阵。
尽管目标函数对于所有变量 $P,H,Z,E_h,E_r$ 并不是凸的,它们中的每一个都可以通过固定其他的来有效地解决。
增广拉格朗日乘子(ALM) 和交替方向最小化（ADM) 是解决问题的有效高效方法。
采用ADM策略来解决优化问题，要是目标函数是可分离的。因此，引入一个辅助变量 $J$ 去替换目标函数中的核心项 $Z$ 。有以下等价问题