Cheng J, Wang Q, Tao Z, et al. Multi-View Attribute Graph Convolution Networks for Clustering[C]. IJCAI, 2020.
摘要翻译：
图神经网络(GNN)在处理图结构数据方面取得了相当大的成就。然而，现有的方法由于节点属性收集和图重构的缺点，不能为不同的节点分配可学习的权值，且缺乏鲁棒性。此外，大多数多视图GNN主要集中在多图的情况下，而用于解决多视图属性的图结构化数据而设计GNN的研究仍很少。在本文中，作者提出了一种新奇的多视图属性图卷积网络（MAGCN）模型用于聚类任务。MAGCN设计有两路编码器，可映射图形嵌入特征并学习视图一致性信息。具体来说，第一种途径是开发多视图属性图注意网络，以减少噪声/冗余信息，学习多视图图数据的图嵌入特征；第二种途径是开发一致的嵌入编码器，以捕获不同视图之间的几何关系和概率分布的一致性，从而自主的为多视图属性学习一致的聚类嵌入空间。在三个基准图数据库上进行的实验表明，与几种最新算法相比，该方法是有效的。
切入点：对于数据的入手并不局限于多视图所形成的多图数据结构，而是针对于多视图属性特征。
However, those algorithms are no longer suitable for processing intensively studied data, which often occurs in the non-Euclidean domains such as graphs in social network connections, article citations, etc.
1)They cannot allocate learnable specifying different weights to different nodes in the neighborhood; (attention)
2)They may neglect to proceed with the reconstruction of both node attributes and graph structure to improve the robustness; (关于节点信息和图结构信息的重构)
3)The similarity distance measure is not explicitly considered for the consistency relationship among different views. (不同视图之间度量的不一致性)
主要贡献点：
- 开发了基于注意力机制的多视图属性图卷积编码器，以减少多视图图数据的噪声/冗余信息（为不同的邻域节点分配不同的权重）。此外，还考虑了节点属性和图结构的重构，以提高鲁棒性（重构节点信息和结构信息提高模型鲁棒性）。
- 通过探索不同视图的几何关系和概率分布一致性，设计一致性嵌入编码器来提取多个视图之间的一致性信息。（多视图聚类特点应用）
模型浅析
数据及问题定义
一个图数据可表示为，
为包含的节点集合，E为边集合，n为节点数量。在研究中，假设图G对应的视图m的节点属性特征为
。因为在多视图特征表示中，各视图属性特征的维度不一致，使用
做区分。
Multi-view Attribute Graph Convolution Encoder（多视图属性图卷积编码器）
为方便说明，我们首先对多视图属性图卷积编码器进行输入说明。
对于多视图中的任一视图，该过程可图示化为：
view m of MAGCN
其中，a为视图m的输入（包含多视图共享图形式化为邻接矩阵，以及节点特征矩阵
）；b为通过结构学习过程得到的隐藏节点特征表示；c为通过该特征矩阵重建节点信息和结构信息。
在论文的first pathway介绍中，m视图的图嵌入模型被记录为。
这里我觉得是作者的笔误，或者是故意将common graph记为$G$，从公式理解角度而言，这里的G和A应该都代表的是图的结构信息矩阵输入，shape为n*n
对于未添加注意力机制的的学习如传统GCN一致，如下：
H_m的学习
该论文为了更好的为自身节点和邻域节点分配可学习的权重，在节点之间使用了带有共享参数的注意力机制。对于第
S矩阵计算
这里备注一下和
的element-wise multiplication，
和
的维度为
，因此对于自身节点和邻域节点的权重是全图共享的。
的shape为
，与一维权重张量
做element-wise，则要求其权重张量的列与G的列数一致，这里是默认
? 如果是这样则
的shape可以计算为:
，即
。
解码部分分为对于属性节点特征的重建和结构信息的重建，利用得到的使用inner product decoder优先计算图结构的生成，然后计算节点属性解码层的每层输出
节点解码
值得注意的是编码层和解码层对应的图结构矩阵不相同。
面向多视图数据，其重构损失对应于每个视图，包含节点属性特征重构和结构信息重构:
reconstruction loss
Consistent Embedding Encoders
针对每个视图m，采用非线性映射进行转换。
几乎包含所有原始信息，因此不适合直接用于多视图集成。然后，我们使用一致的聚类层来学习由所有
自适应集成的公共聚类嵌入特征
作为是低维特征空间上的自适应视图融合。
在这一部分，论文使用了两种一致性约束方式：
（1）几何关系一致性
geometric relationship consistency
（2）概率分布一致性（同DEC，这里不进行赘述）
probability distribution consis-tency
目标分布由
对应生成，
对应
的软分配。
Clustering
整体模型分为多视图编码和多视图一致性约束，总loss如下:
实验分析
- 实验设置（Metrics and Databases、Implementation Details、Comparison Algorithms（We choose several state-of-the-art clustering compared algorithms as follows））
- 实验分析（Evaluation Metrics with Comparison Algorithms、Analysis of Probability Distribution Consistency、Impact of Parameters、Analyzing Different View 2）
结论描述
In this paper, we propose a novel Multi-View Attribute GraphConvolution Networks for Clustering (MAGCN), a general method to multi-view graph neural network. （提出了什么） MAGCN is designed with dual encoders that reconstruct the extracted features in high dimensions and integrate the low dimension consistent information.（针对什么怎么做的） Multi-view attribute graph auto-encoder and consistent embedding encoder network successively reduce the noise and the difference among different views and finally get the ideal description space of multi-view attribute graph for clustering. （起到了什么作用） Experimental results on the multi-view graph structure databases demonstrate the validity of our method and perform superior advantages over several state-of-the-art algorithms.（实验证明了我们模型的有效性）
模型的写作很棒！对整体模型进行了包装，使得论文看起来完整可行！
网友评论