论文阅读“Semi-supervised learning wi

作者: 掉了西红柿皮_Kee | 来源:发表于2022-11-03 21:31 被阅读0次

Wang J, Liang J, Cui J, et al. Semi-supervised learning with mixed-order graph convolutional networks[J]. Information Sciences, 2021, 573: 171-181.

摘要导读

近年来，图卷积网络（GCN）在半监督学习（SSL）方面取得了重大进展。然而，现有基于GCN的方法有两个主要的局限性。首先，基于GCN的方法受到过平滑（oversmoothing）问题的影响，限制了模型从较远但信息丰富的节点中提取信息的能力。其次，大多数基于GCN的方法只利用未标记节点的特征信息，而包含关于数据分布的重要信息的未标记节点对应的伪标签则没有得到充分利用。为解决这些问题，提出了一种新的端到端集成框架，即混合阶图卷积网络（MOGCN）。MOGCN由两个模块组成：1）它利用多阶邻接矩阵构建了多个简单的GCN学习器，用于直接捕获节点之间的高阶连通性，从而缓解过平滑的问题；2）为了有效地结合来自多个GCN学习器的结果，MOGCN采用了一个新的集成模块---使用来自不同GCN学习到的未标记节点的伪标签来增加学习者之间的多样性。多个数据集上的半监督节点分类任务的性能优于现有的最先进的方法。

数据说明

无向图数据 $\mathcal{G}=(V, E, {\bf X})$ , 其中 $V$ 包含 $N$ 节点， $E$ 是边的集合，可以由此得到该数据集对应的邻接矩阵 $A = \{a_{i,j}\} \in \mathbb{R}^{N \times N}$ ， ${\bf X} \in \mathbb{R}^{N \times F}$ 是节点属性特征矩阵。
另外对于SSL任务而言，数据集包含 $L$ 个有标签的信息数据 $X_L=\{({\bf x}_i, y_i)\}_{i=1}^L$ ，以及 $U$ 个未标记数据 $X_U=\{{\bf x}_j\}_{j=L+1}^{L+U}$ ， $N=L+U$ 。并且为了讨论方便构造了标签矩阵 ${\bf Z}=\{z_{i,c}\} \in \{0, 1\}^{N \times C}$ ：

而由模型预测的标签矩阵被记为

\tilde{\bf Z}

。

模型浅析

基于GCN的学习模块（GCN-based learners module）： MOGCN构造具有多阶邻接矩阵的多个简单图神经网络（两层GCN）学习器。通过该策略，可以直接从多个GCN学习器中获得基于各种邻居关系的节点表示。
集成模块（Ensemble module）：集成模块是一个融合组件，将GCN学习器的结果聚合，获得最终的标签，并且使基础GCN学习器在标记节点上的准确性及其在未标记节点上的多样性最大化。

基于GCN的学习模块：该部分主要包含两个步骤。
（1）首先需要构建多阶邻接矩阵，根据数据集给定的边集合，可以构造first-order邻接矩阵 $A^{(1)}$ 。将 $A^{(1)}$ 中的第 $j$ 行记录为 ${\bf a}_j$ ，second-order邻接矩阵中的元素 $a_{i, j}^{(2)}$ 定义为如下：以此类推可以构造出 $m$ th-order邻接矩阵 $A^{(m)}$ ：通过将原邻接矩阵推广到一个邻接矩阵序列，得到了一类多阶邻接矩阵 $\{A^{(1)}, \cdots, A^{(m)}\}$ ，利用这些邻接矩阵来直接表示节点之间的各种关系。
（2）基于构造的多阶邻接矩阵，为每个邻接矩阵构建一个简单的二层的GCN学习器：其中 ${\bf W_0^{(k)}}$ 和 ${\bf W_1^{(k)}}$ 是可训练的权重矩阵。
$f_k$ 的输出为每个样本对应的分类预测
集成模块，主要是对GCN学习模块的集成，同时保证其多样性。
分类结果的集成使用了对各模型进行平均的策略：而整个模型的反向调节则依赖一个全局的损失函数：损失函数中的第一项是针对有标签样本做的分类的cross-entropy 而第二项是通过无标签节点的分类信息来保证GCN模型的多样性，即使用 Negative correlation learning（NCL）来辅助集成。它使每个GCN学习器在无标签节点的均方误差最小化：
通过上述集成模块，将所有 $m$ 个GCN学习器的输出相结合，通过反向传播共同训练所有的GCN和集成网络。整体来看，MOGCN通过端到端方式聚合从多个分支学习到的每个节点的信息。最终的节点类别预测为：