一上来依旧是放Datawhale提供的课程链接：https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN（打call打call，微信公众号是：Datawhale）

在导论部分我们就了解到，图提供了一种通用的数据表示方法，众多其他类型的数据也可以转换为图的形式。大量现实世界中的问题可以作为图上的一组小的计算任务来解决。推断节点属性、检测异常节点（如垃圾邮件发送者）、识别与疾病相关的基因、向病人推荐药物等，都可以概括为节点分类问题。推荐、药物负作用预测、药物与目标的相互作用识别和知识图谱的完成（knowledge graph completion）等，本质上是边预测问题。

在图节点预测或边预测任务中，首先需要生成节点表征（Node Representation）。我们使用图神经网络来生成节点表征，并通过基于监督学习的对图神经网络的训练，使得图神经网络学会产生高质量的节点表征。高质量的节点表征能够用于衡量节点的相似性，同时高质量的节点表征也是准确分类节点的前提。

本文中，我们将学习实现多层图神经网络的方法，并以节点分类任务为例，学习训练图神经网络的一般过程。

我们将以Cora数据集为例子进行说明，Cora由2708篇论文及它们之间的引用关系构成的边组成。这些论文根据主题被划分为7类，分别是神经网络、强化学习、规则学习、概率方法、遗传算法、理论研究、案例相关。每篇论文的特征是通过词袋模型得到的，维度为1433，每一维表示一个词，1表示该词在这篇文章中出现过，0表示未出现。

x：节点特征，维度为2708 * 1433

y：节点对应的标签，包括7个类别

adjacency：邻接矩阵，维度为2708 * 2708

train_mask、val_mask、test_mask：与节点数相同的掩码，用于划分训练集、验证集、测试集。

我们的任务是预测各篇论文的类别（共7类）。并将对MLP和GCN、GAT（两个知名度很高的图神经网络）三类神经网络在节点分类任务中的表现进行比较分析，以此来展现图神经网络的强大和论证图神经网络强于普通深度神经网络的原因。

本文内容如下：

1.首先，做准备工作，获取并分析数据集、构建一个方法用于分析节点表征的分布。

2.然后，考察MLP神经网络用于节点分类的表现，并观察基于MLP神经网络学习到的节点表征的分布。

3.接着，我们逐一介绍GCN，GAT这两个图神经网络的理论、对比它们在节点分类任务中的表现以及它们学习到的节点表征的质量。

4.最后，我们比较了三者在节点表征学习能力上的差异。

一、准备工作

1.获取并分析数据集

图1.数据集情况

我们可以看到，Cora图拥有2708个节点和10556条边，平均节点度为3.9，训练集仅使用了140个节点，占整体的5%。我们还可以看到，这个图是无向图，不存在孤立的节点。

数据转换（transform）在将数据输入到神经网络之前修改数据，这一功能可用于实现数据规范化或数据增强。在此例子中，我们使用NormalizeFeatures进行节点特征归一化，使各节点特征总和为1。其他的数据转换方法请参阅torch-geometric-transforms。

2.可视化节点表征分布的方法

图2.定义可视化代码

一个可视化高纬数据的工具：t-distributed Stochastic Neighbor Embedding

二、使用MLP神经网络进行节点分类

理论上，我们应该能够仅根据文章的内容，即它的词包特征表征（bag-of-words feature representation）来推断文章的类别，而无需考虑文章之间的任何关系信息。接下来，让我们通过构建一个简单的MLP神经网络来验证这一点。此神经网络只对输入节点的表征做变换，它在所有节点之间共享权重。

1.MLP神经网络的构造

图3.构造MLP神经网络

MLP神经网络由两个线性层、一个ReLU非线性层和一个dropout操作组成。第一个线性层将1433维的节点表征嵌入（embedding）到低维空间（hidden_channels=16），第二个线性层将节点表征嵌入到类别空间中（num_classes=7）。

2.MLP神经网络的训练

使用交叉熵损失函数和Adam优化器来训练这个简单的MLP神经网络。

图4.MLP神经网络的训练

3.MLP神经网络的测试

训练完模型后，我们可以通过测试来检验这个简单的MLP神经网络在测试集上的表现。

图5.MLP神经网络的测试

正如我们所看到的，我们的MLP表现得不太好艾，只有大概59%的测试准确性。为什么MLP没有表现得更好呢？其中一个重要的原因就是用于训练此神经网络的有标签节点数量过少，此神经网络被过拟合，它对未见过的节点泛化能力很差。

三、使用GCN卷积图神经网络进行节点分类

图6.GCN原理 图7.GCN模块说明

提出GCN的论文：Semi-supervised Classification with Graph Convolutional Network

GCNConv官方文档：torch_geometric.nn.conv.GCNConv

1.GCN图神经网络的构造

将MLP中的torch.nn.Linear替换为torch_geometric.nn.GCNConv，我们就可以得到一个GCN图神经网络。

图8.构造GCN卷积图神经网络

2.可视化由未经训练的GCN图神经网络生成的节点表征

图9.未经训练的GCN图神经网络生成的节点表征的可视化

经过visualize函数的处理，7维度特征的节点被映射到2维的平面上。我们可以发现“同类节点群聚”的现象。

3.GCN图神经网络的训练

图10.GCN的训练

4.GCN图神经网络的测试

图11.GCN的测试

通过简单地将torch.nn.Linear替换成torch_geometric.nn.GCNConv，我们可以取得80%左右的测试准确率。与前面的仅获得59%的测试准确率的MLP图神经网络相比，GCN图神经网络准确性要高得多。这表明节点的邻接信息在取得更好的准确率方面起着关键的作用。

5.可视化由训练后的GCN图神经网络生成的节点表征

图12.训练后的GCN图神经网络生成的节点表征的可视化

训练后的GCN图神经网络生成的节点表征的可视化中，“同类节点群聚”的现象更加明显了。这意味着在训练后，GCN图神经网络生成的节点表征质量更高了。

四、使用GAT图注意力神经网络进行节点分类

图13.GAT定义 图14.GATConv模块说明

提出GAT的论文： Graph Attention Networks

1.GAT图神经网络的构造

图15.GAT图神经网络

2.可视化由未经训练的GAT图神经网络生成的节点表征

图16.未经训练的GAT图神经网络生成的节点表征的可视化

3.GAT图神经网络的训练

图17.GAT图神经网络的训练

4.GAT图神经网络的测试

图18. GAT图神经网络的测试

5.可视化由训练后的GCN图神经网络生成的节点表征

图19.训练后的GCN图神经网络生成的节点表征的可视化

五、总结

在节点表征的学习中，MLP神经网络只考虑了节点自身属性，忽略了节点之间的连接关系，它的结果是最差的；而GCN图神经网络与GAT图神经网络，同时考虑了节点自身信息与周围邻接节点的信息，因此它们的结果都优于MLP神经网络。也就是说，对周围邻接节点的信息的考虑，是图神经网络优于普通深度神经网络的原因。

GCN图神经网络与GAT图神经网络的相同点为：

1.它们都遵循消息传递范式；

2.在邻接节点信息变换阶段，它们都对邻接节点做归一化和线性变换；

3.在邻接节点信息聚合阶段，它们都将变换后的邻接节点信息做求和聚合；

4.在中心节点信息变换阶段，它们都只是简单返回邻接节点信息聚合阶段的聚合结果。

GCN图神经网络与GAT图神经网络的区别在于邻接节点信息聚合过程中的归一化方法不同：

1.前者根据中心节点与邻接节点的度计算归一化系数，后者根据中心节点与邻接节点的相似度计算归一化系数。

2.前者的归一化方式依赖于图的拓扑结构：不同的节点会有不同的度，同时不同节点的邻接节点的度也不同，于是在一些应用中GCN图神经网络会表现出较差的泛化能力。

3.后者的归一化方式依赖于中心节点与邻接节点的相似度，相似度是训练得到的，因此不受图的拓扑结构的影响，在不同的任务中都会有较好的泛化表现。

六、作业

图20.作业

这里我用了另一种PyG中的图卷积模块——SAGEConv，即在导入库那里改成from torch_geometric.nn import SAGEConv

图21.SAGEConv构造

模型训练和测试的代码与GCN和GAT的一样，这里就不写出来拉！最后得到的测试数据集准确率和用训练后的GAT图神经网络生成的节点表征的可视化结果如下图所示：

图22. SAGEConv测试结果和节点表征可视化情况