论文阅读搬运“GraphMAE: Self-Supervised

Hou Z, Liu X, Dong Y, et al. GraphMAE: Self-Supervised Masked Graph Autoencoders[C]. KDD, 2022.

原文链接
原代码地址
原作者博客
大佬阅读博客

作者首先以对比学习和图自编码的对比讲述了在当前阶段，图自编码的特征学习能力远不及对比学习的相关方法。因此，引入了BERT中的生成思路，通过学习[MASK]的信息来实现模型的自监督学习。
GraphMAE对图上的MASK与对比学习中数据增强用到的方式不同。图对比是采用不同的手段，对图结构信息进行扰乱（通常包含随机drop掉节点和边），这种扰乱方式具有不稳定性，可能会对原始的图结构信息造成损坏。而GraphMAE通过对输入的节点特征信息进行MASK，而通过完整的图结构信息来对MASK掉的Token进行重建。这种方式保留了节点之间的关联关系，而这些关系足够还原原始的特征。

GraphMAE

从图中也可以看出，整体的创新包含：

• 带有[MASK]的特征信息编码过程
• 带有[DMASK]的GNN解码过程
• 缩放余弦误差来度量重建效果

---

相关详情请移步开头的4个链接。