美文网首页
Graphormer阅读感悟

Graphormer阅读感悟

作者: Seaton | 来源:发表于2021-11-28 23:59 被阅读0次

    Graphormer是前两天刚出的将Transformer与GNN结合的文章。其亮点有两个:1是其将GNN的思想和Graph的结构信息融入Transformer中,而非在GNN中加入Transformer。2是其用了三种方式去编码节点之间的重要性,以使得在聚合节点特征时能够更多地关注重点节点。

    其三种编码节点重要性的方式值得研究:1、将节点的出度和入度的信息通过投影后编码进节点特征中,使得节点特征信息就能够包含了节点的重要性信息,而非后续聚合才能够体现,确实优秀。2、将节点对之间的最短距离的投影作为自注意力中的权重bias,以此尝试让每个节点在关注全局信息的同时更加关注相近节点的信息。(但是真的能够保证最短距离投影能够学到距离的反函数吗?)3、在每个边有特征的情况下,将节点最短距离上边属性的投影作为权重以添加在节点对之间的权重上(但是这样将边属性的映射、最短距离长度的映射、基于特征的自注意力权重的加和作为最终聚合的权重真的合理吗?)

    相关文章

      网友评论

          本文标题:Graphormer阅读感悟

          本文链接:https://www.haomeiwen.com/subject/qckkxrtx.html