Graphormer是前两天刚出的将Transformer与GNN结合的文章。其亮点有两个：1是其将GNN的思想和Graph的结构信息融入Transformer中，而非在GNN中加入Transformer。2是其用了三种方式去编码节点之间的重要性，以使得在聚合节点特征时能够更多地关注重点节点。
其三种编码节点重要性的方式值得研究：1、将节点的出度和入度的信息通过投影后编码进节点特征中，使得节点特征信息就能够包含了节点的重要性信息，而非后续聚合才能够体现，确实优秀。2、将节点对之间的最短距离的投影作为自注意力中的权重bias，以此尝试让每个节点在关注全局信息的同时更加关注相近节点的信息。（但是真的能够保证最短距离投影能够学到距离的反函数吗？）3、在每个边有特征的情况下，将节点最短距离上边属性的投影作为权重以添加在节点对之间的权重上（但是这样将边属性的映射、最短距离长度的映射、基于特征的自注意力权重的加和作为最终聚合的权重真的合理吗？）
Graphormer是前两天刚出的将Transformer与GNN结合的文章。其亮点有两个：1是其将GNN的思想和...
【20170906阅读感悟】
本周阅读感悟分享 同学们阅读在继续，这是几位同学的感悟思考。 杨云杰 《追风筝的人》感悟 这本书...
不同人阅读后的感悟： ❤通过阅读《快速阅读法》的三点感悟: 1.逐字阅读，效率太低下。 2.逐句阅读，还可以，能理...
阅读你的阅读，让阅读变成一种常态，在书海中捡拾真金白银。 感悟你的感悟，让感悟启迪人类的智慧，迸发出耀眼夺目的思想...
读书《人生效率手册》感悟 阅读书籍：《人生效率手册》 阅读章节：第二章时间管理 重点及感悟： （单纯的输出读书感悟...
阅读感悟、践行感悟。——GavinGuo 每天自己都在思考，每天自己都在阅读，每天自己都在践行。每一天自己都...
【阅读日期】2019.8.12 【书名】：《与人联结》 【阅读时长】：99分钟 【阅读章节】: 全书 【阅读感悟】...
【阅读日期】2019.8.15 【书名】：《成为作家》 【阅读时长】：80分钟 【阅读章节】: 全书 【阅读感悟】...
【阅读日期】2019.8.6 【书名】：《养育男孩》 【阅读时长】：88分钟 【阅读章节】: 全书 【阅读感悟】:...
本文标题：Graphormer阅读感悟
本文链接：https://www.haomeiwen.com/subject/qckkxrtx.html
网友评论