非常抱歉此次“作业”拖了这么久才交，起初是不知道写些什么东西，在王老师的建议下，我，张娜娜，毕东配合翻译了《GraphAttentionNetworks》一文。接下来我谈一谈经过我反复研读这篇论文后，在我脑子里形成的图谱注意力网络。
【一文读懂Bengio研究组最新论文】中提到，称《GraphAttentionNetworks》论文是一篇“不出名”但十分重要而且有趣的论文，我也是抱着好奇的心态继续阅读，想知道究竟哪里有趣。当看到以图谱做为输入，做深度学习时，感觉很新奇，因为一张图谱携带的信息量非常大，也很复杂，如果能把图谱携带的信息学习出来，我想这个影响应该是巨大的。但是，以图谱作为输入，输入的真的就是一张图吗？显示不是，带着这个疑问，我开始仔细的研读这篇论文。
图谱注意力网络的输入是一组节点特征，这个节点特征是多维的，输出是一组新的节点特征，如何得到这一组新的节点特征，就是这篇论文的关键。首先利用权重矩阵对每个节点进行参数化；接下来利用自注意力机制计算自注意力系数，自注意力机制是一个单层的前馈神经网络，自注意力系数表明的是节点j对节点i的重要程度，然后利用softmax函数对节点系数进行归一化，最后利用注意力系数与对应的节点特征进行组合，经过非线性变化后得到一组新的节点特征。
我认为这篇论文的最大创新点就是结构化的数据作为输入，与注意力机制相结合，学习每个节点对其他节点影响力的大小。
以上就是我对图谱注意力网络的理解，由于个人能力和所掌握知识有限，有很多地方理解错误或是理解不到位，请老师和同学们批评指正。
另外，我们将《GraphAttentionNetworks》的译文与老师，同学们进行分享，尽管我们进行多次的修改，但仍有很多翻译错误，请老师、同学们指正。
网友评论