Graph Attention Network在全联接图上会发生

作者: longlonglongman | 来源:发表于2020-03-23 17:16 被阅读0次

Graph Attention Network在全联接图上会发生
推荐系统&知识图谱(8)---KGAT
HGAT：假新闻检测的分层图注意力网络
Graph attention network
AGNN论文笔记
2020-01-11 论文阅读2
GRAPH ATTENTION NETWORKS 学习翻译
GCN在推荐系统中的应用
谣言检测论文阅读
2021-01-12 IJCAI-20 Learning re

最近在使用GAT对实体编码做关系抽取任务的时候，发现实体表示经过GAT编码后就变成了几乎一致了，后来发现可能是图太稠密，快变成全联接图的锅。

Graph Attention Network

GAT在全联接图上

对于下面的全联接图

根据GAT的attention计算公式，对于节点 $x_i$ 有

$\alpha_{ij} = \frac{exp(LeakyReLU(a^{\top}[wx_i||wx_j]))}{\sum_{k=1}^{3}exp(LeakyReLU(a^{\top}[wx_i||wx_k]))}$

当 $a^{\top}[wx_i||wx_k] > 0,i=1,2,3,k=1,2,3$ 时，有

$\alpha_{ij} = \frac{exp(a^{\top}[wx_i||wx_j])}{\sum_{k=1}^{3}exp(a^{\top}[wx_i||wx_k])}$

将 $a^{\top}$ 重新表示成 $[a_1^{\top}, a_2^{\top}]$ ，则

$\alpha_{ij} = \frac{exp(a_1^{\top}wx_i + a_2^{\top}wx_j)}{\sum_{k=1}^{3}exp(a_1^{\top}wx_i+a_2^{\top}wx_k)}$

计算其倒数

$\frac{1}{\alpha_{ij}} = 1 + \sum_{k=1 \wedge k \not= j}^{3}exp(a_2^{\top}w(x_k - x_j))$

由上式可知

$\frac{1}{\alpha_{11}} = \frac{1}{\alpha_{21}} = \frac{1}{\alpha_{31}}, \frac{1}{\alpha_{12}} = \frac{1}{\alpha_{22}} = \frac{1}{\alpha_{32}}, \frac{1}{\alpha_{13}} = \frac{1}{\alpha_{23}} = \frac{1}{\alpha_{33}}$

即

$\alpha_{11} = \alpha_{21} = \alpha_{31}, \alpha_{12} = \alpha_{22},\alpha_{32},\alpha_{13} = \alpha_{23} = \alpha_{33}$

由于每个节点经过GAT后的表示为

$\tilde{x}_{i} =\sum_{j = 1}^{3}\alpha_{ij}x_j$

所以有

$\tilde{x} _1 = \tilde{x} _2 = \tilde{x} _3$

表示都变成一样的了

Graph Attention Network在全联接图上会发生
最近在使用GAT对实体编码做关系抽取任务的时候，发现实体表示经过GAT编码后就变成了几乎一致了，后来发现可能是图太...
推荐系统&知识图谱(8)---KGAT
论文：KGAT: Knowledge Graph Attention Network for Recommenda...
HGAT：假新闻检测的分层图注意力网络
论文标题：HGAT: Hierarchical Graph Attention Network for Fake ...
Graph attention network
Authors: Hao Zhang, Mufei Li, Minjie Wang Zheng Zhang In ...
AGNN论文笔记
AGNN: Attention-based Graph Neural Network for Semi-super...
2020-01-11 论文阅读2
论文阅读 1.Visual-Semantic Graph Attention Network for Human-...
GRAPH ATTENTION NETWORKS 学习翻译
GRAPH ATTENTION NETWORKS 1.摘要我们提出了graph attention networ...
GCN在推荐系统中的应用
图网络（graph neural network， GNN） Category： Recurrent Graph ...
谣言检测论文阅读
一、Heterogeneous Graph Attention Networks for Early Detect...
2021-01-12 IJCAI-20 Learning re
Learning regional attention convolutional neural network ...