EBGCN：面向传播不确定性的谣言检测边增强贝叶斯图卷积网络

作者: 酷酷的群 | 来源:发表于2021-11-19 19:06 被阅读0次

论文标题：Towards Propagation Uncertainty: Edge-enhanced Bayesian Graph Convolutional Networks for Rumor Detection
论文链接：https://arxiv.org/abs/2107.11934
论文来源：ACL 2021

一、概述

现有的一些方法将谣言的传播结构构建成图，然后基于回复或转发关系来聚合邻域特征。然而，在信息传播的过程中，这些关系都被视为可信赖的边。如下图所示，一些不准确的关系（举例来说，有些回复可能与事实无关，比如一些小广告什么的）为谣言的传播结构带来了不确定性（uncertainty）：

example

对不可信赖关系的忽略将导致多层信息传播过程中的误差累积从而限制有效特征的学习。我们从两个方面论证了传播结构中这种固有的不确定性是不可避免的：
①在现实世界中，谣言的制造者总是狡猾的，他们倾向于恶意操纵他人，创建虚假的支持推文，或删除反对的声音，以逃避检测；
②对传播关系的一些标注是主观的和破碎的，可用的图将是真实传播结构的一部分，同时也包含噪声关系，从而产生不确定性。

为此本文提出了EBGCN（Edge-enhanced Bayesian Graph Convolutional Network）来处理传播结构中的不确定性。EBGCN的核心思想是根据观测图的先验信念（prior belief）自适应地控制消息传递，以替换传播图中的固定边权值。在每次迭代中，根据观察图中节点特征的先验信念，由隐关系（latent relation）的后验分布推断边的权值。然后，利用图卷积层，通过聚合重构边上的邻域信息来聚合节点特征。通过上述方式，EBGCN可以处理传播结构中的不确定性并且提高谣言检测的鲁棒性。

另外，由于训练时缺少一些关系，或者一些关系是不准确的，我们设计了一种边一致性训练框架（edge-wise consistency training framework）。该框架将对这些未标注关系的无监督一致性训练结合到对标注样本的有监督训练中，以促进更好的学习。我们进一步通过计算两种分布之间的KL散度来保证边的隐分布和节点特征在观测图中的分布的一致性。

二、问题陈述

问题陈述

使用 $C=\left \{c_{1},c_{2},\cdots ,c_{m}\right \}$ 代表谣言检测数据集， $c_{i}$ 代表第 $i$ 个claim， $m$ 是事件的数量， $c_{i}=\left \{r_{i},w_{1}^{i},w_{2}^{i},\cdots ,w_{n_{i}-1}^{i},G_{i}\right \}$ ， $n_i$ 代表帖子的数量， $r_i$ 是原帖子， $w_{j}^{i}$ 是第 $j$ 个相关回复的帖子， $G_{i}$ 代表传播结构。具体的， $G_{i}$ 被定义为一个图 $\left \langle V_{i},E_{i}\right \rangle$ ， $r_i$ 是根节点， $E_{i}=\left \{e_{st}^{i}|s,t=0,\cdots n_{i}-1\right \}$ 代表从被回复的帖子到转发帖子或回复帖子的边的集合（如上图(b)）。举例来说，如果 $w_{2}^{i}$ 回复了 $w_{1}^{i}$ ，那么将有一条有向边 $w_{1}^{i}\rightarrow w_{2}^{i}$ ，也就是 $e_{12}^{i}$ ；如果 $w_{1}^{i}$ 回复了 $r_{i}$ ，那么将有一条有向边 $r_{i}\rightarrow w_{1}^{i}$ ，也就是 $e_{01}^{i}$ 。定义 $A_{i}\in \mathbb{R}^{n_{i}\times n_{i}}$ 为邻接矩阵：

$a_{st}^{i}=\left\{\begin{matrix} 1,\; if\; e_{st}^{i}\in E_{i}\\ 0,\; otherwise \end{matrix}\right.$

对于每个 $c_i$ ，都被关联的其真实性标签 $y_{i}\in \left \{F,T\right \}$ （False Rumor和True Rumor)），有时也有更细粒度的分类 $y_{i}\in \left \{N,F,T,U\right \}$ （Non-rumor, False Rumor, True Rumor, Unverified Rumor）。给定数据集，目的是学习分类器 $f:C\rightarrow Y$ 来进行谣言检测。

三、方法

概述

下图展示了EBGCN的大体架构：

框架

模型的输入为claim的文本内容和传播结构，我们首先将传播结构构建成两个相反边方向的图，分别是top-down的传播图和bottom-up的扩散图。文本内容通过文本embedding层编码成embedding向量。然后我们通过两个主要模块——节点更新模块和边推理模块来迭代地捕获丰富的结构信息，接着聚合节点特征生成图embedding，最终输出claim的预测标签。

训练时通过未标注隐关系的反向传播损失来结合贝叶斯的无监督一致性训练，也就是通过最小化无监督和有监督损失的加权累加来优化模型。

EBGCN

图形构造与文本embedding

对于每个claim $c_i$ ，都需要构建两个图，分别是top-down的传播图 $G_{i}^{TD}$ 和bottom-up的扩散图 $G_{i}^{BU}$ ，他们对应的初始邻接矩阵为 $A_{i}^{TD}=A_{i},A_{i}^{BU}=A_{i}^{T}$ 。为了更好地表示我们的方法，在下面的描述中省略了下标 $i$ 。

$X=\left [x_{0},x_{1},\cdots ,x_{n-1}\right ]\in \mathbb{R}^{n\times d_{0}}$ 是帖子的特征矩阵，采用top-5000词的TF-IDF值作为帖子的特征向量。 $x_{0}\in \mathbb{R}^{d_{0}}$ 是源推文的特征向量。传播图 $G^{TD}$ 和扩散图 $G^{BU}$ 的初始特征矩阵是一样的， $X^{TD}=X^{BU}=X$ 。

节点更新（Node Update）

采用图卷积层来更新节点特征，第 $l$ 层节点特征 $H^{(l)}\left [h_{0}^{(l)},h_{1}^{(l)},\cdots ,h_{n-1}^{(l)}\right ]$ 的计算过程为：

$H^{(l)}=\sigma (\hat{A}^{(l-1)}H^{(l-1)}W^{(l)}+b^{(l)})$

$\hat{A}^{(l-1)}$ 代表 $A^{(l-1)}$ 的标准化版本。初始化节点特征 $H^{(0)}=X$ 。这里的过程和BiGCN是一样的，不再赘述。

BiGCN链接：Bi-GCN：基于双向图卷积网络的社交媒体谣言检测

边推理（Edge Inference）

为了减轻不可靠关系的负面影响，本文的方法将原来的图重新调整边权重以变成一个软连接（就是说边权重不再全为1了）的图。具体的，我们通过计算一个基于当前层节点表示的变换 $f_{e}(\cdot ;\theta _{t})$ 来调整边的权重，从而更新邻接矩阵：

$g_{t}^{(l)}=f_{e}(||h_{i}^{(l-1)}-h_{j}^{(l-1)}||;\theta _{t})\\ A^{(l)}=\sum_{t=1}^{T}\sigma (W_{t}^{(l)}g_{t}^{(l)}+b_{t}^{(l)})\cdot A^{(l-1)}$

这里 $||h_{i}^{(l-1)}-h_{j}^{(l-1)}||$ 是指对于边 $e_{ij}$ ，将对应的节点表示 $h_{i}$ 和 $h_{j}$ 的元素两两相减并取绝对值，假设这两个表示向量的维度为 $d$ ，那么 $||h_{i}^{(l-1)}-h_{j}^{(l-1)}||$ 的维度为 $d\times d$ 。 $f_{e}(\cdot ;\theta _{t})$ 是一个神经网络， $g_{t}^{(l)}\in \mathbb{R}^{d}$ ，源码中 $f_{e}(\cdot ;\theta _{t})$ 以 $||h_{i}^{(l-1)}-h_{j}^{(l-1)}||$ 矩阵为输入，通过一个一维卷积（输出channel数为64），再进行一维batch normalization，再通过一个LeakyReLU激活函数，最后再通过一个一维卷积（输出channel数为1）。 $T$ 代表假设的边之间的隐关系的数量，在实验中是一个超参数。 $\sigma (\cdot )$ 代表sigmoid激活函数，将 $g_{t}^{(l)}$ 通过一个全连接层以后再通过这个sigmoid激活函数（注意这里没有使用softmax），代表对隐关系的预测。

我们在两个图 $G_{i}^{TD}$ 和 $G_{i}^{BU}$ 图上共享边推理层的参数。通过两个图卷积层后，模型能够以隐关系做驱动有效地聚合邻域节点特征，最终得到 $H^{TD}$ 和 $H^{BU}$ 。

分类

得到节点表示 $H^{TD}$ 和 $H^{BU}$ 后进行pooling操作以得到图的表示：

$C^{TD}=meanpooling(H^{TD})\\ C^{BU}=meanpooling(H^{BU})$

将两个图的表示拼接以后通过一个全连接层进行预测：

$\hat{y}=softmax(W_{c}[C^{TD};C^{BU}]+b_{c})$

Edge-wise Consistency Training Framework

监督损失 $L_{c}$

对于模型的预测损失，采用交叉熵损失：

$L_{c}=-\sum_{i=1}^{m}\sum_{j=1}^{|Y|}y_{j}^{i}log\; \hat{y}_{j}^{i}$

$m$ 代表claim的数量。

无监督损失 $L_{e}$

前述边推理过程中的 $g_{t}^{(l)}$ 是需要被学习的，而无监督损失 $L_{e}$ 就是为了学习这个过程。如上面框架图中展示的边推理部分，训练过程中， $g_{t}^{(l)}$ 需要通过两个部分。首先通过 $g_{t}^{(l)}$ 经过一个全连接层和sigmoid激活函数来预测隐关系分布 $p(\hat{r}|H,G)$ ，然后更新邻接矩阵，在测试阶段也要经过这个过程。另外还需要使用 $g_{t}^{(l)}$ 来得到变量 $\varphi$ 的先验分布，其先验分布服从高斯分布，使用 $g_{t}^{(l)}$ 来获得高斯分布的均值和方差，然后预测隐关系的分布 $q_{\varphi }(\hat{r}|H,G)$ 。这两个分布 $p(\hat{r}|H,G)$ 和 $q_{\varphi }(\hat{r}|H,G)$ 之间的KL散度即是无监督损失 $L_{e}$ 。具体的，有：

$L_{e}=E\left [D_{KL}\left (p(\hat{r}^{(l)}|H^{(l-1)},G)||q_{\varphi }(\hat{r}^{(l)}|H^{(l-1)},G)\right )\right ]$

这里 $q_{\varphi }$ 为：

$q_{\varphi }(\hat{r}^{(l)}|H^{(l-1)},G)=p(\hat{r}^{(l)}|H^{(l-1)},\varphi )q_{\varphi }(\varphi |H^{(l-1)},G)$

在上面的概率中，我们单独地建模每个隐关系 $r_{t},t\in [1,T]$ 的先验分布，将每个隐关系的先验分布定义为高斯分布，其均值和方差由 $g_{t}^{(l)}$ 来得到。具体的：

$q_{\varphi }(\varphi |H^{(l-1)},G;\Theta )=\prod_{t=1}^{T}q_{\varphi }(\varphi _{t}|\left \{g_{t}^{(l)}\right \}_{t=1}^{T})=\prod_{t=1}^{T}N(\mu _{t},\delta _{t}^{2})\\ \mu _{t}=f_{\mu }(\left \{g_{t}^{(l)}\right \}_{t=1}^{T};\theta _{\mu }),\delta _{t}^{2}=f_{\delta }(\left \{g_{t}^{(l)}\right \}_{t=1}^{T};\theta _{\delta })$

这里 $f_{\mu }(\cdot ;\theta _{\mu })$ 和 $f_{\delta }(\cdot ;\theta _{\delta })$ 同样是神经网络，类似 $f_{e}(\cdot ;\theta _{t})$ ，也就是说隐关系 $r_{t}$ 的先验分布的某些参数（均值和方差）也是需要学习出来的。通过为隐关系 $r_{t}$ 设置先验分布，就相当于为隐关系设置了不同的权重。

前面式子中的另一个分布，也就是给定 $\varphi$ 的情况下预测隐关系的后验分布 $p(\hat{r}^{(l)}|H^{(l-1)},\varphi )$ ，将由以下方式得到：

$p(\hat{r}^{(l)}|H^{(l-1)},\varphi )=\prod_{t=1}^{T}p(\hat{r}^{(l)}|H^{(l-1)},\varphi _{t})\\ p(\hat{r}^{(l)}|H^{(l-1)},\varphi _{t})=\frac{exp(W_{t}\varphi _{t}+b_{t})}{\sum_{t=1}^{T}exp(W_{t}\varphi _{t}+b_{t})}$