美文网首页
论文阅读(二)Rethinking Knowledge Grap

论文阅读(二)Rethinking Knowledge Grap

作者: 续袁 | 来源:发表于2019-06-28 13:04 被阅读0次

1. 摘要

最近,图卷积神经网络在零样本学习任务中显示出了巨大的潜力。这些模型具有高度的采样效率,因为图结构中的相关概念共享statistical strength,允许在缺少数据时对新类进行泛化。然而,由于多层架构需要将知识传播到图中较远的节点,因此在每一层都进行了广泛的拉普拉斯平滑来稀释知识,从而降低了性能。为了仍然享受图结构带来的好处,同时防止远距离节点的知识被稀释,我们提出了一种密集图传播(DGP)模块,该模块在远端节点之间精心设计了直接链接。DGP允许我们通过附加连接利用知识图的层次图结构。这些连接是根据节点与其祖先和后代的关系添加的。为了提高图中信息的传播速度,进一步采用加权方案,根据到节点的距离对它们的贡献进行加权。结合两阶段训练方法中的表示的微调,我们的方法优于目前最先进的零样本学习方法。

2. 关键思想

本文在论文 1 的基础上进行了改进,包括以下几个方面:

   (1)更少的 GCN 层数,论文 1 中使用了 6 层神经网络进行训练,考虑到模型参数的优化问题,本文只使用了 2 层神经网络进行计算,即 GPM;

   (2)减少层数的同时,一些较远节点将不被考虑在内,为了解决这个问题,作者将一些节点的祖先节点/子孙节点直接与该节点相连,生成了更密集的图,即DGPM;同时,这些直接相连的边按照距离的远近,加入attention机制进行了加权计算,即 ADGPM;

  (3)作者还提出了在CNN部分根据graph信息进行fine tune的计算方式,使得提取图片特征的卷积网络可根据一些新出现的class进行更新。

   作者使用了与论文1中相同的数据集,即ImageNet 2012 1kclass(seen class)作为训练,ImageNet 2-hops/3-hops/all(unseen class)三个测试集作为测试。对比结果如下,其中GCNZ代表论文1中的方法,GPM、DGPM、ADGPM分别表示上述优化的(1)(2)方面,GPM(f)、DGPM(f)、ADGPM(f)表示finetune的结果,同样地,“2-hops+1k”表示generalizedZSL。
image.png image.png

参考资料

[1] 近期必读的5篇 CVPR 2019【图卷积网络】相关论文和代码
[2] [原创]论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述

代码

[1] # cyvius96/DGP

相关文章

网友评论

      本文标题:论文阅读(二)Rethinking Knowledge Grap

      本文链接:https://www.haomeiwen.com/subject/sqzuzqtx.html