这里是「王喆的机器学习笔记」的第三十四篇文章。图神经网络毫无疑问是最近学术界的热点话题，工业界也是从Pinterest对于GraphSAGE的成功应用开始，争相尝试图神经网络的落地。再加上知识图谱的重新火热，二者的结合就更具有想象力了。
Stanford和Pinterest的GraphSAGE
这次「AI大咖谈」我们就跟DLP KDD workshop的best paper award获得者聊一聊图神经网络。其实访谈是两三个月前DLP KDD2020举办的时候，我找两位大咖进行的，这里我再稍作整理，分享给大家。
按惯例先给到两位大咖的简历镇楼：
曲彦儒，UIUC 在读博士，上海交通大学本硕，在 WWW，AAAI，ICDM 等会议发表论文多篇，研究方向信息系统，知识图谱，自然语言处理。
白婷，中国人民大学博士，计算机学院讲师，在 SIGIR、WWW、KDD、CIKM、WSDM、NAACL、TKDE 等会议、期刊发表多篇文章，其中有三篇获得最佳论文 / 最佳论文候选奖。研究方向是推荐系统，深度学习，社交媒体数据挖掘和用户行为分析。
Q: 能否简要介绍一下图神经网络与传统的神经网络（比如经典的 Embedding+MLP 结构，以及 RNN 等序列模型）之间的联系和区别？
A: 这些模型的共同点在于, 都是通过神经网络端到端地拟合输入数据和输出数据之间的函数关系。他们之间最主要的区别在于, 不同的模型结构能够适应不同的先验知识. 比如全连通神经网络，没有假设任何先验知识, RNN 能够适应线性和序列性先验, 图神经网络能够适应更加复杂的结构性先验, 比如定义多个概念之间的关系, 描述复杂的非线性结构等。
此外，相比于其他神经网络模型，图神经网络能够从结构和功能两个方面建模数据整体特性，结构是指已有数据本身的相互关联，是已观测到的；功能是指信息在图中传播、相互影响的过程，与已有结构有关，也与具体应用场景有关。因此，与其他神经网络模型相比，图神经网络在数据建模和信息挖掘上，具有更强的普适性。
Q: 如何看待图神经网络在当前学术界的热度和发展？
A: 图神经网络是当前研究的一个热点，从历史上看，这是一个很自然的事情。事物存在即产生关联，网络无处不在。图作为描述网络的数学语言，能够很好的刻画万象的物理世界。关于图的研究，最早可以追溯到 18 世纪，在 20 世纪已经是一个很重要且热门的研究点。近年来，随着深度学习的兴起，神经网络表现出强大的数据拟合和刻画能力。图 + 神经网络，可以说是强强联合，作为一种适用场景广泛，且数据拟合能力强的建模方式，受到学术界的广泛关注是非常自然的事情。
具体来讲，从数据的角度来看，相比于图像和文本, 图类型数据的分布更加广泛, 图结构也是更加复杂且一般的数据结构。图神经网络是处理图类型数据的一个通用端到端模型。从原理上来看, 图神经网络也能够更好地适应一些问题, 比如推理。图神经网络拓展了机器学习模型的活动范围, 使得我们能够高效处理新的数据和问题, 因此近年来取得了较好的发展。目前，图神经网络也存在一些普遍问题, 比如如何提升在大规模图上的效率, 如何降低采样方法带来的方差等。
Q: 图神经网络和之前的 DeepWalk，Node2vec 等 Graph Embedding 方法有什么不同？
DeepWalk的主要过程
A: 基于 Random Walk 的 Graph embedding 方法本质上没有直接处理图结构, 而是通过将节点和邻域序列化, 转化为类似于文本的线性结构。图神经网络的优势在于能够直接处理图结构, 同时进行节点和邻域之间的信息传播以及参数更新。两种方法在不同数据上表现各有优劣, 整体看来图神经网络更加端到端, 更加通用。另外，关于 Graph Embedding 的定义和范畴，不同的人有不同的理解，我个人认为图神经网络可以看作是深层的 Graph embedding，因为不管是使用卷积、注意力等各种不同方式，最终也是得到带有结构信息的节点低维特征表示。
Q: 什么样的数据更适合图神经网络处理？数据的结构特点对最终效果的影响大吗？
A: 之前说到图神经网络的适用性非常强，即与其他神经网络模型相比，在大部分的应用场景下，效果不会太差，而且更加鲁棒。但针对具体的问题，是否选择图神经网络来处理，我觉得主要看应用场景和数据特点。举个例子，如果数据中序列性非常强，或者要研究的问题跟时间强相关，我个人觉得直接采用序列模型建模更加合适；如果数据比较稀疏，需要邻域节点做信息协同建模，那基于空间的图神经网络就很适合。总之，观察数据特点，分析研究的问题，图神经网络模型也需要根据数据特点来定制。图神经网络可以看作万金油，但不是特效药。
Q: 文章提出了 NI Model（Neighborhood Interaction Model），是否能够处理高阶关系（>2）数据？高阶数据对最终的效果是否有价值？
NI Model主要原理
A: 我们提出的 NI 模型是将知识图谱引入推荐，通过分别聚合用户和商品的高阶邻域信息，建模融合邻居信息的交互。NI 模型可以处理高阶的关系，但从实验效果上，跟已有图神经网络的研究一致，2-3 阶的图神经网络已经能够达到最优的效果了，阶数太低，聚合信息可能不足，阶数太高，又可能会引入噪声数据。在图神经网络中，聚合太高阶的关系，会导致计算开销太大，且很多时候会使效果变差。
Q: 图神经网络有哪些应用领域和应用场景？
A: 图神经网络的应用领域广泛，图作为刻画网络的数学语言，个人认为是可以延续网络科学应用的各个领域，如: 经济网络、通信网络、交通网络、社交网络、购买网络、生物网络等各个方面。目前研究比较多的应用场景还是在社交推荐等场景中，尤其是在关系预测、推荐系统、实体搜索、信息传播等方面。
Q: 图神经网络领域还有哪些待解决的热点问题？如果让你来选择 NI Model 工作的下一步方向，你会如何选择呢？
A: 我认为有以下几个方面，一是图神经网络的鲁棒性和效率问题，包括预训练图神经网络、 降低采样方法在大规模图上的方差、如何处理超大规模网络；二是图神经网络的动态性，当引入变化的网络结构时，如何保证模型的适应性和稳定性；三是图神经网络的异构性，当网络存在异构的边和节点信息、节点和边具有属性信息，如时序信息等，如何将多种异构的语义空间建模在同一个网络中；四是基于图神经网络的高阶推理，基于图逻辑推理是使图神经网络具备更强大智能的基础。这些都是目前图神经网络研究中需要进一步研究和探讨的问题。邻域交互模型 (NI model) 主要探究了推荐系统中用户邻域 (用户背景知识) 和商品邻域 (商品背景知识) 之间的交互关系, 事实上，基于背景知识的图结构和交互关系是非常普遍的。我们在实验中发现, 现有的图神经网络还不能很好地刻画邻域之间的交互, 这说明图神经网络本身还有提升的空间。我们希望能够从邻域交互模型出发, 进一步改进基础的图神经网络, 此外，也将进一步探讨在交互过程中，利用知识图谱的高阶推理带来推荐模型的性能的提升，在更广阔的应用场景中带来一些新的启发。
我的评论
我自己不是图神经网络的专家，但在实际的应用中也尝试过一些graph embeding和GNN的解决方案，所以从应用者的角度我谈一谈两位大咖回答中让我非常受益的地方。近水楼台先得月，占个沙发。
图神经网络能够从结构和功能两个方面建模数据整体特性
图作为描述网络的数学语言，能够很好的刻画万象的物理世界
随着深度学习的兴起，神经网络表现出强大的数据拟合和刻画能力。图 + 神经网络，可以说是强强联合，作为一种适用场景广泛，且数据拟合能力强的建模方式，受到学术界的广泛关注是非常自然的事情。
基于 Random Walk 的 Graph embedding 方法本质上没有直接处理图结构
图神经网络更加端到端, 更加通用
如果数据比较稀疏，需要邻域节点做信息协同建模，那基于空间的图神经网络就很适合
趁这个机会也介绍一下DLP-KDD，这是KDD的下设 workshop，旨在促进深度学习在广告、推荐、搜索场景下的应用与业界交流，至今成功举办两届。由阿里发起，虽然是一个新的Workshop，但文章质量颇高，主要由业界一线公司的工程师们投稿，所以重视落地实践，已经有阿里、微软、Facebook、Pinterest、微博等诸多一线公司的同学分享了业界经验。推荐大家关注，并且积极参与下一届的投稿。
DLP-KDD 2019 paper list
王喆：DLP-KDD全部文章及资源，覆盖GNN、Graph Emb、Transformer等业界前沿领域zhuanlan.zhihu.com
DLP-KDD 2020 paper list
Accepted Papersdlp-kdd.github.io
这里是「王喆的机器学习笔记」 的第三十四篇文章。如果觉得「AI大咖谈」能让你有所收获，欢迎点赞反馈，让我有动力邀请更多业界大咖们闲聊。
最后欢迎关注同名微信公众号：王喆的机器学习笔记（wangzhenotes），跟踪计算广告、推荐系统、个性化搜索等机器学习领域前沿。
网友评论