美文网首页
啥是图神经网络?

啥是图神经网络?

作者: xieyan0811 | 来源:发表于2022-07-17 06:09 被阅读0次

昨天有个朋友问我:"你了解图神经网络么?",想了半天,不知从何说起.这半年,读了一些相关论文,TransR,TransE,GNN,GCNGIN,还有一些综述性的.好像大概能说明白,它是怎么做的,但又不能完全说明白它是干啥的,进而扩展到自然语言模型,知识图谱,你说它们是干啥的?在网上一搜,出来的往往是具体实现方法(how),而具体干啥讲得很抽象(what).

试试说说我的理解,也不一定对:从根本上看,它们都是知识表示,文本向量化.通俗地讲就是把文本编码成一串数,文本可能是一个字("生"),一个词("苹果"),一个短语("你说呢")或者一个句子("我是一个句子")... 让文字可以量化,比较,计算.

比如:提到自然语言模型,可能首先想到的是 BERTGTP,它可以用来做阅读理解,完型填空,判断对错,续写文章等等.模型将一段文字转换成一串数,再传入下游任务(比如:阅读理解),参与决策具体问题.而 BERT 类模型解决的问题是某个字(比如"生")在不同上下文环境下到底是什么意思?然后把它在这里的意思转换成一串数.

再如:知识图谱,一度困惑它是干啥的?把文献或者网站上的大段文字通过命名识体识别,知识抽取等技术切成小的单元,获取它们之间的关系,放在三元组的结构里,存在图数据库中.可以通过这些小文本之间的关系从一个词"联想"到另一个词,做一些推荐的工具,然后呢?怎么利用它参与决策?

这就引出了图神经网络GNN,如同BERT通过对海量数据中上下文的学习来计算每个词的含义,GNN利用图中实体(简单理解实体就是词)之间的关系,也是通过海量数据,计算实体的含义,并且用向量表示出来.同样也是送入下游任务,参与进一步决策.

图神经网络的算法原理很简单,假设我是一个实体(比如:词),利用我的邻居来算我(红色),我的邻居(蓝色)又根据它的邻居计算(这其中也包括我),经过数次反复迭代,直到表示我们的向量逐渐趋于稳定(不再因为迭代而变化),此时就认为找到了合适的编码.比较推荐之前写的论文阅读_GCN,把邻接矩阵,度矩阵,拉普拉斯矩阵这些基本概念介绍了一下.

进而又演生出结合上下文(比如BERT)和知识图(比如GNN)的模型,如ERNIE-THU

归根结底,它们都是知识的表示,用一串数代表某种概念.不限于自然语言处理,图神经网络还可以描述蛋白质分子结构,社群中的人际关系等等.而GIN,GCN,GNN这些方法则是具体实现的技术.

这串数即向量,形如: [8,66,993,32,5...],每一个维度(其中的每个数)可能描述某种更加抽象的概念(比如:大小,形状,情绪...),又或者几个数共同表示一个概念,这里"苹果"和"桃"的数值差异很小,因为它们的含义相近,"爱"和"恨"距离也很近,因为它们同为情绪,而"爱"和"积木"则距离很远;"生"在与不同上下文的组合中可能被转换成完全不同的向量...

这些数并没有什么实质的意义,同一个词送入BERT编码成这样的向量,送入GPT编码成那样的向量,GNN编码又完全不同... 但是,如果是好的编码器,"苹果"和"桃"的距离就会很近.和世界上所有的概念一样,这里没有绝对的正确,但有相对的"差不多".

相关文章

  • 啥是图神经网络?

    昨天有个朋友问我:"你了解图神经网络么?",想了半天,不知从何说起.这半年,读了一些相关论文,TransR,Tra...

  • 看完你就明白什么是图神经网络

    摘要:图神经网络是一种基于图结构的深度学习方法。 1.什么是图神经网络 图神经网络(Graph Neu做ral N...

  • 易图秒懂の连接主义诞生

    ​我们在“易图秒懂の神经网络潜行-CNN前生" 和 “易图秒懂の神经网络潜行-RNN前生" 里面,简述了神经网络潜...

  • 图神经网络(GNN)结构化数据分析

    本文对图神经网络作了简要的介绍。涵盖了一些图的理论,以方便理解图和分析图的问题。作者还介绍了不同形式的图神经网络及...

  • 最全的神经网络(Neural Networks)清单

    下图为所有常见神经网络结构清单: 神经网络图结构(Neural Networks Graphs)

  • pytorch搭建简单神经网络

    一个基本的神经网络结构如图1和图2所示。图1是只有一个神经元的示意图,图2是一个含有隐藏层的简单神经网络。 如图1...

  • 吴恩达DL笔记

    1.2 什么是神经网络 这个课程啥也没讲,就用一个最简单的例子引出神经网络。下图所示ReLu激活函数,全称是rec...

  • 卷积神经网络结构

    卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。 图:卷积神经网络的概念...

  • caffe模型学习5

    卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。 图:卷积神经网络的概...

  • TensorFlow框架

    基本概念 基于TensorFlow的神经网络:用张量表示数据,用计算图搭建神经网络,用会话执行计算图,优化线上的权...

网友评论

      本文标题:啥是图神经网络?

      本文链接:https://www.haomeiwen.com/subject/wagkirtx.html