node2vec (上)

machine_learning.jpg

​可能大家对嵌入(embedding)词了解都是来源 NLP。

最近一直在做模型构建和训练的工作，今天大家都过于相信深度神经网，只要将数据丢给他，让模型通过自己不断努力学习来取得好的结果。如果将低质量的数据输入到模型中时，将所有工作都压在了模型上，相信模型自己会从数据中学到有用信息来取得的好的效果。虽然这样做也是可行的。但想一想我们为什么不再数据上下一些功夫，将高质量数据输入给模型以减轻他但工作，您已经在数据中添加了一些有用的信息便于模型更轻松地学到东西。

这样我们自然会想到 embedding ，通过 embedding 将数据进行压缩且保留有用信息以外，还添加数据间的关系的信息。这也就是我们为什么需要对数据输入到网络前进行 embedding，embedding 可以是独立部分，也可以是我们设计神经网络的一部分。

嵌入过程

node2vec 过程类似于 skip-gram 模型，如果熟悉 word2vec 的 skip-gram 模型，应该很容易理解 node2vec 的算法。在 node2vec 之前，大家已经都了解到了如何使用 word2vec 来生产语料库。这也是 word2vec 的主要领域，虽然现在其他例如推荐系统也用到 embedding 技术。

既然这样，那么今天最好也是以 ndoe2vec 产生语料库为例来介绍 node2vec 。node2vec 可以从图中生成这个语料库，node2vec 是如何做到这一点的呢？这也是作者的智慧所在，其实这是通过采样策略来实现的。

为了从输入图生成语料库，将语料库视为一组有向无环图。在句子中每一个词可以看作一个节点，连接节点线具有方向，指向句子中的下一个单词。

这样就已经使用 word2vec 完成了词嵌入到图，不过，大多数图并不是那么简单，可以是有(或无)方向、有(或无)加权或循环的，并且结构上比文本基本上复杂得多。为了解决这个问题，node2vec 使用可调整的(通过超参数)采样策略，来采样这些有向无环子图。是通过从图的每个节点生成随机游走来完成的。深入研究采样策略如何使用超参数生成这些子图之前，我们先将其可视化：

image image

采样策略

上面我们不止一次提到了采样策略，那么究竟什么是采样策略，以及如何使用采样策略来创建图，接下来我们就来深入研究一下。
Node2vec 的采样策略包括 4 个参数：

• Number of walks(步数)：从图中的每个节点生成的随机步数

• Walk length(步行长度)：每次随机游走中有多少个节点

• P：返回上一个节点时超参数

• Q：到下一个节点的超参数

前两个参数类似于 skip-gram 的参数 (context window 大小，迭代次数等），所以应该不用做过多解释了。用于生成随机游走的算法，将遍历图形中的每个节点，并将生成长度为<number of="" walk="" style="margin: 0px; padding: 0px;">的<walk length="" style="margin: 0px; padding: 0px;">随机游走。通过下图来帮助大家更好地理解 Q 和 P 这两个参数。
图中，从节点<t style="margin: 0px; padding: 0px;"> 到节点<v style="margin: 0px; padding: 0px;"> 的随机游走。</v></t></walk></number>

<number of="" walk="" style="margin: 0px; padding: 0px;"><walk length="" style="margin: 0px; padding: 0px;"></walk></number>

image

从 v 节点<v style="margin: 0px; padding: 0px;">到其相邻节点概率为 edge weight <edge weight="" style="margin: 0px; padding: 0px;">* α，其中 α 为超参数。P 为从 v </edge></v>返回到 t <t style="margin: 0px; padding: 0px;">的概率。Q 控制探索图的未发现节点(x1,x2 和 x3)的可能性。以一种直观的方式，这有点类似于 t-SNE 中的困惑参数，可以强调图的局部/全局结构。当然也不要忘了还要考虑权重，因此最终行驶概率是以下函数：</t>

• 步行中的上一个节点

• P和Q

• 边缘重量

这部分内容很重要，因为是 node2vec 的本质，如果不完全了解采样策略背后的思想。使用采样策略。

在机器学习图数据几乎无处不在，但虽然 node2vec 算法现在还不那么流行，因为是基于图相信会有好的未来。该算法灵活性源于可以调整超参数，而且可以决定要嵌入哪种信息来构造适合不同场景的 node2vec。