基于矩阵分解的图算法

作者: 热爱生活的大川 | 来源:发表于2021-12-02 16:49 被阅读0次

基于矩阵分解的图算法
算法笔记（1）-常用推荐算法总结
矩阵分解的一点总结
词向量学习算法 Glove
基于矩阵分解的推荐算法
1.推荐算法串讲
2018-12-23 MF Basic
什么是MUSIC算法
开源工具框架
矩阵代数（五）- 矩阵因式分解

基于矩阵分解

快速简洁，但属性信息与结构信息的融合比较困难。

1. Skip-Gram with Negative Sampling (SGNS)

损失函数

将中心词 $w$ 与上下文 $c$ 的共现概率用sigmoid表示为
$\delta(\vec{w}^T\vec{c}) = \frac{1}{1+e^{-\vec{w}^T\vec{c}}}$
随机抽取k个负样本，则损失函数可写为
$L = -\sum_w \sum_c d(w,c)\left[ \log(\delta(\vec{w}^T\vec{c}))+k\mathbb{E_{c_n \sim P_D}}\log(\delta(-\vec{w}^T\vec{c_n})) \right]$

使用 $d(c)$ 表示语料中包含上下文 $c$ 的组合数量， $D$ 表示语料中所有 $(w,c)$ 组合对的集合， $c_n$ 为采样到的上下文向量，服从分布 $P_D=\frac{d(c)}{|D|}$ 。

负样本损失表示为 $\delta(-\vec{w}^T\vec{c})$ 有利于后续推导。

等价于SPMI的分解

对 $L$ 中的 $(w,c)$ 进行合并同类项，得到

$L(w,c) = d(w,c)\log(\delta(\vec{w}^T\vec{c}))+kd(w)\frac{d(c)}{|D|}\log(\delta(-\vec{w}^T\vec{c}))$
对 $x=\vec{w}^T\vec{c}$ 求导等零，得
$x=\vec{w}^T\vec{c}=\log(\frac{|D|d(w,c)}{d(w)d(c)})-\log(k)$
正好是逐点互信息(Pointwise Mutual Information)矩阵漂移Shifted了 $log(k)$ ，即SPMI。

PMI中元素为 $PMI(x,y)=\log\frac{P(x,y)}{P(x)P(y)}$ 。

PMI矩阵中的无关向量为 $-\infty$ ，可以规定只要positive，得到PPMI，即 $PPMI=max(PMI,0)$ 。

两者结合，得SPPMI(Shifted Positive PMI)矩阵，即 $SPPMI_k(w,c)=max(PMI(w,c)-log(k),0)$ 。

这里证明为了方便，只在两个节点之间进行了化简和推导，其中softmax退化为了sigmiod。

同样可以证明，基于Hierarchical Softmax的Skip-Gram分解的矩阵是
$M_{wc} = \log(\frac{d(w,c)}{d(w)})$

中心词向量 $\vec{w}$ 矩阵 $W=[\vec{w_1},\vec{w_2}...]$ ，上下文向量 $\vec{c}$ 矩阵 $C=[\vec{c_1},\vec{c_2}...]$ ，记SPMI为 $A$ ，则分解任务为
$A_{n \times n} = W_{d \times n}^TC_{d \times n}$
加上正则项后，优化目标为
$L = ||A-W^TC||_F^2 + \frac{1}{2}(||W||_F^2+||C||_F^2)$

2. DeepWalk

DeepWalk

从每个节点出发n_walks次，每次均匀采样连接节点，延申长度达walk_length后停止一次游走，生成一个序列。对采样的序列，使用word2vec的skip-gram直接训练。

Node2Vec

改进游走方式，以便相似节点和同一社区节点更接近。

广度优先策略，使同一社区节点更接近；
深度优先策略，使不通社区内的相似节点更接近。

假设已由 $t$ 走到 $v$ ，下一个节点用 $x$ 表示，则游走方向由下式控制
$a_{pq}(t,x) = \begin{cases} \frac{1}{p} & d_{tx}=0\\ 1 & d_{tx}=1\\ \frac{1}{q} & d_{tx}=2 \end{cases}$
其中 $d_{tx}$ 表示从 $t$ 到 $x$ 的最短路径长度。同时可以考虑边权重。

3. Text-Associated DeepWalk (TADW)

DeepWalk的本质是在近似重建 $t$ 步共现概率矩阵。结合Hierarchical Softmax的Skip-Gram分解的矩阵
$M_{wc} = \log(a_{wc}) \\ a_{wc} = \frac{d(w,c)}{d(w) }$
我们只需要找到 $a_{wc}$ 的合理表达，即可直接通过矩阵分解解决问题。

对DeepWalk，假设只走1步，不妨设为 $w$ 到 $c$ ，则两点共现的条件概率应为 $a_{wc}=1/d_w$ ， $d_w$ 为节点 $w$ 的出度。我们将对应的标准化的邻接矩阵记为 $A$ 。与PageRank所使用的矩阵一致。

于是 $t$ 步共现概率矩阵和要分解的矩阵是
$\hat{A}=(A+A^2+...+A^t)/t \\ M = \log(\hat{A})$
相应的损失函数为
$L = ||M-W^TC||_F^2 + \frac{1}{2}(||W||_F^2+||C||_F^2)$
融合属性矩阵 $S$ 则为
$L = ||M-W^TCS^T||_F^2 + \frac{1}{2}(||W||_F^2+||C||_F^2)$