FM公式推导

作者: 小幸运Q | 来源:发表于2020-08-26 12:52 被阅读0次

我们只讨论二阶多项式

image.png

计算复杂度 $O(kn^2)$ ，不过没关系，可以用另外的方法降到 $O(kn)$ ，k是隐向量 $v_{i,f}$ 维度，原理如下：

image.png

$\sum_{i=1}^{n} {\sum_{j=i+1}^{n} <v_{i},v_{j}>x_{i}x_{j}} = \frac{1}{2}\sum_{i=1}^{n}{\sum_{j=1}^{n}{<v_{i},v_{j}>x_{i}x_{j}}}-\frac{1}{2}\sum_{i=1}^{n}{<v_{i},v_{i}>x_{i}x_{i}}$

$=\frac{1}{2}(\sum_{i=1}^{n}{\sum_{j=1}^{n}{\sum_{f=1}^{k}{v_{i,f}v_{j,f}x_{i}x_{j}}}}-\sum_{i=1}^{n}{\sum_{f=1}^{k}{v_{i,f}v_{i,f}x_{i}x_{i}}})$
$=\frac{1}{2}\sum_{f=1}^{k}{((\sum_{i=1}^{n}{v_{i,f}x_{i}})(\sum_{j=1}^{n}{v_{j,f}x_{j}})-\sum_{i=1}^{n}{v_{i,f}^2x_{i}^2})}$

上式中的i跟j效果一样，将j用i替换

$=\frac{1}{2}\sum_{f=1}^{k}{((\sum_{i=1}^{n}{v_{i,f}x_{i}})^2-\sum_{i=1}^{n}{v_{i,f}^2x_{i}^2})}$

采用随机梯度下降法SGD求解参数，对v(i,f)的二阶导求导

观察上式可知，只要 $x_i \ne 0$ 即可训练，非常适合稀疏数据。

网友评论

本文标题：FM公式推导

本文链接：https://www.haomeiwen.com/subject/kzbyrktx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

FM公式推导

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读