美文网首页机器学习常用算法
[FM]从线性回归到FM模型

[FM]从线性回归到FM模型

作者: 安琪拉的小迷妹 | 来源:发表于2019-05-22 21:50 被阅读0次

一.线性回归

线性回归是万物之源,其基本思想贯穿了很多算法的推导中。

线性回归的模型是:

\hat{y} (x)=\sum_{i=1}^n w_{i}x_{i}   +\xi _{i}                                         (1)

其中,\xi _{i} 表示误差。根据中心极限定理,误差服从正态分布,其概率分布为:

https://www.jianshu.com/p/6c9af5a1386b

用梯度下降法,更新的函数为:

参考博客:

https://www.jianshu.com/p/6c9af5a1386b

二.FM

https://blog.csdn.net/u013749251/article/details/80906213

1.当x为0时,偏倒数为0,梯度无法更新,即无法求出参数值。

2.若P为满秩矩阵,则P可分解为 P=AB的形式。(线性代数)

https://www.jianshu.com/p/152ae633fb00

三FM模型代码

https://www.jianshu.com/p/556997127319"

相关文章

  • [FM]从线性回归到FM模型

    一.线性回归 线性回归是万物之源,其基本思想贯穿了很多算法的推导中。 线性回归的模型是: ...

  • 推荐系统陈开江 - C6 模型融合

    哪几个部分?一阶模型融合,线性模型树模型二阶模型融合,FM高阶模型融合,Wide and Deep 1 线性模型和...

  • FFM算法

    1、FM 1.1 背景 1.1.1 线性模型 常见的线性模型,比如线性回归、逻辑回归等,它只考虑了每个特征对结果的...

  • 0111:FM\LR模型

    FM\LR模型 1、FM模型 参考资料: 1、一文读懂FM模型https://zhuanlan.zhihu.co...

  • FM模型

    FM模型相比普通的线性模型,多了二阶项,是一个二阶多项式模型。 从实际经验来看,线上有很多id类特征,catego...

  • 深度学习CTR预估(四)——AFM及其tensorflow实现

    1、FM回顾 1.1 引言 FM是一种监督学习,在线性单特征模型中加入了二阶特征交互,但是两两特征交互有个明显的缺...

  • FM模型简介与推导

    一、FM简介 在一般的回归线性模型中,模型可表示为然而这样的线性模型并未考虑到特征与特征之间交叉的影响,当加入特征...

  • FM算法详解(因子分解机)

    什么是FM? FM即Factor Machine,因子分解机。 任意的N×N 实对称矩阵]都有 N 个线性无关的特...

  • fm模型简述

    1、fm模型的优点 (1)在特征极其稀疏的情况下也能进行参数预估 (2)时间复杂度低,在线性时间复杂度下即可完成模...

  • FM模型的算法思想

    本章涉及到的知识点清单:1、LR模型方程2、多项式模型方程3、FM模型方程4、矩阵分解5、FM模型化简6、损失函数...

网友评论

    本文标题:[FM]从线性回归到FM模型

    本文链接:https://www.haomeiwen.com/subject/idupzqtx.html