作者：HaigLee
https://www.jianshu.com/u/67ec21fb270d
本文由 HaigLee 发布。未经许可，禁止转载。

推荐模型特点

在推荐系统中，模型在训练学习中具有以下特点：
1）包含大量的离散特征，如：人口属性、设备属性、用户分类兴趣等；
2）包含大量高纬度的稀疏特征；
3）特征交叉或组合对预测效果非常关键。
对于一个基于CTR预估的推荐系统，最重要的是学习到用户点击行为背后隐含的特征交叉。在不同的推荐场景下，低阶特征交叉或者高阶特征交叉可能会对最终的CTR产生影响。

交叉特征

因子分解机算法通过对特征的隐变量进行内积操作来提取特征组合，即特征交叉。虽然从理论上来讲，FM可以对高阶特征交叉进行建模，但实际上由于计算复杂度的原因，一般都只用到二阶特征交叉。阶数越高越复杂，越不容易学习。Google的相关论文研究得出的结论是，高阶的交叉特征和低阶的交叉特征都非常重要，同时学习到这两种交叉特征的性能要比只考虑其中一种性能好。

高效提取交叉特征

现在的关键问题转化成为，如何高效的提取这些特征。如何高效地提取这些交叉特征。一种办法就是引入领域知识的人工特征工程建设。这样做的弊端是高阶交叉特征非常难提取，会耗费极大的人力。而且，有些交叉特征是隐藏在数据中的，即使是专家也不一定能提取出来，比如著名的“尿布与啤酒”问题。除此之外，对于高阶的交叉特征来说，我们很自然的想法是，通过深度神经网络即DNN来解决。

提取交叉特征方法

为了解决高效地提取这些交叉特征的问题，学术界和工业界提出了许多方法：LR、FM、FFM、FNN、PNN(IPNN、OPNN、PNN*)、NFM、AFM、Wide & Deep、DeepFM、DCN、DIN。其中，部分模型在CTR或者推荐模型中被广泛使用。

作者：HaigLee
https://www.jianshu.com/u/67ec21fb270d
本文由 HaigLee 发布。未经许可，禁止转载。