https://www.zhihu.com/question/20830906/answer/681688041
优缺点： https://blog.csdn.net/qfikh/article/details/105227754

推荐模型的关键点：

1. 如何做特征的embedding？
2. 特征之间的关系如何获取？
   在图像中天然的相邻的像素相关性更强； 在nlp中有时序关系，在推荐中，特征数量很多，如何获取特征见的关系？--》二阶的特征融合（FM系列） 多阶的特征融合（dnn等）
3. 如何设计目标？ point-wise; pair-wise; list-wise

deep crossing

embedding层+stack层+残差层+输出层
特征的embedding： 输入one-hot, relu(wx+b)得到
特征交叉： 完全依靠深度网络

FNN

使用预训练的fm，得到embedding，然后作为dnn的输入
特征交叉： 依赖fm

PNN

在embedding和全联接中间，加入product层
特征交叉： 依赖product操作

wise&deep: （2016）

浅层的记忆能力 + 深层的泛化能力
wise部分：输入包括x 和 f(x), x是d维特征向量， f(x)是k维特征转化函数向量
deep部分： 全联接
损失函数： 加权求和
优化方法： wise部分：ftrl； deep：adagrad

deepFM（2017）

在wise&deep的基础上，wise部分做调整，wise&deep中wise是组合特征；
deepFM中wise用fm代替

deep&cross（2017）----DCN

用cross网络代替wise部分

NFM

在embedding和hidden layer之间加入 bi-interaction pooling---二阶隐向量相乘

AFM

paire-wise interaction layer: m个输入向量embedding--》得到m(m-1)/2个组合向量
attention-based pooling layer: 输入：m(m-1)/2个向量，每个k维度；---》输出k维向量
attention的学习： attention network---relu的单层网络

DIN（2018阿里）

embeeding层和concate之间加入attention unit

DIEN（2018阿里）

引入序列模型augru---模拟用户兴趣进化