论文笔记之Deep & Cross Network for Ad

Deep & Cross Network for Ad Click Predictions

目标：CTR预估。
本文提出了Deep & Cross Network(DCN)能够在稀疏的inputs上做自动的特征学习。

DEEP & CROSS NETWORK (DCN)

dense feature直接用，sparse feature做embedding。

xi表示第i个特征的binary input，W (ne * nv维)是对应的embedding matrix，和网络中的其他参数一起优化，ne是embedding size，nv是vocabulary size。
把embedding和dense feature stacking起来，作为最终的input。

Cross Network

cross network是这篇paper的核心创新点，通过cross network来进行显式的特征交叉。cross network由多个cross layer组成，每一层的计算公式为

w是weight，b是bias。f其实是在拟合x_(l+1) - x_l的残差。(我感觉这种结构设计是非常有助于防止过拟合的。)
cross layer的可视化图

Deep Network

deep network部分就是一个全连接的前馈网络，激活函数f用relu

Combination Layer

把两边的输出stacking起来，做sigmoid

损失函数用log loss加上L2正则项

需要注意的是，网络的两个部分是joint training的。