模型
Wide模型-Deep模型-Wide&Deep模型
上图讲得十分清楚：
第一层(最下层)黄点和灰点，表示稀疏离散特征。
第二层表示对稀疏离散特征embedding后的稠密特征向量。
第三层就是深度模型，这里使用了ReLu激活函数
第四层就是输出单元，sigmoid激活也可以认为是LR
- 1，最左边的Wide模型其实就是LR模型。最右面Deep模型其实就是深度模型了。中间是两者结合的Wide&Deep模型，其输出单元接收的是左右两部分输出的拼接。
-
2，对于两部分模型(Wide,Deep)的输入，看下图
Wide&Deep具体应用模型
这是google paly 商店的推荐应用，wide模型和deep模型接受了不同的特征。
deep模型直接接收连续特征和embedding后的离散特征。其输出的即
wide模型只接受了部分离散特征：user installed app即用户安装的app，impression app即用户看到的被展示的app(看到了但没下载)，以及这两部分特征的交叉。其输出即
其中
是交叉特征。
优化
最终模型输出是
每一批数据，模型同时优化只是在优化算法上
使用Follow-the-regularized-leader (FTRL)+L1正则 FTRL优化算法
使用AdaGrad
注意这里的同时优化，google论文中叫joint training(联合训练)。并非ensemble(集成学习)
这是因为对于集成学习，每个子学习器的训练都是独立的，两个子学习器参数不会一起训练。
而联合训练指参数是同时更新的。
Embedding 层
- 为什么需要做embedding？
超高维度的稀疏输入输入网络，将带来更高维度的参数矩阵，这会带来更大的计算压力。所以神经网络更善于处理稠密的实值输入。所以，需要对稀疏的离散特征做embedding - 怎么做embedding？
- 1，离线提前做embedding，例如对于词的嵌入可以使用Word2vec对词做嵌入。也可利用FM先学习好稀疏特征的隐向量。
- 2，随机初始化。之后跟着模型参数一起训练。其实1中无论是word2vec还是FM，也是一开始随机初始化，然后训练学习而来。这是最常用的方法。
在wide&deep中，embedding是随机生成的，并在接下来的训练中更新
The embedding values are initialized randomly, and are trained along with all other model parameters to minimize the training loss.
通常会用
tf.feature_column.embedding_column(categorical_column,
dimension,
combiner='mean',
initializer=None,
ckpt_to_load_from=None,
tensor_name_in_ckpt=None,
max_norm=None,
trainable=True)
注意参数trainable=True即默认会继续训练这个embedding
而当设置trainable=False时，一般配合已经训练好的embedding
讨论
- wide与deep分别代表了什么？
wide是简单的线性模型，他会记住训练数据中已经出现的模式，并赋予权重。这代表了记忆
deep是深度的复杂模型，会在一层层的网络中计算出训练数据中未出现的模式的权重。这代表了泛化
这里的模式，可以简单理解为特征组合。
Wide侧就是普通LR，一般根据人工先验知识，将一些简单、明显的特征交叉，喂入Wide侧，让Wide侧能够记住这些规则。
Deep侧就是DNN，通过embedding的方式将categorical/id特征映射成稠密向量，让DNN学习到这些特征之间的深层交叉，以增强扩展能力。
-
但其实deep模型本身也会记住已出现的模式并进行训练吧？相当于低阶特征也可以得到有效利用，为什么还要加上wide模型呢？
可能原因：deep模型可解释性不强。wide模型可解释性强。通过wide模型可以挑选出权重较高的低阶特征。同时，对低阶特征另外单独建模，也是很有可能提高精度的。 -
其他
https://zhuanlan.zhihu.com/p/47293765
相比于实数型特征，稀疏的类别/ID类特征，才是推荐、搜索领域的“一等公民”，被研究得更多。即使有一些实数值特征，比如历史曝光次数、点击次数、CTR之类的，也往往通过bucket的方式，变成categorical特征，才喂进模型。
推荐、搜索喜欢稀疏的类别/ID类特征，可能有三方面的原因：
https://zhuanlan.zhihu.com/p/47293765
1,LR, DNN在底层还是一个线性模型，但是现实生活中，标签y与特征x之间较少存在线性关系，而往往是分段的。以“点击率-历史曝光次数”之间的关系为例，之前曝光过1、2次的时候，“点击率-历史曝光次数”之间一般是正相关的，再多曝光1、2次，用户由于好奇，没准就点击了；但是，如果已经曝光过8、9次了，由于用户已经失去了新鲜感，越多曝光，用户越不可能再点，这时“点击率~历史曝光次数”就表现出负相关性。因此，categorical特征相比于numeric特征，更加符合现实场景。
2,推荐、搜索一般都是基于用户、商品的标签画像系统，而标签天生就是categorical的
3,稀疏的类别/ID类特征，可以稀疏地存储、传输、运算，提升运算效率。
参考
https://blog.csdn.net/google19890102/article/details/78171283
https://zhuanlan.zhihu.com/p/47293765
Wide & Deep Learning for Recommender Systems - - Google
FTRL优化算法
tensorflow_wide&deep.md
wide_deep的一个实现
网友评论