dssm以及变种

简介

• 发表于CIKM2013' ,论文地址为Learning Deep Structured Semantic Modelsfor Web Searchusing Clickthrough Data

• 模型结构

  
  DSSM结构

优缺点

优点

• DNN部分的所有权重都是共享的
• wordhash能很好的对原始输入进行降维(500k->30k)，而且能解决一些新词的问题
• 利用了点击数据来进行有监督的训练

缺点

• DSSM采用了词袋模型，损失了上下文信息
• 无法加入更多的信息

变种

对DSSM的优化出现了很多的变种，有CNN-DSSM，LSTM-DSSM，MV-DSSM等。大多对隐藏层做了一些修改，原论文如下：

• CNN-DSSM：http://www.iro.umontreal.ca/~lisa/pointeurs/ir0895-he-2.pdf
• LSTM-DSSM：https://arxiv.org/pdf/1412.6629.pdf
• MV-DSSM：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/frp1159-songA.pdf
• 对于中文，由于常用的单字为 1.5 万左右，而常用的双字大约到百万级别了，所以这里出于向量空间的考虑，采用字向量（one-hot）作为输入，向量空间约为 1.5 万维。

实践中的优化

-百度这个做了很多优化，比如框架架构、相似计算结构等等，此外，我们还发现字粒度下有很好的泛化性，能很好的弥补词粒度输入的不足，如切词的错误和未登录词 OOV 问题。百度NLP | 神经网络语义匹配技术

• 淘宝这个优化主要在训练样本获取和模型结构上。深度语义模型以及在淘宝搜索中的应用

TODO

MV-DSSM其实是一个多模态+迁移学习，使用multi-view DNN模型构建推荐，包括app、新闻、电影和TV，相比于最好的算法，老用户提升49%，新用户提升110%。
参考链接：https://blog.csdn.net/shine19930820/article/details/78810984