前言
-
ACL2020的一篇长文，主要介绍基于匹配思想进行新闻推荐改进的工作
-
该团队相关工作详见个人专题《新闻推荐研究》
-
背景/问题：
- 新闻推荐的核心是用户兴趣与候选新闻的匹配问题（matching）
- 重要的新闻语义特征也隐含在不同粒度(granularity)的文本段落中。
- 当前研究把用户表征成单一向量与候选新闻进行匹配，可能损失很多推荐的细粒度特征
-
主要工作/关键创新：
- 表征方面：提出多层级的用户/新闻表征，使用层级扩张卷积来构建表征(hierarchical dilated convolutions)
- 匹配方面：提出细粒度的兴趣匹配机制(Fine-grained Interest Matching),在多层表征的基础上构建不同粒度的文本段(特征)相似度矩阵，得到多通道的匹配度矩阵，使用3D-conv来提取高阶重要特征来预测用户和新闻的匹配程度(点击概率)
模型
整体模型架构如上所示
1. 新闻表征模块
主要使用层级扩张卷积，每层卷积得到的结果都可以作为不同粒度下的新闻特征，dilate rate越高，越能提取长期依赖；低dilate rate可以发现新闻的词汇和语义特征。
扩张卷积(空洞卷积)在NLP和CV中均有应用，具体的输入包括新闻的内容词汇和类别信息，文中将内容词和类别组成单词序列，放入HDC处理得到最终的多层新闻表征，即多粒度新闻表征
每层N个单词就会得到N个特征向量(向量维度由卷积filter数量决定)
同时，计算路径大大缩短,没有使用池化等下采样方法，降低了信息丢失的负面影响。在并行能力在减少内存消耗方面优于RNN和基于注意力的方法。
2. 交叉交互模块 Cross Interation
该模块就是将候选新闻与用户浏览过的历史新闻都进行两两相似度计算(语义相关性)，相同的特征层级进行词汇级别的相似度计算，如下式所示，利用点积计算第k个新闻的第i个词与候选新闻的第j个词的相关性
对于n个历史新闻，可以得到n个相似度模块，(L+1)N_dkN_c，N_dk与N_c分别为新闻dk和c的单词长度。如上图中中间一列的矩阵所示。
最后将这些相似度矩阵组织成3D结构的图像Q，这个需要有点变换思想，相当于原来的矩阵合并到一起应该是n(L+1)N_dkN_c，文中按照图片的组织形式进行展示，一张图片为nN_dk*N_c的三维空间，同时图片有多个通道(L+1)个：
即每个像素表示为
然后通过多层3D卷积网络来进行特征提取：
并通过最大池化层进行显著特征提取，得到最后用于预测的特征向量。
3. 点击预测
实验
数据集MSN， 羡慕啊，能多开源点么。。。
案例分析
总结
这篇文章利用HDC结构对用户建模做了改进，也使用简单粗暴的交互＋３DCNN进行了兴趣匹配／特征提取，模型相较该团队以往模型还是更有特点的。
END
本人简书所有文章均为原创，欢迎转载，请注明文章出处 。百度和CSDN等站皆不可信，搜索请谨慎鉴别。技术类文章一般都有时效性，本人习惯不定期对自己的笔记/博文进行更新，因此请访问本人简书主页查看最新信息https://www.jianshu.com/u/40d14973d97c
网友评论