2018 · EMNLP · Learning Generic Sentence Representations Using Convolutional Neural Networks ·

想法来源：使用auto-encoder结合skip-thought的思想迁移学习来表示句子

价值：同时预测上下文，可以提升句子表示的能力。

方法：使用auto-encoder结合skip-thought的思想迁移学习来表示句子

缺点：auto-encoder所能获取到的信息太少

详细方案：

1. 使用CNN对句子进行表示
2. 使用LSTM对句子进行decode
3. 另外一个LSTM来完成skip-thought任务

文中作者还提出来一个分层级模型，word->sentence->paragraph，可以利用到更多的上下文信息
encode当前句子的信息，会有两个层级的两个LSTM做decode。
一个LSTM用来表示新的句子级别的隐藏层表示。它的输入是上一个句子decode的最后一个状态和CNN对当前句子的encode。
一个LSTM用来decode句子。

数据集：
在 BookCorpus dataset 做迁移训练
MR (Pang and Lee, 2005),
CR (Hu and Liu, 2004),
SUBJ (Pang and Lee, 2004),
MPQA (Wiebe et al., 2005),
TREC (Li and Roth, 2002)
实验：
几个表示任务

几个表示任务

COCO数据集

COCO数据集

SICK相似性

SICK相似性