这是一篇重点放在phrase embedding上的论文。这篇论文的基本思想似曾相识，都是采用了语义的双语对其学习。

Bran

第一遍阅读

1.1 论文类型

  这是一篇提出模型，并且加以验证的论文。

1.2 论文领域

  这篇论文主要关注语义表示（Semantics Representation），即使用一个向量来表示一个基本文本单元的语义信息。该论文研究的是短语的语义表示。

  该论文是在机器翻译的背景中进行的探究，在2014年的学术环境中，短语是机器翻译的重要输入。

1.3 假设正确性讨论

  这篇论文的最大的假设是，每个短语在空间中都有一个单独的语义表示，而如果双语语料库中对应的也有这么一个短语，那么这两个短语的向量表示应该非常接近。

例子

1.4 主要贡献

  论文指出，在这之前也有很多人提出了短语的向量表示方法，但大多存在这样两个问题：只捕获了短语的某一方面信息（情感，顺序等等）；加入了过多的假设（Inductive Bias；比如word2vec中使用了ngram的形式，只能捕获连续型的短语）。而该论文则是恰恰解决了这样两个问题。

1.5 几点疑虑

  如果想要建立一个这样的模型就需要回答如下几个问题：双语语料库从哪里来？短语从哪里获得？这种训练方法完全是根据短语内部的情况得到的embedding?不考虑任何环境的因素？模型结构是怎样的？

---

第二遍阅读

第二遍阅读，我们首先来解决一下上面提到的一个问题：模型结构是什么样的？怎么得到的短语的embeddings？并且看看是怎么学习的。

模型结构

  其实嘛，描述一个模型的方法就是看看我们有什么，然后看看我们要什么，最后看看该怎么利用我们有的东西去得到我们要的东西这样一个完整的过程。现在我们来看看，我们有的是word embeddings，短语的单词表示；我们想要的是最终短语的向量表示。

  该论文呢，采用了Socher大神提出的Recursive的模型。过程很简单，拿到一个短语，我们先把里面包含的单词全都用词向量表示，然后拿出前两个拼接一下再激活一下，得到一个结果向量。结果向量和下一个单词的词向量再拼接一下激活一下，又得到一个结果向量。结果向量....后面想必是不用再说啦。简单吧，最终可以说是构成了一个二叉树。

模型基本过程

  讲到这里我们可以回顾一下，就是从词向量到句子或者短语向量的转换出现了三大类的方法：一种呢bag of embeddings的方法，直接求个平均啦，求个和啦等等；一种是这种tree recursive的方法；还有一种就是基于语法分析树的方法，这种方法嫩就深深地植根于语法和语言学知识的范畴啦。各有好处，积累！

学习方法

  有了模型，就必须要有配套的学习方法去不断地调整模型的参数，从而最终可以获得一个最佳的模型。所谓的学习嘛，现在都是梯度下降！！！各种花式梯度下降！所以我们这里虽然说是学习方法，但是实际上就是定义损失函数！！！

  该论文的损失函数呢是在原来Socher大神的基本思路上进行改造之后得到的。Socher大神创造性的提出了Reconstruction Error。其基本思想呢是这样的，我们怎么评价我们生成的这个表示representation是有效的呢？很简单，如果我们能够利用这个表示方法把我们原来的单词再生成出来，那么说明我们这个玩意捕获了超级多的语义信息哎！

  有了Richard大神的这个思路之后呢（无监督），后来人们又搞了一些半监督的，比如除了这个重构损失之外，我们再利用最终的向量去搞个情感分析哇啥的，这样就可以搞出来一个语义损失。

  作者呢，继承了这些思想，利用双语语料库增加了双语损失，就是同时在双语语料库中训练两个平行的模型，然后分别生成一个短语向量，向量的距离作为双语损失（注意论文到这里多想了一步，认为这两个向量并不在同一个向量空间上，所以采用了一步变换函数）。当然啦这里还使用了max margin的思想，要和其他的短语生成的向量距离最大！这个思想见怪不怪啦，这里也不多说了。

学习方法

---

第三遍阅读

3.1 数据准备

数据集

  土豪都是用收费的数据集哎，让我等穷鬼情何以堪。这里用的是LDC的中英文双语语料库。

  然后呢，这些phrase 我们也不是都会拿来搞翻译啦。在这里采用剪枝的策略。短语的剪枝方法很多，以前呢主要就是采用的各种跟概率相关的算法来剪枝，减掉的都是一些不常用的短语啦啥的。在这里我们采用训练好的模型和representation，把这些representation利用变换函数去变换到另外一个语言上的向量表示，求两种表示的距离。这个距离呢可以反应我们双语语义的捕获程度，所以我们在这里将会利用这个距离进行剪枝。同时这个距离还可以作为我们后面进行翻译的概率来进行假设的筛选啊什么的。

3.2 评价标准

  上面的图一起连评价标准都写出来啦。这里因为是个翻译任务，所以评价标准用的是经典的大小写敏感的BLEU得分。

3.3 Baseline

  好像没有明确说基准线是什么模型哎，只说是这个人分享给他们的。这不重要也就不纠结啦。

Baseline

3.4 实验结果

直观的效果

BLEU得分

总结和收获

  这篇文章最让我印象深刻的是这一段的论说。在这里，作者指出，我们也想搞半监督的学习哇！那么有什么比整个情感分析更好的吗？有！ 就是和直接和真实的语义表示相对比！ 但是没有这种鬼东西哇！有的！虽然没有最终的语义表示形式，但是我们知道双语的表示出来应该是语义上一样的，所以对应的语义的表示应该在空间上是同一个点或者说至少应该离得非常近才对。所以我们用双语语料库互相作为比较标签。 Bravo!

论说思路

  另外一个重大发现，就是Socher大神的重构损失这一思想。空手套白狼哇少年。能包含最多的语义，就能够给我重构出来！6666，学习了。

&esmp; 还有一个我比较关注的点在于，在这篇论文中提到，由于Socher大神的递归计算方法自始至终使用的是同一个矩阵，所以如果面对的长句子将会出现效果不佳的情况，是这样吗？LSTM？

论文缺陷