Deep contextualized word represe

作者: 哒丑鬼 | 来源:发表于2018-12-05 21:02 被阅读0次

Introduction

作者认为好的word representation模型应该同时兼顾两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之改变。作者提出了deep contextualized word representation方法来解决以上两个问题。

这种算法的特点是：每一个word representation都是整个输入语句的函数。具体做法就是先在大语料上以language model为目标训练出bidirectional LSTM模型，然后利用LSTM产生词语的表征。ELMo故而得名(Embeddings from Language Models)。为了应用在下游的NLP任务中，一般先利用下游任务的语料库(注意这里忽略掉label)进行language model的微调,这种微调相当于一种domain transfer; 然后才利用label的信息进行supervised learning。

ELMo表征是“深”的，就是说它们是biLM的所有层的内部表征的函数。这样做的好处是能够产生丰富的词语表征。高层的LSTM的状态可以捕捉词语意义中和语境相关的那方面的特征(比如可以用来做语义的消歧)，而低层的LSTM可以找到语法方面的特征(比如可以做词性标注)。如果把它们结合在一起，在下游的NLP任务中会体现优势。

Bidirectional language models

ELMo顾名思义是从Language Models得来的embeddings，确切的说是来自于Bidirectional language models。具体可以表示为：
$\begin{aligned} p \left( t _ { 1 } , t _ { 2 } , \ldots , t _ { N } \right) &= \prod _ { k = 1 } ^ { N } p \left( t _ { k } | t _ { 1 } , t _ { 2 } , \ldots , t _ { k - 1 } \right) \\ p \left( t _ { 1 } , t _ { 2 } , \ldots , t _ { N } \right) &= \prod _ { k = 1 } ^ { N } p \left( t _ { k } | t _ { k + 1 } , t _ { k + 2 } , \ldots , t _ { N } \right) \end{aligned}$

其中 $\left( t _ { 1 } , t _ { 2 } , \dots , t _ { N } \right)$ 是一系列的tokens。
ELMo采用多层Bi-LSTM来构建语言模型。
假设输入的token的词向量表示为 $x _ { k } ^ { L M }$ ，在每一个位置 $k$ ，每一层LSTM上都输出相应上下文相关的表示 $\stackrel { \rightarrow } { \mathbf {h} } _ { k , j } ^ { L M }$ ， $j$ 表示LSTM的层数。LSTM的最后一层输出 $\stackrel { \rightarrow }{ \mathbf { h } } _ { k , L } ^ { L M }$ 通过softmax层来预测下一个token， $t _ { k + 1 }$
目标是最大化以下似然：

$\sum _ { k = 1 } ^ { N } \left( \log p \left( t _ { k } | t _ { 1 } , \ldots , t _ { k - 1 } ; \Theta _ { x } , \stackrel { \rightarrow }{ \Theta } _ { L S T M } , \Theta _ { s } \right)\right. + \log p \left( t _ { k } | t _ { k + 1 } , \ldots , t _ { N } ; \Theta _ { x } , \stackrel { \leftarrow }{ \Theta } _ { L S T M } , \Theta _ { s } \right) )$
其中， $\Theta _ { x }$ 代表token embedding， $\Theta _ { s }$ 代表softmax layer的参数。

ELMo

对于每一个token，一个 $L$ 层的biLM要计算出共 $2L+1$ 个representaions：
$\begin{aligned} R _ { k } & = \left\{ \mathrm { x } _ { k } ^ { L M } , \stackrel { \rightarrow }{ \mathbf {h} } _ { k , j } ^ { L M } , \stackrel { \leftarrow }{ \mathbf {h} } _ { k , j } ^ { L M } | j = 1 , \ldots , L \right\} \\ & = \left\{ \mathbf { h } _ { k , j } ^ { L M } | j = 0 , \ldots , L \right\} \end{aligned}$
其中 $\mathbf { h } _ { k , 0 } ^ { L M }$ 表示的是token embedding layer，而其余Bi-LSTM层中， $\mathbf { h } _ { k , j } ^ { L M } = [\stackrel { \rightarrow }{ \mathbf {h} } _ { k , j } ^ { L M } ; \stackrel { \leftarrow }{ \mathbf {h} } _ { k , j } ^ { L M } ]$
对于下游的具体任务，ELMo把所有层的 $R$ 压缩在一起形成一个单独的vector：
$\mathbf { E } \mathbf { L } \mathbf { M } \mathbf { o } _ { k } ^ { task} = E \left( R _ { k } ; \Theta ^ { \operatorname { tas } k } \right) = \gamma ^ { t a s k } \sum _ { j = 0 } ^ { L } s _ { j } ^ { t a s k } \mathbf { h } _ { k , j } ^ { L M }$
其中 $s ^ { t a s k }$ 是softmax-normalized的权重，而 $\gamma ^ { t a s k }$ 则允许任务模型对ELMo向量进行缩放。