论文
代码
一、背景
词的向量表示,在很多NLP任务中常用预训练好的词向量表作为模型的输入。该论文提出了一个A La Carte词向量表示模型,相对于word2vec,它利用了更多的词的上下文信息。实验数据使用的是SemEval 2013、2015比赛的多语言词义消歧任务(Mutilingual Word Sense Disambiguation Task),包含5种语言,英语、法语、德语、意大利语、西班牙语。
二、模型
假设:
1)有一个大的文本语料集={,,...}
2)文本语料集中的词w,构成一个词表V
3)词w的上下文词序列用c表示,它由固定大小的窗口截取而来
4)模型需要训练的词向量,词向量表为vw,模型的目标是训练出一个好的文本特征表示
网友评论