导读
最近在做中文词向量相关工作，其中看了一些中文词向量的相关论文，在这篇文章，将把近几年的中文词向量进展及其模型结构加以简述，大概要写3-4篇综述，每篇包含2-3篇论文。
一、Enriching Word Vectors with Subword Information
论文来源
这是一篇2017年发表在ACL(Association for Computational Linguistics)会议上的论文，作者来自于Facebook AI Research --- Piotr Bojanowski ，Edouard Grave 。
Abstract
这篇论文虽然是针对英文等西方语言提出的想法，但是后面cw2vec将这个idea在中文词向量上进行了应用，在这里还是简单的介绍一下。
在英文中，每一个单词由若干个字母组成，单词的词义和其中的组成是有很大的关系的，这篇论文的核心思想就是采用单词的n-gram特征学习词向量的表示，并取得了很好的实验效果。
Model
这篇论文提出的方法也很简单，在每个word的前后分别添加< 与 >字符，作为这个单词的开始于结束，还有就是对于只有一个字母的word进行表示，然后抽取其n-gram词袋特征，具体来说，以3-gram为例，单词where，可以被表示成，单词a，可以表示为，这篇论文抽取的是3 至 6的n-gram，那么where的所有表示就是，3-ngram：，，5-gram：，6-gram：，以上就是where的所有表示，除此之外，还把原单词加入到n-gram中，最后word采用的是所有的n-gram的和。
这篇论文没有提供模型结构图，但是都是基于CBOW和skipgram进行的改善。
Experiment Result
这篇论文的实验部分，不仅仅在Human similarity judgement 和 Word analogy tasks两个任务上面做了比较，还包含了其他的对比实验，并且是在多种语言进行了实验，具体的实验结果如下图所示，其中sg代表skipram，sisg-代表的是对那些不在评测文件中出现的词采用不做处理，sisg代表的是不在评测文件中的词采用n-gram加和表示。
Human similarity judgement
Word analogy tasks
二、 cw2vec: Learning Chinese Word Embeddings with Stroke n-gram Information
论文来源
这是一篇2018年发表在AAAI 2018(Association for the Advancement of Artificial Intelligence 2018)会议上的论文，作者来自于蚂蚁金服人工智能部 --- 曹绍升 。
详解
这篇我在前面已经对其理论进行了总结，并且实现了一个C++版本，具体的可以查看，cw2vec理论及其实现。
三、Radical Enhanced Chinese Word Embedding
论文来源
这是一篇2018年发表在CCL2018(The Seventeenth China National Conference on Computational Linguistics, CCL 2018)会议上的论文，作者来自于电子科技大学 --- Zheng Chen 和 Keqi Hu 。
Abstract
这篇论文是我最近整理的时候看到的，也算是最新的中文词向量论文了，在这里也简单的看一下。
在这篇论文中，考虑了中文汉字内部丰富的语义信息，通过新的方法抽取特征，提出了新的学习中文词向量的方法，在Word Similarity 和 Word Analogy上面验证其效果。
Model
模型是基于CBOW来进行的改进，通过Radical（部首）来增强word embedding，称之为RECWE模型，具体的模型结构如下图所示，模型结构分为了两个部分：
左边的是word prediction module，是一个典型的CBOW模型结构，其中w_i代表的是目标词，w_i+1、w_i-1代表的是上下文词，h_i1代表是的上下文词的隐层表示。
右边是 sub-information prediction module，它与 word prediction module并行存在，其中的c、s、r与word prediction module 中的w相对应，分别是上下文词与目标词的character、component、radical，h_i2代表的是左右的特征隐层表示。在这部分，也存在CWE模型中一字多义，音译词等影响，他们考虑使用word来构建h_i2。
为了能够充分的挖掘内部语义信息，对radical进行了转换处理，如下图，
目标函数变化的不大，具体如下图，对 h_i1 和 h_i2 都采用了average处理。
Experiment Result
在 Word Similarity 和 Word Analogy 上验证了其实验效果。
为了验证sub-information特征的影响， 实验部分考虑了三种sub-information特征，分别为p1、p2、p3，其中p1代表的是仅仅使用上下文词的sub-information，p2代表的是仅仅使用目标词的sub-information，p3代表的是使用目标词和上下文词的sub-information。
Word Similarity采用的评测文件是wordsim-240，wordsim-296，具体的实验结果如下图。
Word Analogy采用的是Chen 2015年构造的评测文件，具体的实验结果如下图。
References
[1] Enriching Word Vectors with Subword Information
[2] cw2vec: Learning Chinese Word Embeddings with Stroke n-gram Information
[3] Radical Enhanced Chinese Word Embedding
网友评论