背景
当前文本分类的方法和框架有很多，但往往缺乏了对label本身的关注，所以分享一篇相关的论文，希望抛砖引玉。原文名称：《GILE: A Generalized Input-Label Embedding for Text Classification》。
目的
本文就是使用了一些新的连接input和label的方式，更好地去做文本分类，同时也能应用于unseen的样本中。
模型
1.先获取label的embedding; ε ∈ IR|Y|×d ，其中label的每个class的embedding就是label每个word的embedding的平均。
2.再将Input的document做成向量 h ∈ IRdh，这个h是将word—(全联接) —> sentence —(全联接) —> document.
3.Label的部分，通过U ∈ IRd×dj 和 bu ∈ IRdj ，将每个类的ej进行点乘U，再加上b，再经过relu/Than得到新的向量ej‘(1, dj). 经过Y个类的处理后
得到ε’ ∈ IR|Y|×dj
4.Input document的部分，通过V ∈ IRdj×dh 和 bv ∈ IRdj ，再经过relu/Than得到h‘(1, dj).
计算概率.png
5.计算联合goint . 将每个ej’(1, dj)和h‘(1, dj)做点乘得到一个scala值再加上b得到Pval; 将h’跟每个类算一个Pval，得到Y个Pval。
联合概率
6.最后再把每个Pval过一个sigmoid得到一个(0,1)的值，通过对比1个document和不同class的Pval值的大小来判断这个document更属于哪个class.
计算所有类别的概率值
总体来说，模型架构如下
模型结构
关于Unseen class：因为U和b是共享的，而且label的embedding当作一个整体，所以，新的label加入也当作一个整体进行计算，这样就能够计算新的label与输入document的Pval值.
网友评论