论文链接：https://arxiv.org/pdf/1710.07210.pdf
多任务文本分类利用任务之间的隐式关系，可以提取通用特征。之前的研究都是将每个任务的label当作独立的，并且表示为没有意义的one-hot向量。会造成潜在信息的丢失，并且造成联合学习三个任务的困难。本文中，我们提出一个Multi-task label embedding来将labels转换为semantic vectors(语义的向量)，因此将之前的任务转换成vector matching任务。本文实现来无监督，有监督和半监督的模型 of Multi-Task Label Embedding。利用任务之间的语义相关性(semantic correlations)，多任务可扩展。
word embedding：utilize some lower layers to capture common features that are further fed to follow-up task-specific layers. 然而现有的模型有如下缺点：
1. 缺少label信息 2. incapable of scaling不能缩放 3. incapable of transferring不能迁移
本文的contribution：
1. 将每个任务的label映射到低纬，稠密的，real-value向量，with semantic implication语义涵盖。 2. 新任务进入后可扩展，网络结构不需要修改，只需要数据 3. 在训练多个任务之后，对于新任务，模型可以迁移，不需要额外训练。 4. 在很多数据集都有很好的效果，超过很多state-of-the-art baselines。
多任务学习的三个角度：
multi-cardinality：多基数， 序列长度不同，类别个数不同
multi-domain：多领域，books、DVDs
multi-objective：多目标，sentiment analysis，topic classification，question type judgement
方法：
在很多NLP任务中，都是将变长的词序列变成定长的向量，例如neural bag-of-words(NBOW)，recurrent neural networks(RNN)，recursive neural networks(RecNN)，convolutional neural network(CNN)。
这些模型首先用pretrained lookup layer将词序列，n-grams或者其他语义单元(semantic units) 转换成embedding representations
然后通过神经网络理解向量序列 vector sequences
最后使用一层softmax层来预测类别分布。
Recurrent Neural network：
rnn
！！！f is usually a composition of an element-wise non-linearity with an affine transformation of both xt and ht-1
Multi-task label embedding：
将每个任务的label转换成具有语义隐含的一个低维度，稠密的，real-value向量。所以揭露了任务内和任务间的关系。
embedding包括三部分：Input Encoder，Label Encoder, Matcher
matcher：做向量匹配 ？
model-I: unsupervised
使用输入序列和分类的label作为所有数据集，训练embedding model Eunsup，包含了不同任务的上下文特征。embedding model 得到 input的和label的 Lui, Lul
为了得到Lei和Lel，将序列中的向量求和然后求均值，因为没有任何supervised annotation标注。
对于matcher，D(Xk, Yk)，计算Cosine相似度或L2距离，选择与Xk最近似的Yk
~感觉这句话写的很好，记录下来(Model-I may fail to achieve adequately satisfactory performances due to employments of so many unsupervised methods, but can still provide some useful insights when no annotations are available at all)
Model-II：supervised
M2m*1 是 matcher
公式15中的y是真实label的one-hot representation
目标函数
当一个新任务来的时候，如果在先前参数的基础上继续训练----Hot Update
如果re-train----cold update
Model-III：Semi-supervised
模型三和模型二唯一的区别是如何处理新任务，如果新任务是没有标注的，对每个输入序列挑选最好的label，without further training，定义为zero update。
网友评论