在2021年AAAI会议接受的论文中，有11篇是关于文本分类任务的，比我想象中的少，或许这个方向真的被研究透。因与笔者工作项目相关，自己还是将11篇论文大致过了一篇，其中几篇进行了精读，有所启发。现将关于该任务的paper进行下汇总与整理：
ACT: An Attentive Convolutional Transformer for Efficient Text Classification
The main idea: 目前在特征学习上，Transformer已呈现取代RNN之势，而CNN关注度也被拉低，其原因是其不擅长处理全局和长序列信息(而这是Transformer的优势)，但擅长处理局部信息。基于此问题，作者将CNN与Transformer各个优势结合起来，提出一种Attentive Convolutional Transformer (ACT) 方法，能够在保留顺序信息的同时有效地捕获本地和全局依赖信息。
The model:
The main result:
Merging Statistical Feature via Adaptive Gate for Improved Text Classification
The main idea: 在做文本分类任务时，基本都是利用文本的字或词信息，或者再加一些额外的知识信息，但并没有有效的利用文本中的一些统计信息，如词的频率，词在各个label的分布信息等；根据这样的想法，作者提出Adaptive Gate Network (AGN)模型，能将文本的统计信息与文本的特征信息通过控制门机制很好的融合起来，提高文本分类的效果。
The model:
The main result:
LightXML: Transformer with Dynamic Negative Sampling for High-Performance Extreme Multi-label Text Classification
The main idea:本篇paper是解决Extreme Multi-label text Classification任务(大规模多标签的分类)，主要对标两个模型AttentionXML and X-Transformer，认为这些方法存在两个问题：(1)在数据集上要训练多个模型进行融合训练，增大训练成本；(2)在对标签进行排序的模型中，采用的是静态采样的方法，降低最终的识别效果。为此，作者提出LightXML识别框架，采用End-to-End的训练和动态采样的方法，提高XMC任务的识别效果。
The model:
The main result:
Does Head Label Help for Long-Tailed Multi-Label Text Classification
The main idea:在Multi-label text classification (MLTC)任务中，label的分布常常呈现长尾分布，即大量label只有少量样本。针对此问题，作者提出Head-to-Tail Network (HTTN) 模型，将元知识从数据丰富的头标签转移到数据贫乏的尾标签，提高尾标签的识别效果。
The model:
The main result:
Label Confusion Learning to Enhance Text Classification Models
The main idea:通常在文本分类中，使用one-hot的方式来表示真实的label，这种方式存在缺陷：不能充分反映样本与label之间的关系，过于绝对。尽管label smoothing (LS)方法可以缓解该问题，但并不能学习到样本与label之间的真实关系。基于此，作者提出 Label Confusion Model (LCM)，作为分类模型的一个提升组件，使得在训练过程中计算样本与label之间的相似度来生成标签混淆矩阵，捕获标签之间的语义重叠，并生成更好的标签分布来取代原来的one-hot向量形式。
The model:
The main result:
MASKER: Masked Keyword Regularization for Reliable Text Classification
The main idea:虽然当前预训练模型+fine-tuning方式对文本分类任务有明显的提升，但却存在不稳定性的问题，具体表现在过分依赖关键词，而不是上下文。文中作者提出masked keyword regularization (MASKER), 通过masked的方式，对关键词进行正则化，降低模型对关键词的依赖，更多利用上下文信息来预测。
The model:
The main result:
Ideography Leads Us to the Field of Cognition: A Radical-Guided Associative Model for Chinese Text Classification
The main idea:作者认为在中文文本分类任务中，词都包含有意向概念，如“风雨”可以关联到“天气”、“气候”，“湿滑”可以关联到“水”、“液体”等。所以，作者提出Radical-guided Associative Model(RAM) 模型，将词的Literal Space and Associative Space(字面空间与意向空间)信息融合起来，提高文本的表征学习。
The model:
The main result:
MARTA: Leveraging Human Rationales for Explainable Text Classification
The main idea:当前绝大部分关于文本分类的可解释性研究集中在使用attention机制，这类方法往往会错误识别不相干的词作为解释依据。作者提出了一种混合的人工+人工智能方法，将人的分类理由纳入基于注意的文本分类模型，进而提高分类结果的可解释性。具体为引入MARTA框架, 是一种 Bayesian 网络，融合文本的注意力学习与人工的分类理由信息学习。
The model:
The main result:
SALNet: Semi-Supervised Few-Shot Text Classification with Attention-Based Lexicon Construction
The main idea:提出一种基于少量样本，半监督迭代方式进行文本分类，其核心先用少量带标签的样本训练一个LSTM分类模型，然后收集代表各个label的词，形成类别词库；最后利用词库，分类模型生成新数据，迭代训练，更新模型与词库，直到终止条件。
The model:
The main result:
Robustness to Spurious Correlations in Text Classification via Automatically Generated Counterfactuals
The main idea:伪相关(Spurious correlations)是影响文本分类模型鲁棒性的一个重要影响因素，提高分类模型可靠性和可泛化性的解决方案是识别特征和类之间的因果关系。作者，通过自动生成的反事实数据的方式进行数据增强，提高分类模型的鲁棒性。
表中显示两个文本，就因为一个词对立(也可以称为反事实词)，导致label不一样，且文本之间的相似度却很高。可以通过正，反事实样例，让模型识别伪相关的信息，进而提高识别模型的鲁棒性。
The main result:
Knowledge-Aware Leap-LSTM: Integrating Prior Knowledge into Leap-LSTM towards Faster Long Text Classification
The main idea: 在应用RNNs网络进行文本分类时，存在推理速度慢，易出来梯度消失的问题。针对该问题，有些方法采用跳过不相关词的方式提高其运行效率，但这类方法需要大量的标注数据来支撑。为此，作者提出Knowledge-Aware Leap-LSTM(KALL)，将先验知识嵌入模型中，让词可以在监督下进行跳过训练。在先验知识嵌入上，作者提出两种方式： a Factored KALL approach and a Gated KALL approach。
The model:
The main result:
以上是11篇有关text classification任务的paper概括，若对那篇感兴趣，还建议详读。整体来看，每篇的思路都不太一样，有提出新模型，有利用额外信息，有做多标签，也有做可解释性，应该能涉及的方向都有涉及，各个paper的质量都是可以的，值得深读，本人是对前两篇更为感兴趣。希望有所帮助~
更多文章可关注笔者公众号：自然语言处理算法与实践
网友评论