论文:Densely Connected Bidirectional LSTM with Applications to Sentence Classification 代码
经典的文本分类数据集总结:raw_data 以及预处理代码
注:文本分类的任务一般需要模型在多个数据集上取得很好的结果,大多数的文本分类的文章都采用这些数据集进行实验
1.DC-BLSTM模型
论文提出的Densely Connected Bidirectional LSTM的核心图, 很明显,这是一个RNN 结构的框架
论文模型核心图模型由四个部分构成:Network inputs, dense Bi-LSTM, average pooling, soft-max layer
核心在第二部分,看图很容易理解,该模型将上一层得到的结果直接copy到下一层中,并且与这一层输出的隐状态连接作为下一层的输入。
2.模型的优点
1.当网络结构比较深的情况下仍然比较容易训练,因为每一层的结果都有来自前面每一层的结果,避免了梯度消失的问题
2.Densely Connected 能够直接读取原来句子的表示,进行深层的传播过程中信息并不会丢失,因此学习到的网络更有效。在同等的参数或者更少的参数下,网络的性能表现comparable
3.实验结果
image.png(最近用CNN对TREC这个数据集进行测试的时候,正确率到达了98%, 可怕)
论文后面的结果分析感觉没有什么意义,大家自行阅读
网友评论