论文阅读：Densely Connected Bidirecti

论文：Densely Connected Bidirectional LSTM with Applications to Sentence Classification 代码

经典的文本分类数据集总结：raw_data 以及预处理代码

数据集
注：文本分类的任务一般需要模型在多个数据集上取得很好的结果，大多数的文本分类的文章都采用这些数据集进行实验

1.DC-BLSTM模型

论文提出的Densely Connected Bidirectional LSTM的核心图, 很明显，这是一个RNN 结构的框架

论文模型核心图

模型由四个部分构成：Network inputs, dense Bi-LSTM, average pooling, soft-max layer

核心在第二部分，看图很容易理解，该模型将上一层得到的结果直接copy到下一层中，并且与这一层输出的隐状态连接作为下一层的输入。

2.模型的优点

1.当网络结构比较深的情况下仍然比较容易训练，因为每一层的结果都有来自前面每一层的结果，避免了梯度消失的问题
2.Densely Connected 能够直接读取原来句子的表示，进行深层的传播过程中信息并不会丢失，因此学习到的网络更有效。在同等的参数或者更少的参数下，网络的性能表现comparable

3.实验结果

image.png

（最近用CNN对TREC这个数据集进行测试的时候，正确率到达了98%， 可怕）
论文后面的结果分析感觉没有什么意义，大家自行阅读