2018-11-10

LSTM的应用

文本分类
LSTM文本分类：
使用LSTM的最后一个状态

文本分类

文本分类中不用one-hot编码，使用embedding对词语进行编码，embedding是随着网络的深度而发生变化的，也就是可训练的，输出全连接层
但是当句子较长的时候，离当前词语较远的词语对模型的贡献率过小，限制了LSTM模型，为了解决这一瓶颈，引入了双向LSTM模型

双向LSTM模型例子
输出：

• 拼接
• Average
• pooling

HAN（Hierarchy attention network）文本分类

HAN模型

HAN模型就是利用找文章中的重点句子重点词语来进行分类的模型，模型分为两层：句子级别与词语级别，每一个词语经过LSTM进行输出作为编码，词语的编码再经过attention机制进行加权形成句子的编码，再将所有句子的编码输入到一个LSTM中去，再得到句子的编码，加权得到段落的编码。注意力机制类似于门限机制

基于CNN的文本分类

CNN文本分类模型

CNN不能像RNN一样完美的解决文本分类的问题，但是经过改进之后可以不完美的解决文本分类的问题，为了解决文本分类问题，因为CNN不能解决长短不一的数据问题，所以要将文本类型转换为固定长度的问题

单通道一维卷积
多通道一维卷积
多个卷积核会有多个输出

一维卷积：

• 应用在时间维度上
• Embedding长度就是通道数目
• 多种层次的卷积核
  池化：
• 在时间层次上pooling
  全连接

CNN vs RNN

• CNN不能完美的解决文本分类问题
• CNN卷积相当于N-Gram，LSTM提取更长的依赖
• Pre-train的embedding
• 双向RNN会增强效果
• CNN模型并行程度高，更快

将RNN与CNN模型进行结合得到R-CNN文本分类模型

R-CNN

• 双向RNN提取特征
• CNN进一步抽取
• Max-pooling
• 全连接层

Embedding压缩
Embedding层次参数过大

• 无法实用

• 过拟合

  
  Embedding压缩