文本的特点:
- 文本是一个序列
- 文本长度不固定
- 文本的位置是个重要的信息
文本的任务:
- 序列标注
- 分类任务
- 句子关系判断
- 生成式任务
RNN
- RNN存在的问题:梯度消失和爆炸,LSTM-GRU-Attention
- 并行能力较差处理的方案有隐藏层之间并行,整体串行;时间序列部分打断,并行处理(类似于CNN)
CNN:
- 捕获 N-gram 片段,无法处理长距离
- 增加卷积层的(层深效果不佳,需要提高)
- 跳跃覆盖,Dilated卷积
- 抛弃池化层,保留位置信息
https://github.com/vdumoulin/conv_arithmetic
https://www.zhihu.com/question/54149221
https://zhuanlan.zhihu.com/p/54743941
网友评论