CRNN 算法详解

作者: ce0b74704937 | 来源:发表于2019-03-26 17:46 被阅读0次

CRNN 算法详解
CRNN算法详解
CRNN网络结构详解
异步社区本周预售新书
（转）ＫＭＰ
RCNN，Fast RCNN and Faster RCNN
Crnn_chinese_characters 中文字符识别
K近邻(KNN)算法详解及Python实现
CRNN
Java垃圾回收之复制算法详解

《An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition》，是比较老的一篇文章了，在2015年6月发表在arxiv上，但是该方法还是被广泛运用。

文章思想：文章认为文字识别是对序列的预测方法，所以采用了对序列预测的RNN网络。通过CNN将图片的特征提取出来后采用RNN对序列进行预测，最后通过一个CTC的翻译层得到最终结果。说白了就是CNN+RNN+CTC的结构。

关于CTC的解释在之前写过一篇博客，这里不做重复介绍。

一、网络结构

如前面所说的，就是CNN+RNN+CTC，如下图所示

1.png

下面来分开说明

1. CNN结构

CNN结构采用的是VGG的结构，并且文章对VGG网络做了一些微调，如下图所示

2.png

从上图可以看出，对VGG的调整如下：

为了能将CNN提取的特征作为输入，输入到RNN网络中，文章将第三和第四个maxpooling的核尺度从 $2\times 2$ 改为了 $1\times 2$
为了加速网络的训练，在第五和第六个卷积层后面加上了BN层。

这里需要说明的是第一点，为什么将第三和第四个maxpooling的核尺度从 $2\times 2$ 改为 $1\times 2$ 是为了方便的将CNN的提取特征作为RNN的输入.首先要注意的是这个网络的输入为 $W\times 32$ ，也就是说该网络对输入图片的宽没有特殊的要求，但是高都必须resize到32。文中举例说明了，如果一张包含10个字符的图片大小为 $100\times 32$ ，经过上述的CNN网络得到的特征尺度为 $25\times 1$ （这里忽略通道数），这样得到一个序列，每一列特征对应原图的一个矩形区域(如下图所示)，这样就很方便作为RNN的输入进行下一步的计算了，而且每个特征与输入有一个一对一的对应关系。

3.png

2. RNN的结构

RNN网络是对于CNN输出的特征序列 $x=x_{1},\cdots,x_{t}$ ，每一个输入 $x_{t}$ 都有一个输出 $y_{t}$ 。为了防止训练时梯度的消失，文章采用了LSTM神经单元作为RNN的单元。文章认为对于序列的预测，序列的前向信息和后向信息都有助于序列的预测，所以文章采用了双向RNN网络。LSTM神经元的结构和双向RNN结构如下图所示。