CTC Loss反向传播

单个样本的Loss定义：

训练集上CTC Loss定义：

将所有样本的loss求和：

CTC目标函数

给定语音序列 x，标签序列 z，对于所有满足能映射到序列z的解码路径，可用 前向-后向 算法求解：

α(t, u)·β(t, u)含义
对t时刻，输出标签‘u’的所有路径π的概率求和（s.t. 但是路径π必须满足映射后为z）。

formula 1
先计算单条路径的概率，然后对满足的所有路径概率求和
formula 2

P( z | x )
因此对所有输出字符u进行遍历，即为给定x输出z的概率。

因此得到单个样本的Loss：

CTC反向传播

对单个样本来说：

1. 对网络输出y的偏导：

因为我们要考虑 t时刻 输出 标签k 的所有路径，因此要引入前向-后向算法【见 formula 2】，于是有：

同时，因为标签k在序列z'中可能会出现多次，因此定义B(z, k)={ u: z'_u = k }，那么就得到了p( z | x )对输出y的偏导：【实际上就是对所有输出标签k的位置计算损失，为了进行对齐】

最终单个样本对于网络输出y的偏导为：

2. 对输出层的偏导：

其中k’为遍历所有输出单元，网络输出y是输出层通过softmax得到的，即：

对Softmax求偏导，如下：【注意softmax要对 k = k' 和 k ≠ k 分别讨论】
将两种情况进行综合，于是上式的δkk'就是下式：

因此，得到网络输出y对输出层a的偏导，最终传到输出层的梯度为：