美文网首页
Transformers with convolutional

Transformers with convolutional

作者: 静一下1 | 来源:发表于2020-11-18 15:52 被阅读0次

论文链接:https://arxiv.org/abs/1904.11660v1

1. 论文思路

    将原来的位置编码用卷积学到的输入表征所代替,相对于原来的绝对位置表征,这种相对位置的编码效果更有利于后面的transformer 去发现长距离的依赖关系(避免了浅层transformer层在位置信息方面的学习)。具体效果:在LIbrispeech 无LM模型条件下WER达到4.7%(clean)和12.9%(other).

2. 模型结构

    

左边的结构为transformer 一个layer的组成:

右边的结构为加入context后整个transformer的组成: encoder端:K个2D 卷积+layernorm +relu 后再接一个2-D max pooling.

Decoder 端:每个transformer block 采用多个对encoder context 的多头注意力层,并对之前预测结果进行1d卷积,共N层。

3. 实验结果

输入为10ms with 25ms window 计算的80D log mel-filterbank coefficients +3 个基本频率特征

2 个 2D 卷积block:每个block包含两层卷积 ,kernel size 3, max-pooling kernel 2. 第一个block feature map 64, 第二层128; decoder 端1d卷积有三层,无max pooling 层。

第一行为论文的卷积context 的配置,第二行实验采用将decoder端的卷积context换成绝对位置编码,效果明显变差,并且两者的拼接(第三行)也并有带来任何提升; 增加encoder layer层对提升效果至关重要,增加encoder decoder的relu层对模型效果也有提升,但是增加encoder与decoder 的multi head 数量对效果有一定负面影响。

在相同参数量的情况下,采用更宽的context size/ 更深的卷积层的效果是更好的。

增加encoder的层数可以让模型更关注声音内容,忽略一些噪音和环境声音,对模型的提升最明显。 decoder 层数的增加虽然提升有限,但还是有益处的。

    通过与其他模型的结果对比可以发现,本文采用的模型在dev other 和 test other 两个数据集上相对于其他的no LM model分别有12% , 16%的提升,说明convolutional transformer 这种配置更能学好speech data、环境噪声等特征之间的长距离依赖,从而更好地分辨。 对于clean 的数据,还需要外部text建立的LM来进一步带来效果提升。

相关文章

网友评论

      本文标题:Transformers with convolutional

      本文链接:https://www.haomeiwen.com/subject/dyjciktx.html