音频特征提取方法——滤波器组（Filter banks、MFCC

作者: madeirak | 来源:发表于2019-02-27 16:59 被阅读0次

Speech Processing for Machine Learning: Filter banks, Mel-Frequency Cepstral Coefficients (MFCCs) and What's In-Between （2016.4）

机器学习第一步是特征提取，语音领域也不例外。目前使用最多的莫过于Filter banks和MFCC，两者整体相似，MFCC多了一步DCT（离散余弦变换）。

就目前来说，用的多得是Fbank，因为fbank的信息多余MFCC，MFCC多了一步DCT，某种程度上是对语音信息的损变，而且因为多了一步，计算量更大。

“MFCC=Fbank+DCT”

1、预处理

1.1、预加重、预增强：

预增强以帧为单位进行，目的在于加强高频。去除口唇辐射的影响，增加语音的高频分辨率。因为高频端大约在800Hz以上按6dB/oct (倍频程)衰减，频率越高相应的成分越小，为此要在对语音信号进行分析之前对其高频部分加以提升，也可以改善高频信噪比。

一般通过传递函数 $H(z)=1-az^{-1}$ 的高通数字滤波器来实现预加重。

经预加重后的结果为： $s(n)’=s(n)-k*s(n-1)$ $\forall n\in \mathbb{N}$

k是预增强系数，范围为[0, 1)，常用0.97，N是每一帧的长度，从公式可以看出每一帧的第一个数需要特殊处理。

1.2、分帧：

分帧是将不定长的音频切分成固定长度的小段。为了避免窗边界对信号的遗漏，因此对帧做偏移时候，帧间要有帧迭(帧与帧之间需要重叠一部分)。通常的选择是帧长25ms（下图绿色），帧移为10ms（下图黄色）。接下来的操作是对单帧进行的。要分帧是因为语音信号是快速变化的，而傅里叶变换适用于分析平稳的信号。帧和帧之间的时间差常常取为10ms，这样帧与帧之间会有重叠（下图红色），否则，由于帧与帧连接处的信号会因为加窗而被弱化，这部分的信息就丢失了。

1.3、加窗：

傅里叶变换要求输入信号是平稳的，但是语音信号从整体上来讲是不平稳的。每帧信号通常要与一个平滑的窗函数相乘，让帧两端平滑地衰减到零，这样可以降低傅里叶变换后旁瓣的强度，取得更高质量的频谱。

虽然语音信号具有时变特性，但是在一个短时间范围内（一般认为在10~30ms，即帧长），其特性基本保持不变即相对稳定，因而可以将其看作是一个准稳态过程，即语音信号具有短时平稳性。常用的窗函数有汉宁窗、汉明窗、矩形窗等，根据窗函数的频域特性，常采用汉明窗，其对应的窗函数如下：

注意：预增强和加窗同时使用时，要首先进行预增强

1.4、添加随机噪声：

有时候我们需要进行数据增强，会手动合成一些音频。某些人工合成(使用软件)的音频可能会造成一些数字错误，诸如underflow或者overflow。这种情况下，通过添加随机噪声可以解决这一类问题。公式如下：

$w(n)=w(n)+q*rand()$

$q$ 用于控制添加噪声的强度，rand() 产生[-1.0, 1.0)的随机数。

2、提取Fbank特征

人耳对声音频谱的响应是非线性的，经验表明：如果我们能够设计一种前端处理算法，以类似于人耳的方式对音频进行处理，可以提高语音识别的性能。FilterBank就是这样的一种算法。FBank特征提取要在预处理之后进行，这时语音已经分帧，我们需要逐帧提取FBank特征。

2.1、快速傅里叶变换fft

我们分帧之后得到的仍然是时域信号，为了提取fbank特征，首先需要将时域信号转换为频域信号。傅里叶变换可以将信号从时域转到频域。因为我们用的是数字音频（而非模拟音频），所以我们用到的是离散傅里叶变换。我们现在可以在每一帧上做N点FFT来计算频谱，也称为短时傅里叶变换(Short-Time Fourier-Transform, STFT)，其中N通常为256或512,NFFT = 512.

$P=\frac{|FFT(x_i)|^2}{N}$ ， $x_i$ 为信号 $x$ 的第 $i$ 帧