AGC是自动增益补偿功能（Automatic Gain Control），AGC可以自动调麦克风的收音量，使与会者收到一定的音量水平，不会因发言者与麦克风的距离改变时，声音有忽大忽小声的缺点。
ANS是背景噪音抑制功能（Automatic Noise Suppression），ANS可探测出背景固定频率的杂音并消除背景噪音，例如：风扇、空调声自动滤除。呈现出与会者清晰的声音。
AEC是回声消除器（Acoustic Echo Chancellor）,AEC可以消除各种延迟的回声。）。AEC是对扬声器信号与由它产生的多路径回声的相关性为基础，建立远端信号的语音模型（高斯模型），利用它对回声进行估计，并不断地修改滤波器的系数，使得估计值更加逼近真实的回声。然后，将回声估计值从话筒的输入信号中减去，从而达到消除回声的目的，AEC还将话筒的输入与扬声器过去的值相比较，从而消除延长延迟的多次反射的声学回声。根椐存储器存放的过去的扬声器的输出值的多少，AEC可以消除各种延迟的回声。
VAD（Voice Activity Detection）语音动态侦测
CNG（Comfort Noise Generation）舒适背景音处理
PLC（Packet Loss Concealment）语音封包遗失补偿
QoS（Quality of Service）有效语音频宽管理
RTP（Real-Time Transport Protocol）实时传输协
DTMF（Dual Tone Multi Frequency），双音多频
双音多频，由高频群和低频群组成，高低频群各包含4个频率。一个高频信号和一个低频信号叠加组成一个组合信号，代表一个数字。
DTMF信令有16个编码。利用DTMF信令可选择呼叫相应的对讲机
双音多频信号（DTMF），电话系统中电话机与交换机之间的一种用户信令，通常用于发送被叫号码。
在使用双音多频信号之前，电话系统中使用一连串的断续脉冲来传送被叫号码，称为脉冲拨号。脉冲拨号需要电信局中的操作员手工完成长途接续。
双音多频信号是贝尔实验室发明的，其目的是为了自动完成长途呼叫。
双音多频的拨号键盘是4×4的矩阵，每一行代表一个低频，每一列代表一个高频。每按一个键就发送一个高频和低频的正弦信号组合
，比如'1'相当于697和1209赫兹(Hz)。交换机可以解码这些频率组合并确定所对应的按键。
下表描述了每个DTMF信号的频率。
1209 Hz 1336 Hz 1477 Hz 1633 Hz
697 Hz 1 2 3 A
770 Hz 4 5 6 B
852 Hz 7 8 9 C
941 Hz * 0 # D
电话在拨号的时候发出的声音就是双音多频信号
CSipSimple 是个款通用的支持SIP协议的互联网电话软件，可以在支持andriod的平板，手机上使用。支持语音编码: G.711 aLaw/uLaw, G.722.1, G.722, SPEEX, SPEEX-WB, AMR-WB, GSM, iLBC, G.729. 支持STUN, Outbound proxy server, Qos，VAD，AEC，AGC，CNG等众多功能和标准。
webrtc的音频处理模块分为降噪ns，回音消除aec，回声控制acem，音频增益agc，静音检测部分。另外webrtc已经封装好了一套音频处理模块APM，如果不是有特殊必要，使用者如果要用到回声消除等较为复杂的模块时，最好使用全部的音频处理模块二不要单独编译其中一部分以免浪费宝贵的时间。
但是音频降噪部分较为简单，用起来也就几个函数，除了需要传入的音频数据以外，需要调整的参数也就是音频采样率和降噪等级。另外这部分代码采用纯C语言语法编写，可以跨平台编译。整个算法也不算特别复杂，运行起来占CPU也不是很多，可以上至i7 8核CPU的高配电脑，下至380Mhz的小嵌入式系统以及一切版本的移动端产品中编译运行。另外效果也十分不错，通过本文附带的测试demo大家就可以感受一下。
降噪有两部分代码，一套是定点算法（noise_suppression_x.h），一套是浮点算法（noise_suppression.h）。相对来说浮点算法精度更高，但是耗系统资源更多，特别是浮点计算能力较弱的低端ARM CPU上。但是一般来说浮点和定点算法在实际效果上听不出区别出来，估计是我没遇到过必须必须要用浮点的情况。在使用上，浮点和定点也仅仅只是变量名和函数没中多出了一个x。
音频处理的时候webrtc一次仅能处理10ms数据,小于10ms的数据不要传入，因为即时是传入小于10ms的数据最后传入也是按照10ms的数据传出，此时会出现问题。另外支持采样率也只有8K，16K,32K三种，不论是降噪模块，或者是回声消除增益等等均是如此。对于8000采样率，16bit的音频数据，10ms的时间采样点就是80个，一个采样点16bit也就是两个字节，那么需要传入WebRtcNsx_Process的数据就是160字节。对于8000和16000采样率的音频数据在使用时可以不管高频部分，只需要传入低频数据即可，但是对于32K采样率的数据就必须通过滤波接口将数据分为高频和低频传入，传入降噪后再组合成音频数据。大于32K的音频文件就必须要通过重采样接口降频到对应的采样率再处理，在demo源码里面有对应的接口使用者可以去查。
降噪的开源代码包括定点降噪，浮点降噪，音频重采样，滤波接口，抠出来后修改了头文件包含位置使其都在同一目录下，如果是xcode下编译可能会有once函数编译不过的问题，此时修改一个宏即可，为了尽量避免修改问题就不改动这部分了。
示例代码给了32K采样率的测试demo，也有8K采样率实现。16K采样率只需要将8K内部的数据大小由80改成160即可，PCM音频文件可以由Audacity软件通过文件--导入--原始数据，选择好bit位数，声道，采样率即可显示波形，播放。
欢迎关注公众号“音视频开发之旅”，一起学习成长。
网友评论