一.前言
之前做过iOS和设备端双向对讲的项目，使用的是第三方的sdk来做回声消除的，虽然当时自己用AudioUnit写了回声消除的Demo，但是效果不理想。最近想着把以前遇到过的问题整理一下，于是就有了这个Demo
二.使用方法
因为是基于局域网写的这个Demo，所以先将两台手机连接到同一局域网，分别开启客户端与服务端，会自动连接上便可开始双向对讲
三.实现细节
- 双向对讲的重点应该就是回声消除问题了，还好苹果提供了自带的接口，使用AudioUnit，关键参数如下设置，采集到的声音就会是回声消除过后的PCM
AudioComponentDescription des;
des.componentSubType = kAudioUnitSubType_VoiceProcessingIO;
- PCM的播放使用AudioQueueRef，AudioQueueRef相比AudioUnit应该是更上层一点的接口，使用起来相对简单一点，出问题的概率也小一点
- 数据传输格式，因为只有音频所以选择了裸的PCM数据，这样发送端与接收端都不要做编解码
- 连接方式采用了UDP广播的方式，因此只要在一个子网下，客户端向指定端口发送广播，服务端接收到广播包后给客户端回包后，便可开始通信
- 采用了“可连接”的UDP方式，有以下几个好处(参考书籍：UNIX网络编程卷1第八章)
- 性能：在一个未连接的UDP套接字上调用sendto，内核会暂时连接套接字，发送完马上断开连接，而这种临时连接大概会耗费每个UDP传输三分之一的开销
- 流量控制：已连接的UDP套接字引发的异步错误会返回给其所在的进程，因此这里如果对端断开了连接，我们能够拿到对端主机的ICMP错误来停止发送数据，这样节约了两端的带宽
四.遇到的问题
- 开启回音消除且音频输出采用扬声器播放时，AudioUnit的PCM录音回调获取偶尔返回错误-50导致音频的采集断断续续，查看了好多Demo发现有这个问题的都是自己初始化了AudioBufferList并且分配了mData内存，而官方文档中的kAudioOutputUnitProperty_SetInputCallback有说Note that the inputProc will always receive a NULL AudioBufferList in ioData，猜测应该是系统要自己控制mData的内存分配与释放，因此在每次回调中将AudioBufferList的mData传NULL，解决了此问题
AudioBufferList list;
list.mNumberBuffers = 1;
list.mBuffers[0].mData = NULL;
list.mBuffers[0].mDataByteSize = 0;
list.mBuffers[0].mNumberChannels = 1;
OSStatus error = AudioUnitRender(r->audioUnit, ioActionFlags, inTimeStamp, inBusNumber, inNumberFrame, &list);
- 连接建立后的两端对话听不清问题，当时各种猜测，是不是没降噪啊，是不是多线程竞争加锁导致播放线程被卡住啊之类的，结果发现是UDP分包问题，采集到的PCM每帧1024个采样点且每个采样点是16位，因此一帧数据有2048字节，UDP的MTU为1472字节，忘记分包发送了，导致接收端丢了好多数据，加入分包发送逻辑解决
- C++线程崩溃问题，查阅资料后发现原来是std::thread在移动赋值时如果当前线程对象可被joinable，则会调用terminate()报错，查看代码发现原来自己只在~doublesky_connector()析构函数里调用了recv_thread.join()，因此在创建完线程后调用detach解决此问题
recv_thread = std::thread([this]{});
recv_thread.detach();
- 开启录制后终端频繁打印这句话,虽然没影响到功能的使用，但是严重影响调试，最后还是没能解决这个问题，希望有大佬知道的可以告知一下
AUBuffer.h:61:GetBufferList: EXCEPTION (-1) [mPtrState == kPtrsInvalid is false]: ""
五.优化
回音消除后的PCM声音会相对较小，可以考虑加入音频增益功能且该Demo中没有对PCM的降噪处理，大部分音频项目都是需要降噪的，这两个功能可以考虑使用speex音频开源库来处理，speex的音频增益本人在Mac下亲测效果不错，因为没有编译arm64的版本所以这个Demo里暂时不加此功能
六.总结
- 对AudioUnit的认知还是没有特别深，因此定位一些简单的问题反而要花费较长的时间，日后有时间会考虑继续深入学习
- 近一年来陆陆续续对TCP/IP协议栈的学习获得了挺不错的回报，在此Demo中的网络模块没有耗费太多时间
- 年初开始看了点C++相关的书籍，但是代码这个东西，个人觉得还是实践出真知，因此Demo中尽量多的使用C++语法，所以如果有错误或者可以优化的位置，希望大佬能够指出
七.参考文章:
落影loyinglin: Audio Unit录音
huisedediao: ios 回声消除，基于Audio Unit
C++ std::thread
网友评论