双录系统趟坑总结

作者: hello_cyz | 来源:发表于2019-12-18 20:47 被阅读0次

1.背景

行业监管要求，需要对保险销售过程关键环节进行录音录像，所以我们要做一个app可以进行音视频录制，并上传录制的视频文件，同时录制过程中自动播报语音以及语音识别，功能看起来并不复杂，但是涉及到音视频这种功能并不好做，尤其android兼容性问题，加上之前没有相关的经验，可能很多问题考虑并不全面，整个1个多月的研发过程下来还是发现不少坑，简单复盘留作纪念。

2.功能规划

核心业务功能

音视频录制功能
音视频文件上传功能
语音播报功能：录制过程中，有大量的文字原来是需要业务员读给客户听，为了减轻业务员的负担，需要实现系统自动播报，系统会根据每一个保单实际数据生成对应的话术，在录制过程中进行语音播报。
语音识别：录制过程中，部分话术播报后需要客户回答“同意”，“确认”等词，系统对客户回答的文字进行语音识别。

技术点

Android 音视频录制：一期采用的MediaRecorder，二期采用的MediaCodec+MediaMuxer。
IOS音视频录制：AVCapture+AVAssetWriter
语音播报技术：基于腾讯云的语音合成功能，每一段话术在播报的时候会调用腾讯云的语音合成，将文字转换成语音音频文件，本地在进行播放。
语音识别技术：基于腾讯云的语音识别，客户回答时，会实时的采集音频数据，将音频数据发给腾讯云语音识别服务，返回识别后的文本。
像语音合成和语音识别这种关键的技术都是基于外部平台，音视频录制功能是用的系统的API，看起来很容易是不是？这里面的坑谁做谁知道。

3.基础概念

帧率：帧率(Frame rate)是称为帧的位图图像连续出现在显示器上的频率(速率)，在我们这简单的理解，就是视频录制每一秒录制了多少副画面。
码率：码率就是数据传输时单位时间传送的数据位数，一般我们用的单位是kbps即千位每秒，比如我们一期上线设置的码率是2kbps，那么文件大小怎么计算呢？
2000/8=250 KB 每秒，半个小时视频长度为：2506030=450M
所以评估录制一个视频文件的大小，关键就是看这个参数。
分辨率：指视频成像产品所形成的图像大小或尺寸，比如我们系统设置的720p，1280*720，分辨率本质上跟清晰度无关，我们可以想一下，如果同样的码率，也就是说假设每一秒的数据量是一样的，那生成一副大图清晰还是小图清晰？
清晰度：
在码率一定的情况下，分辨率与清晰度成反比关系：分辨率越高，图像越不清晰，分辨率越低，图像越清晰。
在分辨率一定的情况下，码率与清晰度成正比关系，码率越高，图像越清晰；码率越低，图像越不清晰。
综上几个问题：
帧率越高越好么？
帧率越高，意味着每一秒的画面越多，同样的码率，则分给每一副画面的数据量就越小，清晰度则会降低，比如上面提到的2000kbps,每一秒才
250k，假设帧率30，一秒有30副画面，想想平均一副画面才多少k? 8k多？是不是不太可能？所以这就是编码算法的厉害之处了，我简单的理解就是一副画面可以做压缩，因为有很多像素点是一样的，另外相邻的画面重复的也可以进行压缩，因为一秒整个画面变动的非常少，所以这30 副画面差异内容也很少，压缩空间还是很大的，这里在深入点可以去了解I帧,P帧,B帧
码率越高越好么？
从上面可以看出文件大小跟码率成正比，文件越大用户上传以及我们自己存储、后面的质检等都需要增加代价，所以我们需要在码率和视频清晰度中间找一个平衡，但是也不存在说又要绝对的清晰，又不想文件变大，哪有这样的好事，别想了。

4.具体问题

谷歌浏览器播放视频加载失败的问题
现象：一期快要开发完了的时候，给领导演示，用的苹果手机，录制视频很顺利，本地播放正常，上传到云端后，用谷歌浏览器加载失败，但是用手机浏览器打开链接播放正常。
原因：查了一些资料，安装了ffmpeg用来分析视频，如下图一是在chrome可以正常播放的视频，图二是不能播放的，主要差别就是视频文件编码格式H.264和H.265,H265格式是H264的升级版，压缩算法更好，据说可以节省50%带宽，但是兼容性还不够好，不同浏览器支持的视频格式，编码格式也不一样，pc上不能播放但是手机上可以播放，我猜测是解码器差异的原因，我演示的那个版本当时一行设置编码H264代码注释掉了，iOS 系统默认采用了H265编码，导致上传后的视频无法播放。
h264.png
h265.png
这篇文章有提到一些两种编码的差别以及兼容性的情况
https://juejin.im/post/5bf7697251882521c8114030#heading-10
oppo R9开启录制失败

现象：
手上有华为、小米、oppo等几款手机，当时只有oppo这一款手机开启录制就失败。

一些错误日志：
E/ACodec: signalError(omxError 0x80001001, internalError -2147483648)
E/MediaCodec: Codec reported err 0x80001001, actionCode 0, while in state 3
E/MediaCodec: configure failed with err 0x80001001, resetting...

android.media.MediaCodec$CodecException: Error 0x80001001
at android.media.MediaCodec.native_configure(Native Method)
at android.media.MediaCodec.configure(MediaCodec.java:590)

原因：

 查看异常代码如下
//创建编码器
mVideoEncoder = MediaCodec.createEncoderByType(MIME_TYPE_AVC);
//报错代码就是这行，是编码器configure报错
mVideoEncoder.configure(videoFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

经过网站一些资料的查找，原来是不同的手机支持的颜色格式不一样，这款oppo手机不支持COLOR_FormatYUV420SemiPlanar，需要设置成COLOR_FormatYUV420Planar
// 指定编码器颜色格式
videoFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar

既然不同的手机支持的KEY_COLOR_FORMAT 不一样，这里就需要动态的考虑先获取到手机可支持的颜色格式值，在进行设置，如下代码也是参考网上的资料。
 private int getSupportColorFormat() {
        int numCodecs = MediaCodecList.getCodecCount();
        MediaCodecInfo codecInfo = null;
        for (int i = 0; i < numCodecs && codecInfo == null; i++) {
            MediaCodecInfo info = MediaCodecList.getCodecInfoAt(i);
            if (!info.isEncoder()) {
                continue;
            }
            String[] types = info.getSupportedTypes();
            boolean found = false;
            for (int j = 0; j < types.length && !found; j++) {
                if (types[j].equals("video/avc")) {
                    Log.d(TAG, "found");
                    found = true;
                }
            }
            if (!found)
                continue;
            codecInfo = info;
        }
        Log.e("AvcEncoder", "Found " + codecInfo.getName() + " supporting " + "video/avc");
        // Find a color profile that the codec supports
        MediaCodecInfo.CodecCapabilities capabilities = codecInfo.getCapabilitiesForType("video/avc");
        Log.e("AvcEncoder",
                "length-" + capabilities.colorFormats.length + "==" + Arrays.toString(capabilities.colorFormats));
        for (int i = 0; i < capabilities.colorFormats.length; i++) {
            Log.d(TAG, "MediaCodecInfo COLOR FORMAT :" + capabilities.colorFormats[i]);
            if ((capabilities.colorFormats[i] == MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar) || (capabilities.colorFormats[i] == MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar)) {
                return capabilities.colorFormats[i];
            }
        }
        return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible;
    }

oppo R9 录制的视频是黑白的
原因：
这个问题跟上一个问题是有关联的，出现黑白视频或者录出来视频画面的颜色与真实情况不一致，一般来说跟yuv的转换有关系，上面提到我们设置编码器颜色格式color format有两种，COLOR_FormatYUV420SemiPlanar 和COLOR_FormatYUV420Planar，我们在摄像头预览格式设置的nv21,所以在进行编码的时候，先要对yuv进行转换，一旦转换不对，最终生成的视频可能就是黑白或完全无法播放。

parameters.setPreviewFormat(ImageFormat.NV21);

常见YUV格式和Android中的COLOR_FormatYUV420对应关系
https://blog.csdn.net/qq_34557284/article/details/90902363

不同的color  format对应不同的转换方式，这里使用了谷歌的Libyuv工具包进行转换，该方法是native方法，据别人测算性能相比自己java写的转换会好很多。 if(colorFormat==MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar){
            // MediaCodecInfo color format 为 COLOR_FormatYUV420SemiPlanar 时，需要把nv21数据 转为 nv12
            LibyuvUtil.convertNV21ToI420(nv21, yuvI420, mCameraHelp.getWidth(), mCameraHelp.getHeight());
            //不压缩，前置也不进行镜像，因为镜像后证件显示会是反的
            //LibyuvUtil.compressI420(yuvI420, videoWidth, videoHeight, tempYuvI420, videoWidth, videoHeight, rotation, isFrontCamera);
            LibyuvUtil.convertI420ToNV12(yuvI420, toEncodeDate, mCameraHelp.getWidth(), mCameraHelp.getHeight());
        }else {
            // MediaCodecInfo color format 为 COLOR_FormatYUV420Planar 时，需要把nv21数据 转为 YUVI420
            LibyuvUtil.convertNV21ToI420(nv21,toEncodeDate,mCameraHelp.getWidth(), mCameraHelp.getHeight());
            //不压缩，前置也不进行镜像，因为镜像后证件显示会是反的
            // LibyuvUtil.compressI420(yuvI420, videoWidth, videoHeight, toEncodeDate, videoWidth, videoHeight, rotation, isFrontCamera);
        }

4.华为p9语音播报问题
现象：我用华为p9测试录制的时候，发现每次录制到第十一段左右的时候就没声音了，错误日志：mediaplay error(1,-19)
原因：这个问题一开始挺困扰的，因为同一份代码，我手上几个手机只有华为p9有这个问题，不过有同事也有其它手机有问题，有些手机是在第二次录制的时候才有这个问题，很奇怪，如果是资源没释放，为什么有的手机正常？而且用工具分析录制过程中内存的变化，没有发现明显的异常，对我们自己的代码也review了几遍，也调试了几遍，直到后面搜索问题看到这篇文章https://blog.csdn.net/jakera/article/details/85081280，里面提到的dumpsys media.audio_flinger 这个命令很有用，通过这个命令查看数据，发现每次点下一步新增了一个服务，如下面截图 client type就是我们应用的进程号，从截图可以知道存在很多个不活跃的服务，我猜测这个服务是有限制的，达到一定数量后不可在创建，所以这也是为什么一般十来次后就出问题

播报服务.png
到这里结合博客提到的内容基本也就定位到了问题代码，其实不是我们自己代码问题，是用的腾讯sdk里面播报音频服务停止的时候没有正常的释放资源，看下反编译后的代码也验证了猜想，如下：

// 有问题的代码
  if (this.mediaPlayer != null) {
                this.mediaPlayer.stop();
               }
  //改之后的代码
  if (this.mediaPlayer != null) {
                this.mediaPlayer.stop();
                this.mediaPlayer.release();
            }
            this.mediaPlayer = null;

基本确认是腾讯云sdk问题后，给他们提了一个工单，附上了我查到的几篇文章，然后回家不久就收到了他们客服电话，希望我在他们demo上去还原问题，我估计他们是不太相信我的话，其实知道了原因要还原就很简单了，第二天在他们demo上运行，直接连续语音播报十几次一样复现问题，提供相关的截图和错误信息给他们，后面因为考虑到当天已经是我们发布日期，怕他们无法及时更新sdk,所以只好反编译他们的代码，覆盖跟这个问题有关的三个类，重新运行，一切正常，不过为什么有些手机可以，有些不行，系统版本问题？还是厂商改的？没有继续去深究。
下面几个链接是关于这个问题我找到的其它一些参考资料
MediaPlayer源码存在的内存泄漏问题，释放资源的正确方式
https://blog.csdn.net/sdfdzx/article/details/60144834
记一个华为手机上声音突然消失不见的bug
http://bearcoder.codes/blog/2018/05/17/bugji-lu/

待写。。。
5.ios视频模糊的问题
6.为什么Android一期用MediaRecorder，二期改了整个录制方式呢？

4.总结

整体来说，要把音视频跑通并不是难事，但是要做稳定，兼容性要做好不容易，包括用的第三方的sdk，即使腾讯云提供的sdk在这一个多月时间里，被我们发现的bug都有四五处，还一些非常隐蔽的问题，不过处理问题响应速度还是很不错的，至于我们自己需要学习和深挖的点就太多了，几个待研究的方向：

人脸检测
OCR
声音降噪，提高录制的声音质量
清晰度分析

双录系统趟坑总结

1.背景

2.功能规划

3.基础概念

4.具体问题

4.总结

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读