Android 音视频分离

一、前言

MediaPlayer作为Android系统中内置的音视频播放组件，经历了无数版本的迭代和优化，功能也想比6.0之前的版本丰富了很多。但仍然避免不了备受争议的问题，作为入门级播放器，他简单易用是显而易见的，但是如果用于定制类型的播放器项目，MediaPlayer的劣势让人无可奈何。这些劣势主要表现如下：

• 在无法切换音频或者视频Track
• 无法设置MediaClock进行音画同步干预
• 无法添加或者裁剪Renderer
• 无法添加或者裁剪Decoder
• 数据源接口相当难用，即便是Android 6.0之后的MediaDataSource 对网络流也不友好，多线程访问存在很多问题
• seek时buffering行为存在不确定性
• HLS 不支持seek
• 不支持缓存和中间数据加工机制

当然，上述问题四共性问题了，但更糟的情况是，国内系统厂商用自己实现Player代替了MediaPlayer，会出现新的问题，甚至是某遥遥领先的方案都会出很多问题：

• 私有的状态码只有厂商自己知道
• 调用Seek时可能会黑屏、提前结束播放
• 状态机制混乱，发生error后又走了playbackComplete状态
• 播放进度抖动，画面正常
• 音量可能关不掉，想静音都难
• 不支持AudioEffect 音效，想通过这种方式也无法关闭音量
• 变速支持太好

二、为什么要分离音视频

我们从前言可知，MediaPlayer无法切换Track，其次可能存在音量关不掉的问题。在一些业务场景中，我们只想让MediaPlayer播放视频，用ffmpeg或者MediaMuxer + MediaCodec 去播放音频，以达到原伴唱切换的目的，因此，我们需要从视频源中玻璃音频Track。

当然可能的疑问，为什么不在后端处理，实际上在降本增效的大环境下，这个成本还是有些高的。Video 和 Audio 通常具备多种品质，视频里有如 480P、720P、1080P、2K... 等，而 Video 中有普通音质、middle 音质、HQ 音质等，在目前降本增效的愿景的下，需要考虑到的降低存储成本和传输成本，因此有必要对音频和视频实现动态合成，当然这和本文标题和本文写作目的背离。本文的目的是想实现在手机端实现默认音质且其他音质的方案。

考虑到 ExoPlayer 可以实现切换音质，但对于 MediaPlayer 而言，这个是相当困难的，所有本文重点实质是解决 MediaPlayer 音质切换问题的第一步 —— 音视频分离。

三、原理

在 Android 中，官方提供了 MediaExtrator，虽然相比 ExoPlayer 自行实现的一套方案还是比较鸡肋，但对音视频动态分离，其提供的能力足矣。

MediaPlayer 我们都知道，其 DataSource 不如 ExoPlayer 灵活，此外新接口 MediaDataSource 也不兼容早起版本，所有可以使用也就是使用 Url 实现中间处理过程，具体过程如下：

【数据源】 - 【Proxy】 -> 【MediaPlayer】

具体代理过程中我们不细述，这里我们会在 Proxy 做一些处理，如下面方式

【数据源】 -> 【音视频分离】 -> 【视频 Proxy 】-> MediaPlayer

这部分代码我们不具体处理，这里主要来说音视频分离方式。

• MediaExtractor 负责分离数据
• MediaMuxer 负责合成分离后的数据

这里最大的问题是为什么要合成分离后的数据？

实际上 MediaExtractor 是解封装了数据，但封装信息和数据是单独存储的么，因此需要将封装信息重新和数据整合。

四、核心代码

public class MediaTrackExtractor {

    private static final String TAG = "MediaTrackExtractor";

    public static void extractAudioOrVideo(String mimeHead, String pathOrUrl, String outputPath) {
        MediaExtractor mediaExtractor = new MediaExtractor();
        MediaMuxer mediaMuxer = null;
        try {
            // 设置视频源
            mediaExtractor.setDataSource(pathOrUrl);
            // 轨道索引
            int audioIndex = -1;
            // 视频轨道格式信息
            MediaFormat mediaFormat = null;
            // 数据源的轨道数
            int trackCount = mediaExtractor.getTrackCount();
            for (int i = 0; i < trackCount; i++) {
                MediaFormat format = mediaExtractor.getTrackFormat(i);
                String mimeType = format.getString(MediaFormat.KEY_MIME);
                if (mimeType.startsWith(mimeHead + "/")) {
                    audioIndex = i;
                    mediaFormat = format;
                    break;
                }
            }
            // 切换到想要的轨道
            mediaExtractor.selectTrack(audioIndex);
            File outFile = new File(outputPath);
            if (outFile.exists()) {
                outFile.delete();
            }

            mediaMuxer = new MediaMuxer(outFile.getAbsolutePath(), MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            //这里MUXER_OUTPUT_MPEG_4 是因为大部分视频是mpeg4封装，具体情况下按具体传入不同类型

            int trackIndex = mediaMuxer.addTrack(mediaFormat);

            int maxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE);
            ByteBuffer byteBuffer = ByteBuffer.allocate(maxInputSize);
            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
            mediaMuxer.start();

            while (true) {
                // 将样本数据存储到字节缓存区
                int readSampleSize = mediaExtractor.readSampleData(byteBuffer, 0);  //采样数据
                // 如果没有可获取的样本，退出循环
                if (readSampleSize < 0) {
                    mediaExtractor.unselectTrack(audioIndex);
                    break;
                }
                bufferInfo.size = readSampleSize;
                bufferInfo.offset = 0;
                bufferInfo.presentationTimeUs = mediaExtractor.getSampleTime();
                int sampleFlags = mediaExtractor.getSampleFlags();

                if (sampleFlags == MediaExtractor.SAMPLE_FLAG_SYNC) {
                    bufferInfo.flags = MediaCodec.BUFFER_FLAG_KEY_FRAME;  //关键帧
                } else if (sampleFlags == MediaExtractor.SAMPLE_FLAG_PARTIAL_FRAME) {
                    bufferInfo.flags = MediaCodec.BUFFER_FLAG_PARTIAL_FRAME; // 非关键帧
                } else if (sampleFlags == MediaExtractor.SAMPLE_FLAG_ENCRYPTED) {
                    bufferInfo.flags = MediaCodec.BUFFER_FLAG_CODEC_CONFIG; //存在内部封装
                }
                mediaMuxer.writeSampleData(trackIndex, byteBuffer, bufferInfo);
                // 读取下一帧数据
                mediaExtractor.advance();
            }
            Log.i(TAG, "分离" + mimeHead + "完成");
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (mediaMuxer != null) {
                mediaMuxer.stop();
                mediaMuxer.release();
            }
            mediaExtractor.release();
        }
    }


}

五、简单实用方式

我们以离线方式为例子，使用如下

File dir = new File(mMp4FilePath).getParentFile(); 
Log.d(TAG,"开始提取"); 
File videoOutputFile = new File(dir,"sample_oceans_extrator.mp4"); 
File audioOutputFile = new File(dir,"sample_oceans_extrator.mp3"); 
MediaTrackExtractor.extractAudioOrVideo("video",mMp4FilePath,videoOutputFile.getAbsolutePath());
 MediaTrackExtractor.extractAudioOrVideo("audio",mMp4FilePath,audioOutputFile.getAbsolutePath()); 
Log.d(TAG,"提取完成");

如果在线资源该如何处理呢？

首先，MediaExtractor 是支持在线资源的，我们仍然可以利用这个机制，实现在线流的分离，不过说到这里，MediaMuxer也存在一定的缺陷，不支持获取编码后的buffer，这点我们可以选用ffmpeg中的相关组件进行替换，或者更简便的方法，对seek操作允许长时间等待缓存，也能满足需要，毕竟MediaPlayer、MediaExtractor、MediaMuxer 也就只能做简单的事，不能要求太高。