环境

1、android 开发环境
2、sdk >= 18

---

阅读对象

android开发者

---

音视频合成

根据数据源合成视频文件需要用到MediaMuxer这个类，可以参考这一篇文章（http://www.jianshu.com/p/aeadf260258a）。

MediaMuxer进行音视频合成的步骤

1、创建MediaMuxer，参数为outputPath, videoFormat

1、outputPath:视频文件的输出路径
2、videoFormat:视频文件的格式，如 MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4

2、addTrack，参数为dataFormat:声音/图像的格式 MediaFormat

1、声音和图像都要调用一次 
2、return： 结果返回一个trackIndex

public synchronized int addTrack(final MediaFormat format) {
    if (mIsStarted) {
        throw new IllegalStateException("muxer already started");
    }
    final int trackIx = mMediaMuxer.addTrack(format);
    return trackIx;
}

3、start

当所有数据都添加track完成后，调用start,之后等待各个track数据的到来   

 public synchronized boolean start() {
        mStartedCount++;
        if ((mEncoderCount > 0) && (mStartedCount == mEncoderCount)) {
            mMediaMuxer.start();
            mIsStarted = true;
            notifyAll();
        }
        return mIsStarted;
    }

4、writeSampleData，参数为（int trackIndex, final ByteBuffer byteBuf, final MediaCodec.BufferInfo bufferInfo）

1、每个track产生数据时，调用此方法往mp4文件写数据（如何生成源数据？后续会讲到）
2、bufferInfo.presentationTimeUs 必须给出正确的时间戳，注意单位是 us （此坑我踩过，而且当时出错还没意识到问题，一直断点...）
 
注：每次只能添加一帧视频数据或者单个Sample的音频数据，并且BufferInfo对象的值一定要设置正确：
bufferInfo.presentationTimeUs 必须给出正确的时间戳，注意单位是 us （此坑我踩过，而且当时出错还没意识到问题，一直断点...）

public synchronized void writeSampleData(final int trackIndex, final ByteBuffer byteBuf, final MediaCodec.BufferInfo bufferInfo) {
        if (!mIsStarted) {
            return ;
        }
        if (mStartedCount > 0) {
            mMediaMuxer.writeSampleData(trackIndex, byteBuf, bufferInfo);
        }
    }

5、stop&release

结束录制时，要把所有的track都关闭，再调用stop和release；期间最好加个标志位，方便控制与调试

public synchronized void stop() {
        if (!mIsStarted) {
            LogTools.d("not started");
            return ;
        }
        mStartedCount--;
        if ((mEncoderCount > 0) && (mStartedCount <= 0)) {
            mMediaMuxer.stop();
            mMediaMuxer.release();
            mIsStarted = false;
        }
    }

---

音频采集

AudioRecord、MediaCodec

1、准备：

AudioRecord(int audioSource, int sampleRateInHz, int channelConfig, int audioFormat, int bufferSizeInBytes)

audioSource : MediaRecorder.AudioSource,详见(http://blog.csdn.net/m0_37039192/article/details/77776844)

sampleRateInHz : 采样率,如44100，取值范围必须在 4000Hz～192000Hz 之间

channelConfig : 通道数，如AudioFormat.CHANNEL_IN_MONO(单通道)、AudioFormat.CHANNEL_IN_STEREO(双通道)等

audioFormat : 配置“数据位宽”，如 ENCODING_PCM_16BIT（16bit）可以保证兼容所有Android手机

bufferSizeInBytes : 配置的是 AudioTrack 内部的音频缓冲区的大小，该缓冲区的值不能低于一帧“音频帧”（Frame）的大小

一帧音频帧的大小：size = 采样率 x 位宽 x 采样时间 x 通道数，可以直接调用
int getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat);来计算

2、启动，AudioRecord.startRecording()

3、录制：

• 开启异步线程，读取音频数据

public void run() {
    while (isRunning) {
        int size = audioRecord.read(audioBuffer, 0, audioBuffer.length);
        if (isRunning && audioCore != null && size > 0) {
            audioCore.queueAudio(audioBuffer);
        }
    }
 }

• 放到缓冲队列，可以进行声音处理

• 传送给音频编码器的缓冲队列中（MediaCodec）（异步线程+队列）

dstAudioEncoder.queueInputBuffer(eibIndex, 0, orignAudioBuff.buff.length, nowTimeMs * 1000, 0);

• 音频编码器循环对队列中的数据进行处理得到ByteBuffer和MediaCodec.BufferInfo,然后分发给其他端，如媒体流或文件合成

 ByteBuffer realData = dstAudioEncoder.getOutputBuffers()[eobIndex];
 realData.position(eInfo.offset);
 realData.limit(eInfo.offset + eInfo.size);
 if (isMuxerEnable && mMuxerStarted) {
     eInfo.presentationTimeUs = getPTSUs();
     muxer.writeSampleData(mTrackIndex, realData, eInfo);
     prevOutputPTSUs = eInfo.presentationTimeUs;
 }

4、停止录制，AudioRecord.stop()

---

视频/图像采集

MediaCodec、TextureView或GLSurfaceView

注：打开摄像头（后续再讲）；opengl处理的后续和demo一起讲解

• 使用TextureView或GLSurfaceView承载摄像头展示画面
• 视频数据可用时，通知绘制画布（opengl相关），在数据传递给视频编码器之前可以使用opengl做特效，最终到达视频数据处理线程
• 视频数据处理线程得到ByteBuffer和MediaCodec.BufferInfo,然后分发给其他端，如媒体流或文件合成
• 停止录制

总结

图片1.png