Android音视频录制与播放功能简述

安卓平台和声音录制与播放相关的主要是4个类：MediaRecorder，MediaPlayer，SoundPool,AudioRecord和AudioTrack。

1. MediaRecorder可以录制视频和音频到文件
2. MediaPlayer可以播放视频和音频文件
3. SoundPool用于播放比较短的音频片段
4. AudioRecord可以提供接口读取音频流数据（byte数组或者short数组）
5. AudioTrack提供接口用于播放音频流数据。

其中MediaRecorder和AudioRecord用于声音录制，SoundPool、MediaPlayer和AudioTrack用于声音播放。AudioRecord和AudioTrack用于操作音频流数据，操作对象是byte数组（或者short数组），而MediaRecorder和MediaPlayer提供了经过更高层抽象和封装接口，直接对文件进行操作，而且他俩功能更丰富，同时支持音频和视频。

一、MediaRecorder

Paste_Image.png

MediaRecorder的状态简述：

Initial：初始化。也就是MediaRecorder 刚被创建的时候。在这个时候我们去设置音频或者视频的来源了，可能这个时候就有人问了 音频或者视频的来源是什么意思，举个例子吧，比如当我们在录音的时候，这个声音的来源就可以设置成手机的麦克风。
Initialized：初始化完成。这里我们已经知道音频或者视频的来源了，在这里我们就可以设置一些输出的属性了，比如输出文件的保存格式，编码格式等。
DataSourceConfigured:数据源配置改变。也就是我们改变了一些输出的属性，就会进入到这个状态。
Prepered：处于这个状态就说明了我们的配置已经完成了，现在准备去录制了。
Recordeing：录制中。
Released：资源被释放了。
Error：录制的时候发生了错误。

主要方法：

 setAudioChannels(int numChannels) 设置录制的音频通道数
 setAudioEncoder(int audio_encoder) 设置audio的编码格式
 setAudioEncodingBitRate(int bitRate) 设置录制的音频编码比特率
 setAudioSamplingRate(int samplingRate) 设置录制的音频采样率
 setAudioSource(int audio_source) 设置用于录制的音源
 setAuxiliaryOutputFile(String path) 辅助时间的推移视频文件的路径传递
 setAuxiliaryOutputFile(FileDescriptor fd)在文件描述符传递的辅助时间的推移视频
 setCamera(Camera c) 设置一个recording的摄像头
 setCaptureRate(double fps) 设置视频帧的捕获率
 setMaxDuration(int max_duration_ms) 设置记录会话的最大持续时间（毫秒）
 setMaxFileSize(long max_filesize_bytes) 设置记录会话的最大大小（以字节为单位）
 setOutputFile(FileDescriptor fd) 传递要写入的文件的文件描述符
 setOutputFile(String path) 设置输出文件的路径
 setOutputFormat(int output_format) 设置在录制过程中产生的输出文件的格式
 setPreviewDisplay(Surface sv) 表面设置显示记录媒体（视频）的预览
 setVideoEncoder(int video_encoder) 设置视频编码器，用于录制
 setVideoEncodingBitRate(int bitRate) 设置录制的视频编码比特率
 setVideoFrameRate(int rate) 设置要捕获的视频帧速率
 setVideoSize(int width, int height) 设置要捕获的视频的宽度和高度
 setVideoSource(int video_source) 开始捕捉和编码数据到setOutputFile（指定的文件）
 setLocation(float latitude, float longitude) 设置并存储在输出文件中的地理数据（经度和纬度）
 setProfile(CamcorderProfile profile) 指定CamcorderProfile对象
 setOrientationHint(int degrees)设置输出的视频播放的方向提示
 setOnErrorListener(MediaRecorder.OnErrorListener l)注册一个用于记录录制时出现的错误的监听器
 setOnInfoListener(MediaRecorder.OnInfoListener listener)注册一个用于记录录制时出现的信息事件
 getMaxAmplitude() 获取在前一次调用此方法之后录音中出现的最大振幅
 prepare()准备录制。
 release()释放资源
 reset()将MediaRecorder设为空闲状态
 start()开始录制
 stop()停止录制

MediaRecorder主要配置参数：

1、视频编码格式MediaRecorder.VideoEncoder
    default，H263，H264，MPEG_4_SP，VP8
2、音频编码格式MediaRecorder.AudioEncoder
    default，AAC，HE_AAC，AAC_ELD，AMR_NB，AMR_WB，VORBIS
3、视频资源获取方式MediaRecorder.VideoSource
    default，CAMERA，SURFACE
4、音频资源获取方式MediaRecorder.AudioSource
    defalut，camcorder，mic，voice_call，voice_communication,voice_downlink,voice_recognition, voice_uplink
5、资源输出格式MediaRecorder.OutputFormat
    amr_nb，amr_wb,default,mpeg_4,raw_amr,three_gpp，aac_adif， aac_adts， output_format_rtp_avp， output_format_mpeg2ts ，webm

实现录音的一般步骤：

1、实例化MediaRecorder mr，调用构造方法 
2、初始化mr：mr.setAudioSource(MIC)/setVideoSource(CAMERA) 
3、配置DataSource：设置输出文件格式/路径，编码器等 
4、准备录制：mr.prepare() 
5、开始录制：mr.start() 
6、停止录制：mr.stop() 
7、释放资源：mr.release() 
注：2,3不可调换顺序 
添加权限： 
<uses-permission android:name="android.permission.CAMERA" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/> 
<uses-permission android:name="android.permission.RECORD_AUDIO"> 

二、MediaPlayer

Paste_Image.png

1、当一个MediaPlayer对象被创建或者调用reset()方法之后，它处于空闲状态，调用release()方法后处于结束状态。

• 一个MediaPlayer对象调用了reset（）方法后，再调用其它方法可能会触发OnErrorListener.onError()事件，未调用reset（）方法则不会触发。
• 当Mediaplayer对象不再被使用时，最好调用release（）方法对其进行释放，使其处于结束状态，此时它不能被使用
• Mediaplayer对象被创建时（调用构造方法）处于空闲状态，若使用create（）方法创建后则处于准备状态。

2、 一般情况下，一些常用的播放控制操作可能因为音频、视频的格式不被支持或者质量较差以及流超时，也有可能由于开发者的疏忽使得Mediaplayer对象处于无效状态等而导致错误。此时可通过注册setOnErrorListener方法实现监控。如果发生了错误，Mediaplayer对象将处于多雾状态，可以使用reset（）方法来回复错误。

3、任何Mediaplayer对象都必须先处于准备状态，然后才开始播放

4、要开始播放Mediaplayer对象都必须成功调用start（）方法，可通过isPlaying（）方法来检测是否正在播放

5、当Mediaplayer对象在播放时，可以进行暂停和停止操作，pause（）方法暂停播放，stop（）方法停止播放。处于暂停暂停时可通过start（）方法恢复播放，但是处于停止状态时则必须先调用prepare（）方法使其处于准备状态，再调用start（）方法。

主要方法：

1. 实例化方式
   使用直接new的方式：
   MediaPlayer mp = new MediaPlayer();
   使用create的方式:
   MediaPlayer mp = MediaPlayer.create(this, R.raw.test);
2. 设置播放源

setDataSource(String path)//指定装载path路径所代表的文件。
setDataSource(Context context, Uri uri, Map<String, String headers)//指定装载uri所代表的文件。
setDataSource(Context context, Uri uri)//指定装载uri所代表的文件。
setDataSource(FileDescriptor fd, long offset, long length)//指定装载fd所代表的文件中从offset开始长度为length的文件内容。
setDataSource(FileDescriptor fd)//指定装载fd所代表的文件。

3. 配置播放参数

setAudioStreamType(int streamtype)//设置音频流的类型。
setDisplay(SurfaceHolder sh)//设置显示方式。
setLooping(boolean looping)//设置是否循环播放。
setNextMediaPlayer(MediaPlayer next)//设置当前流媒体播放完毕,下一个播放的MediaPlayer。
setScreenOnWhilePlaying(boolean screenOn)//设置是否使用SurfaceHolder来显示。
setSurface(Surface surface)//设置Surface。
setVideoScalingMode(int mode)//设置视频缩放的模式。
setVolume(float leftVolume, float rightVolume)//设置播放器的音量。
setWakeMode(Context context, int mode)//为MediaPlayer设置低级电源管理行为。

4. 播放控制函数

start()//开始或恢复播放。
stop()//停止播放。
pause()//暂停播放。
prepare()//准备播放（装载音频），调用此方法会使MediaPlayer进入Prepared状态。
prepareAsync()//准备播放异步音频。
release()//释放媒体资源
reset()//重置MediaPlayer进入未初始化状态。
seekTo(int msec)//指定的时间位置。

5. 监听事件函数

setOnBufferingUpdateListener(MediaPlayer.OnBufferingUpdateListener listener)//注册一个回调函数,在网络视频流缓冲变化时调用。
setOnCompletionListener(MediaPlayer.OnCompletionListener listener)//为Media Player的播放完成事件绑定事件监听器。
setOnErrorListener(MediaPlayer.OnErrorListener listener)//为MediaPlayer的播放错误事件绑定事件监听器。
setOnPreparedListener(MediaPlayer.OnPreparedListener listener)//当MediaPlayer调用prepare()方法时触发该监听器。
setOnSeekCompleteListener(MediaPlayer.OnSeekCompleteListener listener)//当MediaPlayer调用seek()方法时触发该监听器。
setOnVideoSizeChangedListener(MediaPlayer.OnVideoSizeChangedListener listener)//注册一个用于监听视频大小改变的监听器。

6. 获取参数函数

getCurrentPosition()//获取当前播放的位置。
getDuration()//获取音频的时长。
getVideoHeight()//获取视频的高度。
getVideoWidth()//获取视频的宽度。
isLooping()//判断MediaPlayer是否正在循环播放。
isPlaying()//判断MediaPlayer是否正在播放。

三、AudioRecord

1. AudioRecord 的工作流程

（1） 配置参数，初始化内部的音频缓冲区
（2） 开始采集
（3） 需要一个线程，不断地从 AudioRecord 的缓冲区将音频数据“读”出来，注意，这个过程一定要及时，否则就会出现“overrun”的错误，该错误在音频开发中比较常见，意味着应用层没有及时地“取走”音频数据，导致内部的音频缓冲区溢出。
（4） 停止采集，释放资源

2. AudioRecord 的参数配置

• audioSource
  该参数指的是音频采集的输入源，可选的值以常量的形式定义在 MediaRecorder.AudioSource 类中，常用的值包括：DEFAULT（默认），VOICE_RECOGNITION（用于语音识别，等同于DEFAULT），MIC（由手机麦克风输入），VOICE_COMMUNICATION（用于VoIP应用）等等。
• sampleRateInHz
  采样率，注意，目前44100Hz是唯一可以保证兼容所有Android手机的采样率。
• channelConfig
  通道数的配置，可选的值以常量的形式定义在 AudioFormat 类中，常用的是 CHANNEL_IN_MONO（单通道），CHANNEL_IN_STEREO（双通道）。
• audioFormat
  这个参数是用来配置“数据位宽”的，可选的值也是以常量的形式定义在 AudioFormat 类中，常用的是 ENCODING_PCM_16BIT（16bit），ENCODING_PCM_8BIT（8bit），注意，前者是可以保证兼容所有Android手机的。

四、AudioTrack

1. ** AudioTrack 的工作流程**

（1） 配置参数，初始化内部的音频播放缓冲区
（2） 开始播放
（3） 需要一个线程，不断地向 AudioTrack 的缓冲区“写入”音频数据，注意，这个过程一定要及时，否则就会出现“underrun”的错误，该错误在音频开发中比较常见，意味着应用层没有及时地“送入”音频数据，导致内部的音频播放缓冲区为空。
（4） 停止播放，释放资源

2. ** AudioTrack 的参数配置**

• streamType
  这个参数代表着当前应用使用的哪一种音频管理策略，当系统有多个进程需要播放音频时，这个管理策略会决定最终的展现效果，该参数的可选的值以常量的形式定义在 AudioManager 类中，主要包括：

STREAM_VOCIE_CALL：电话声音
STREAM_SYSTEM：系统声音
STREAM_RING：铃声
STREAM_MUSCI：音乐声
STREAM_ALARM：警告声
STREAM_NOTIFICATION：通知声

• sampleRateInHz
  采样率，从AudioTrack源码的“audioParamCheck”函数可以看到，这个采样率的取值范围必须在 4000Hz～192000Hz 之间。
• mode
  AudioTrack 提供了两种播放模式，一种是 static 方式，一种是 streaming 方式，前者需要一次性将所有的数据都写入播放缓冲区，简单高效，通常用于播放铃声、系统提醒的音频片段; 后者则是按照一定的时间间隔不间断地写入音频数据，理论上它可用于任何音频播放的场景。
  可选的值以常量的形式定义在 AudioTrack 类中，一个是 MODE_STATIC，另一个是 MODE_STREAM，根据具体的应用传入对应的值即可。

五、SoundPool

soundlPool 用于播放比较短的音频片段，比如游戏声音、按键声、铃声片段等等，它可以同时播放多个音频。

主要方法：

1. 构造实例
   SoundPool(int maxStreams, int streamType, int srcQuality) 参数依次是：
   ①指定支持多少个声音，SoundPool对象中允许同时存在的最大流的数量，该值太大就会报错AudioFlinger could not create track, status: -12 ，就听不到声音
   ②指定声音类型，流类型可以分为STREAM_VOICE_CALL, STREAM_SYSTEM, STREAM_RING,STREAM_MUSIC 和STREAM_ALARM四种类型。在AudioManager中定义。
   ③指定声音品质（采样率变换质量），一般直接设置为0！
   　　在低版本中可以用上述构造方法，而API 21(Android 5.0)后这个构造方法就过时了！ 而用到一个SoundPool.Builder的东东，我们要实例化SoundPool只需调用：

SoundPool.Builder spb = new SoundPool.Builder();
spb.setMaxStreams(10);
spb.setAudioAttributes(null);    //转换音频格式
SoundPool sp = spb.build();      //创建SoundPool对象

2. 加载声音资源文件

load(Context context, int resId, int priority) //从APK资源载入
load(String path, int priority)
load(FileDescriptor fd, long offset, long length, int priority)
load(AssetFileDescriptor afd, int priority)

参数介绍：

context：上下文
resId：资源id，如从raw文件获取填写R.raw.xxx
priority：没什么用的一个参数，建议设置为1，保持和未来的兼容性
path：文件路径,文件的绝对路线，如存放在sd卡中的音频
FileDescriptor：文件描述符
AssetFileDescriptor：从asset目录读取某个资源文件，context.getAssets().openFd("xxx"),xxx表示文件名

上述方法都会返回一个声音的ID，Integer类型，我们可以通过建立一个Map<Integer,Integer> 来存储和获取声音方法如下，

Map<Integer,Integer> map=new HashMap<Integer, Integer>();
map.put(1,soundPool.load(context.getAssets().openFd("FadeOut.ogg"),1));

3. 播放音频文件
   play(int soundID, float leftVolume, float rightVolume, int priority, int loop, float rate),其返回值为一个int类型的数字
   参数依次是：

soundID：Load()返回的声音ID号，以上可以通过map.get(1)获取
leftVolume：左声道音量设置  一般为0－1，默认填1
rightVolume：右声道音量设置 一般为0－1，默认填1
priority：指定播放声音的优先级，数值越高，优先级越大。默认填0
loop：指定是否循环：-1表示无限循环，0表示不循环，其他值表示要重复播放的次数
rate：指定播放速率：1.0的播放率可以使声音按照其原始频率，而2.0的播放速率，可以使声音按照其 原始频率的两倍播放。如果为0.5的播放率，则播放速率是原始频率的一半。播放速率的取值范围是0.5至2.0。

如果SoundPool刚调完加载load函数之后，直接调用SoundPool的play函数可能出现error "sample 1 not READY",所以建议，调用加载资源函数load之后，实现资源加载结束的监听函数，在这个监听到资源加载结束之后，播放音频文件。

soundPool.setOnLoadCompleteListener(new SoundPool.OnLoadCompleteListener() {
            @Override
            public void onLoadComplete(SoundPool soundPool, int sampleId, int status) {
                soundPool.play(map.get(1),1,1,0,0,1);
            }
        });

4. 去除音频或者停止播放重置资源

soundPool.pause(int streamID)  暂停指定播放流的音效
streamID：应通过play()返回
soundPool.resume(int streamID)  继续播放指定播放流的音效
streamID：应通过play()返回
soundPool.stop(int streamID) 终止指定播放流的音效
streamID：应通过play()返回
soundPool.unload(int soundID) 卸载一个指定的音频资源.
soundID：Load()返回的声音ID号，以上可以通过map.get(1)获取
 soundPool.release(); 释放SoundPool中的所有音频资源.

注意：

1. play()函数传递的是一个load()返回的soundID——指向一个被记载的音频资源 ，如果播放成功则返回一个非0的streamID——指向一个成功播放的流 ；同一个soundID 可以通过多次调用play()而获得多个不同的streamID (只要不超出同时播放的最大数量)；
2. pause()、resume()和stop()是针对播放流操作的，传递的是play()返回的streamID ;
3. play()中的priority参数，只在同时播放的流的数量超过了预先设定的最大数量是起作用，管理器将自动终止优先级低的播放流。如果存在多个同样优先级的流，再进一步根据其创建事件来处理，新创建的流的年龄是最小的，将被终止；
4. 无论如何，程序退出时，手动终止播放并释放资源是必要的。
5. 如果你音效多，也不要指望unload方法来清除掉一些音效后再load新的进去，虽然unload后音效卸载了，但是前面分给它在SoundPool里面的Id可没有释放掉，也就是说这个时候你load新的进去只会在后面继续累加，然后累加多了就超过256了，然后就就听不到声音，然后就没有然后了。要想彻底清掉前面的音效请使用release方法，它会连内存中占用的资源一起释放掉。
6. 其他还有点什么呢，load需要一点点时间，load后不要马上unload，load ---play--unload的做法并不可取，不要load太大的音效，它只会申请1M的内存空间。SoundPool出错后通常会看到return的值是0。

五、MediaRecorder 和 AudioRecord的选择

Android SDK 提供了两套音频采集的API，分别是：MediaRecorder 和 AudioRecord，前者是一个更加上层一点的API，它可以直接把手机麦克风录入的音频数据进行编码压缩（如AMR、MP3等）并存成文件，而后者则更接近底层，能够更加自由灵活地控制，可以得到原始的一帧帧PCM音频数据。

如果想简单地做一个录音机，录制成音频文件，则推荐使用 MediaRecorder，而如果需要对音频做进一步的算法处理、或者采用第三方的编码库进行压缩、以及网络传输等应用，则建议使用 AudioRecord，其实 MediaRecorder 底层也是调用了 AudioRecord 与 Android Framework 层的 AudioFlinger 进行交互的。

音频的开发，更广泛地应用不仅仅局限于本地录音，因此，我们需要重点掌握如何利用更加底层的 AudioRecord API 来采集音频数据（注意，使用它采集到的音频数据是原始的PCM格式，想压缩为mp3,aac等格式的话，还需要专门调用编码器进行编码）。

六、MediaPlayer，SoundPool和AudioTrack的选择

MediaPlayer 更加适合在后台长时间播放本地音乐文件或者在线的流式资源;
SoundPool 则适合播放比较短的音频片段，比如游戏声音、按键声、铃声片段等等，它可以同时播放多个音频;
而 AudioTrack 则更接近底层，提供了非常强大的控制能力，支持低延迟播放，适合流媒体和VoIP语音电话等场景。

七、播放视频 VideoView

主要方法：

getBufferPercentage：得到缓冲的百分比 
getCurrentPosition：得到当前播放位置 
getDuration：得到视频文件的时间 
resolveAdjustedSize：调整视频显示大小 
setMediaController：设置播放控制器模式（播放进度条） 
setOnCompletionListener：当视频文件播放完时触发事件 
setVideoPath：设置视频源路径 
setVideoURI：设置视频源地址 

八、相机Camera

Camera回调事件

1. android.hardware.Camera.AutoFocusCallback
   当自动对焦时候调用，该接口具有一个void onAutoFocus(boolean success,Camera camera)函数;
2. android.hardware.Camera.ErrorCallback
   摄像头出错的时候调用，这个接口具有一个void onError(int error,Camera camera)函数;前者表示数据类型，取值是Camera类中的常量CAMERA_ERROR_UNKNOWN或者是 CAMERA_ERROR_SERVICE_DIED；
   前者是不明错误，后者是表示服务已经关闭，在这种情况下需要释放当前的Camera对象，然后再初 始化一个。
3. android.hardware.camera.PreviewCallback
   在图像预览时调用，这个接口有一个void onPreviewFrame(byte[] data,Camera camera);参数data为每帧图像的数据流。我们可以根据实际需要来实现这个接口。
4. android.hardware.Camera.ShutterCallback
   在图像预览的时候调用，这个接口具有一个void onShutter();
   可以在改函数中通知用户快门已经关闭，例如播放一个声音。
5. android.hardware.Camera.PictureCallback
   当拍摄相片的时候调用，该接口具有一个void onPictureTaken(byte[] data,Camera camera)函数;参数和预览的一样。在android中主要有三个类实现了这个接口，分别是PostViewPictureCallback、 RawPictureCallback、JepgPictureCallback。我们可以根据需要定义自己需要的类。
6. 还提供了放大缩小的监听器android.hardware.Camera.OnZoomChangeListener。

private final class ZoomListener implements android.hardware.Camera.OnZoomChangeListener {
public void onZoomChange(int value, boolean stopped, android.hardware.Camera camera) ;

Camera.Parameters 相机的属性参数

通过Camera.open(int cameraId)启动相机服务，然后通过Camera对象的getParameters()函数来得到一个android.hardware.Camera.Parameters 对象，Parameters提供了一些接口来设置Camera的属性：

1. setPictureFormat(int pixel_format)
   设置图片的格式，其取值为ImageFormat.JPEG、ImageFormat.RGB_565或者ImageFormat.FLEX_RGB_888等格式。
2. setPreviewFormat(int pixel_format)
   设置图片的预览格式，取值如上。
3. setPictureSize(int width,int height)
   设置图片的高度和宽度，单位为像素。
4. setPreviewSize(int width,int height)
   设置预览的高度和宽度，取值如上。
5. setPreviewFrameRate(int fps)
   设置图片预览的帧速。
6. setFocusMode(String value)
   设置聚焦模式，如Camera.Parameters.FOCUS_MODE_AUTO。

Camera类的方法

在设置好Camera的参数后，通过以下方法可执行相应操作。

1. camera.startPreview()
   开始预览图像。
2. camera.autoFocus(AutoFocusCallback cb)
   自动对焦。
3. camera.takePicture(ShutterCallback shutter, PictureCallback raw, PictureCallback jpeg)
   执行拍照。
   注：takePicture方法要实现3个回调函数作为它的三个参数：Camera.ShutterCallback（快门回调接口），和两个Camera.Picture.Callback（原生图像数据接口和压缩格式图片数据接口）。
   需要许可
   <uses-permission android:name="android.permission.CAMERA" />
   若要将图片存储至sd卡中，则需要sd卡读写许可
4. camera.stopPreview()
   停止预览 。
5. camera.release()
   释放相机服务 。

九、闹钟设置AlarmManager

相关类：AlarmManager，它是专门用来设定在某个指定的时间去完成指定的事件。AlarmManager提供了访问系统警报的服务，只要在程序中设置了警报服务，AlarmManager就会通过onReceive（）方法去执行这些事件，就算系统处于待机状态，同样不会影响运行。可通过Context.getSystemService（ALARM_SERVICE）方法来获得该服务。 
 方法说明： 
cancel：    取消AlarmManager服务 
set：    设置AlarmManager服务 
setInexactRepeating：设置不精确周期 
setRepeating：设置精确周期 
setTimeZone：设置时区 
 注：需创建一个BroadcastReceiver的子类，并覆盖onReceive（）方法 
 铃声设置 
 系统自带的铃声都放在/system/medio/audio/文件夹中 
 铃音类型： TYPE_RINGTONE（来电铃音），TYPE_ALARM，TYPE_NOTIFICATION 
相关类：RingtoneManager 
方法介绍： 
getActualDefaultRingtoneUri：取得指定类型的铃声 
getCursor：返回所有可用铃声的游标 
getDefaultType：得到指定URI默认的铃声类型 
getRingtone 
 getRingtonePosition：得到铃声位置 
getRingtoneUri 
 getValidRingtoneUri：得到一个可用铃声的URI 
 isDefault：得到指定的Uri是否为默认的铃声 
setActualDefaultRingtoneUri：设置默认的铃声 

 获取的Cursor共有4列,列名依次为：_id，title，”content://media/internal/audio/media”，title_key