-
关于
FFmpeg的资源网上有很多，但是在iOS平台的FFmpeg入门的资源却很少，刚开始学习的时候也是像闷头苍蝇，周旋了很久，所以很久之前就想出一个可以让新手也可以看懂的，基于iOS的FFmpeg教程了。 -
看见了优秀的第三方库，总有一种想去探究其如何实现的冲动，半年前公司项目的需求，接触了基于
FFmpeg库的Kxmovie这个音视频播放的第三方库，不得不说这个确实是一个很简单实用，代码有简单流畅的库。 -
接下来，我们来一步一步的解析它，后三篇文章中的代码都是分离出比较精简的代码，所以有时候在逻辑上可能有一些漏洞，希望大家只可以指出我的错误。
-
关于音视频的基础我就不再啰嗦了，建议去看雷神的博客。
基于iOS平台的最简单的FFmpeg视频播放器（一）
基于iOS平台的最简单的FFmpeg视频播放器（二）
基于iOS平台的最简单的FFmpeg视频播放器（三）
音视频解码的步骤
- 把文件分成视频和音频，初始化解码器
- 解码视频和音频
- 显示视频和播放音频
接下来我们一步一步的分开解析，今天的第一部分要做的就是：
- 从文件中分离出视频流，然后初始化解码器
正式开始
以下内容都是基于Kxmovie写的，应该说是对这个第三方库的分解
初始化文件和解码器
- (void)start
{
_path = [[NSBundle mainBundle] pathForResource:@"cuc_ieschool2" ofType:@"mp4"];
__weak Aie1Controller * weakSelf = self;
AieDecoder * decoder = [[AieDecoder alloc] init];
decoder.delegate = self;
dispatch_async(dispatch_get_global_queue(0, 0), ^{
NSError * error = nil;
[decoder openFile:_path error:&error];
__strong Aie1Controller * strongSelf = weakSelf;
if (strongSelf) {
dispatch_async(dispatch_get_main_queue(), ^{
[strongSelf setMovieDecoder:decoder];
});
}
});
}
1. 初始化文件流并分离出视频流
- 在初始化解码器之前，需要从视频文件中获取视频流，然后使用视频流中获信息去初始化解码器。
1.1 读取文件信息
- (BOOL)openInput:(NSString *)path
{
AVFormatContext * formatCtx = NULL;
formatCtx = avformat_alloc_context();
if (!formatCtx) {
NSLog(@"打开文件失败");
return NO;
}
if (avformat_open_input(&formatCtx, [path cStringUsingEncoding:NSUTF8StringEncoding], NULL, NULL) < 0) {
if (formatCtx) {
avformat_free_context(formatCtx);
}
NSLog(@"打开文件失败");
return NO;
}
if (avformat_find_stream_info(formatCtx, NULL) < 0) {
avformat_close_input(&formatCtx);
NSLog(@"无法获取流信息");
return NO;
}
av_dump_format(formatCtx, 0, [path.lastPathComponent cStringUsingEncoding:NSUTF8StringEncoding], false);
_formatCtx = formatCtx;
return YES;
}
-
AVFormatContext这个结构体很重要（FFmpeg里的结构体都很重要），jump进去，官方的解释是Format I/O context，是一个格式化输入输出的上下文。 -
AVFormatContext方法以及解释
avformat_alloc_context()是初始化方法。
avformat_free_context()是释放方法。
avformat_open_input()是打开文件方法。
avformat_find_stream_info()是从文件中获取流信息的方法。
avformat_close_input()是关闭输入，然后是释放。那么它和之前的avformat_free_context()有什么区别呢？细心的同学已经已经发现了，如果用打开文件avformat_open_input()之后那就需要close,如果没有打开，那就直接free。
av_dump_format()其实就是一个打印输出输出的一个方法，可有可无。
1.2 打开视频流
// 打开视频流
- (BOOL)openVideoStream
{
BOOL resual = YES;
_videoStream = -1;
_videoStreams = collectStreams(_formatCtx, AVMEDIA_TYPE_VIDEO);
for (NSNumber * n in _videoStreams) {
const NSUInteger iStream = n.integerValue;
if (0 == (_formatCtx->streams[iStream]->disposition &
AV_DISPOSITION_ATTACHED_PIC)) {
resual = [self openVideoStream:iStream];
if (resual) {
break;
}
}
}
return YES;
}
- 这个过程并不重要，接下来看下一步，才是重头戏。
1.3 分离出视频裸流
static NSArray * collectStreams(AVFormatContext * formatCtx, enum AVMediaType codecType)
{
NSMutableArray * ma = [NSMutableArray array];
for (NSInteger i = 0; i < formatCtx->nb_streams; i++) {
if (codecType == formatCtx->streams[i]->codec->codec_type) {
[ma addObject:[NSNumber numberWithInteger:i]];
}
}
return [ma copy];
}
- 上上一步我们已经通过
AVFormatContext打开了文件，现在这一步我们正式从文件中分离出真正的视频流。看上面这个函数，我们之前传入的第二个参数是AVMEDIA_TYPE_VIDEO，这个就是循环遍历文件中的所有的流，然后从文件流中提取出格式是AVMEDIA_TYPE_VIDEO的视频流，显而易见，音频流就是AVMEDIA_TYPE_AUDIO，其实这方面，音视频是共通的。
2. 初始化视频解码器并计算帧率
2.1 初始化视频解码器
- 终于到了本文的小高潮了，这一步的参数是怎么来的呢？就是在上一步分离出来的视频流，循环遍历一帧有效的数据流，来初始化解码器，记住只要初始化一次就够了。
- (BOOL)openVideoStream:(NSInteger)videoStream
{
AVCodecContext * codecCtx = _formatCtx->streams[videoStream]->codec;
AVCodec * codec = avcodec_find_decoder(codecCtx->codec_id);
if (!codec) {
NSLog(@"无法找到解码器");
return NO;
}
if (avcodec_open2(codecCtx, codec, NULL) < 0) {
NSLog(@"打开解码器失败");
return YES;
}
_videoFrame = av_frame_alloc();
if (!_videoFrame) {
avcodec_close(codecCtx);
NSLog(@"创建视频帧失败");
return NO;
}
_videoStream = videoStream;
_videoCodecCtx = codecCtx;
// 计算 fps 帧率
AVStream * st = _formatCtx->streams[_videoStream];
avStreamFPSTimeBase(st, 0.04, &_fps, &_videoTimeBase);
return YES;
}
-
AVCodecContext官方解释是main external API structure，主要外部API结构体，翻译起来怪怪的。但是雷神曾经说过：‘’AVCodecContext中很多的参数是编码的时候使用的，而不是解码的时候使用的。‘’，那我也可以理解成AVCodecContext结构体主要是存放编解码时候的的参数，到底有什么参数，我们到时候遇到再解释。 -
AVCodec官方解释是，哦官方没有解释，他们的意思估计是这个不需要解释，你懂的。确实这个结构体里面的信息比其他的结构体少的多，综合的来说。AVCodec是一个储存编解码器信息的结构体，会用就好了。 -
AVFrame官方解释是This structure describes decoded (raw) audio or video data，意思就是说这个是用来 存储解码的音视频数据（原始的音视频数据，就是YUV，PCM这些没有压缩过的，体积很大的数据） 的结构体。 -
AVStream官方解释是Stream structure，流结构体，就是之前从文件中取出来的那个文件流，也是音视频流，记录这些流数据中的参数和信息。 -
AVCodecContextAVFrame方法以及解释
avcodec_find_decoder()通过对应匹配的编解码器ID找到已经注册的编解码器。
avcodec_open2()通过AVCodecContext打开解码器。
avcodec_close()通过AVCodecContext关闭解码器，注意了这里的close是释放AVCodecContext结构体的中的所有数据，不是释放AVCodecContext本身。
av_frame_alloc()初始化AVFrame。
av_frame_free()释放AVFrame。
2.2 计算FPS帧率
- 终于到了这一段的结尾了
static void avStreamFPSTimeBase(AVStream *st, CGFloat defaultTimeBase, CGFloat *pFPS, CGFloat *pTimeBase)
{
CGFloat fps, timebase;
// ffmpeg提供了一个把AVRatioal结构转换成double的函数
// 默认0.04 意思就是25帧
if (st->time_base.den && st->time_base.num)
timebase = av_q2d(st->time_base);
else if(st->codec->time_base.den && st->codec->time_base.num)
timebase = av_q2d(st->codec->time_base);
else
timebase = defaultTimeBase;
if (st->codec->ticks_per_frame != 1) {
}
// 平均帧率
if (st->avg_frame_rate.den && st->avg_frame_rate.num)
fps = av_q2d(st->avg_frame_rate);
else if (st->r_frame_rate.den && st->r_frame_rate.num)
fps = av_q2d(st->r_frame_rate);
else
fps = 1.0 / timebase;
if (pFPS)
*pFPS = fps;
if (pTimeBase)
*pTimeBase = timebase;
}
-
timebase的意思就是播放一帧需要的时间，默认是0.04，也可以说是0.04秒播放一帧，所以帧率就是1/0.04 = 25帧。 -
AVRational是AVCodecContext和AVStream结构体中的一个结构里，里面只有两个参数，num、den就是分子和分母的意思，两个参数同时存在的时候，才可以求出帧率。 -
av_q2d()是把AVRatioal中的参数转换成double类型的一个函数，方便我们计算。
结尾
- 代码会在整个播放器讲完之后再给出完整的。
- 由于放了FFmpeg库，所以Demo会很大，下载的时候比较费时。
- 谢谢阅读
网友评论