目录
- ffplay的断点调试
- （解封装部分）常用结构体以及之间的关系分析
- 资料
- 收获
工欲善其事，必先利其器，断点调试，对我们梳理流程排查问题十分重要，可以ffmpeg的调试可以在XCode、VS code以及QT等ide上进行方便的调试分析。本篇我们以XCode为例来先介绍下ffplay的断点调试，以ffmpeg4.4版本来进行分析。
一、ffplay的断点调试
首先下载和编译ffmpeg，具体可以参考音视频开发之旅（33) -交叉编译android使用的FFmpeg(3.x和4.x)
区别在于，我们这次不是交叉编译，而是在Mac上编译安装调试。
./configure --enable-static --disable-shared --enable-debug --disable-doc --disable-x86asm --enable-nonfree --enable-libvpx --enable-gpl --enable-opengl --enable-libx264 --enable-libx265 --enable-libvmaf
make -j8
sudo make install
编译成功之后我们会看到几个重要的可执行文件ffmpeg_g、ffprobe_g以及ffplay_g,而接下来的运行和调试就会用到他们。
如何在Xcode下配置调试ffmpeg源码请参考：https://www.jianshu.com/p/27a90b113413
我们在ffplay.c的main函数打断点进行进行分析ffplay解封装（read_thread）流程中用的的结构体。
打开媒体流
VideoState *stream_open(const char *filename,const AVInputFormat *iformat)
涉及到结构体：AVInputFormat
启动readthread开始读取
is->read_tid = SDL_CreateThread(read_thread, "read_thread", is);
分配AVFormatContext内存
AVFormatContext ic = avformat_alloc_context();
打开流媒体文件
int avformat_open_input(AVFormatContext **ps, const char *filename,
const AVInputFormat *fmt, AVDictionary **options)
涉及到结构体：AVFormatContext、AVInputFormat、AVDictionary
获取流信息
int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options)
涉及到结构体：AVStream AVCodecParameters AVRational
循环读取frame数据
for (;;) {
...
int av_read_frame(AVFormatContext *s, AVPacket *pkt)
...
}
涉及到结构体：AVFormatContext、AVPacket等
解封装的流程先到这里，可见如果想学习ffplay的源码，首先要搞清楚主要流程以及过程中涉及的关键结构体。
下一节我们来具体分析这些结构体。
三、（解封装部分）常用结构体以及之间的关系分析常用结构体以及之间的关系分析
3.1 常用结构体以及之间的关系
FFMPEG中结构体很多。最关键的结构体可以分成以下几类：
a) 解协议（http,rtsp,rtmp,mms）
AVIOContext，URLProtocol，URLContext主要存储视音频使用的协议的类型以及状态。URLProtocol存储输入视音频使用的封装格式。每种协议都对应一个URLProtocol结构。（注意：FFMPEG中文件也被当做一种协议“file”）
b) 解封装（flv,avi,rmvb,mp4）
AVFormatContext主要存储视音频封装格式中包含的信息；AVInputFormat存储输入视音频使用的封装格式。每种视音频封装格式都对应一个AVInputFormat 结构。
c) 解码（h264,mpeg2,aac,mp3）
每个AVStream存储一个视频/音频流的相关数据；每个AVStream对应一个AVCodecContext，存储该视频/音频流使用解码方式的相关数据；每个AVCodecContext中对应一个AVCodec，包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。
d) 存数据
视频的话，每个结构一般是存一帧；音频可能有好几帧
解码前数据：AVPacket
解码后数据：AVFrame
引用自： https://blog.csdn.net/leixiaohua1020/article/details/11693997
他们之间的关系如下：
图片来自：FFMPEG中最关键的结构体之间的关系
3.2。AVFormatContext
该结构体定义在libavformat/Avformat.h中，它是一个贯穿始终的数据结构，很多函数都要用到它作为参数。几个主要变量的作用如下：
struct AVInputFormat *iformat：输入数据的封装格式
struct AVOutputFormat *oformat：输出数据的封装格式
AVIOContext *pb：输入数据的缓存
unsigned int nb_streams：视音频流的个数
AVStream **streams：视音频流
char filename[1024]：文件名
int64_t duration：时长（单位：微秒us，转换为秒需要除以1000000）
int bit_rate：比特率（单位bps，转换为kbps需要除以1000）
AVDictionary *metadata：元数据
3.3 AVInputFormat
该结构体定义也在libavformat/Avformat.h中，是解封装器对象主要的变量的作用如下
const char *name: 格式的名称
const char *mime_type： mime类型如 video/avc video/hevc audio/aac等
以及一系列函数指针
int (*read_probe)(const AVProbeData *);
int (*read_packet)(struct AVFormatContext *, AVPacket *pkt);
int (*read_close)(struct AVFormatContext *);
int (*read_seek)(struct AVFormatContext *,
int stream_index, int64_t timestamp, int flags);
int (*read_play)(struct AVFormatContext *);
int (*read_pause)(struct AVFormatContext *);
int (*read_seek2)(struct AVFormatContext *s, int stream_index, int64_t min_ts, int64_t ts, int64_t max_ts, int flags);
3.4 AVStream
每个AVStream存储一个视频/音频流的相关数据；是解封装器分离出来的流对象，即解封装的产物，它保存在AVFormatcontext中。
该结构体定义也在libavformat/Avformat.h中, 主要变量如下:
int index; 流索引
int id; 流id
void *priv_data; 流数据
AVRational time_base; 时间基，通过该值可以把PTS，DTS转化为真正的时间；PTS*time_base=真正的时间
int64_t duration：流长度
AVRational sample_aspect_ratio； 采样率
AVRational avg_frame_rate：帧率
AVCodecContext *codec：指向该视频/音频流的AVCodecContext（它们是一一对应的关系）
AVStream是解封装环节的输出，同时也是解码环节的输入，每个AVStream对应一个AVCodecContext，存储该视频/音频流使用解码方式的相关数据；每个AVCodecContext中对应一个AVCodec，包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。
解码部分的数据结构分析我们下一篇再来分析学习。
3.5 AVPacket
存储压缩编码数据相关信息的结构体，保存了解封装之后，解码之前的数据以及PTS、DTS、Duration以及streamId等信息
该结构体定义位于libavcodec/Packet.h中，主要变量如下:
uint8_t *data; 对于H.264来说。1个AVPacket的data通常对应一个NAL。
int size：data的大小
int64_t pts：显示时间戳
int64_t dts：解码时间戳
AVPacketSideData *side_data;附加信息
三、资料
《Android音视频开发》-第八章
Xcode调试ffmpeg源码(十五)
FFMPEG中最关键的结构体之间的关系
FFMPEG结构体分析：AVFormatContext
FFMPEG结构体分析：AVStream
FFMPEG结构体分析：AVPacket
四、收获
通过本篇的学习实践，我们学习到了
- 如何在Xcode下断点调试ffmpeg并进行ffplay解封装流程的分析
- 了解常用结构体之间的关系：解协议、解封装、解码对应的结构体以及之间的关系
- 了解解封装相关的几个关键结构的的主要变量和函数。AVFormatContext、AVInputFormat、AVStream
感谢你的阅读
下一篇我们分析ffmpeg解码部分的常用结构体，欢迎关注公众号“音视频开发之旅”，一起学习成长。
欢迎交流
网友评论