背景

开发环境搭建请参考FFMPEG入门系列01-QT+FFMPEG4.0 Windows开发环境搭建
本章内容讲解基于FFMPEG4.0.2 + SDL2.0

概述

媒体文件通常有一些基本的组成部分。你在学习源码之前需要了解以下的概念：

• 容器(container)，文件本身被称为容器，容器的的类型定义了文件的信息是如何存储，比如，AVI、FLV、MP4等容器格式。当我们从容器读取媒体数据的时候称为解复用器(demuxer)，当我们把媒体数据写入容器的时候称为复用器(muxer).
• 流(stream)，每个音视频媒体通常会有一路音频流和一路视频流。这些流需要根据容器规定的格式存储到媒体文件当中。
• 帧(frame)，流中的数据元素被称为帧，但对于FFMPEG而言，一般压缩的数据成为数据包(packet)，经过解码器解码后的数据再成为帧(frame)。
• 编/解码器(codec)，每路流都会被相应的「编/解码器(codec)」进行编码或解码。codec 定义了实际数据是如何被编解码的，比如你用到的MP4文件的音视频流数据可能是 H264 和 MP3编码器进行编码的。
• 数据包(packets)，是从流中读取的数据片段，这些数据片段中包含的一个个比特经过解码后可以得到的图像帧（画面）或者PCM帧（声音）。通常情况下，每个数据包含完整的一帧多媒体（音频/视频/字幕等等）数据，但要注意在音频情况下，一个数据包中可能会包含多个音频帧。

供参考的播放器框架图 播放器框架图

基于以上这些基础，处理视频流和音频流的过程其实很简单：

1. 根据容器类型找到合适的解复用器(demuxer)；
   对应函数：avformat_open_input
2. 使用解复用器(demuxer)读取多媒体数据，分析媒体文件的信息，比如有几路音频流，几路视频流，它们是什么样的编码格式。音频帧的信息：包括采样率、采样格式、通道数等；视频帧的信息：包括分辨率、图像格式、帧率等等。对应函数：
   • avformat_find_stream_info
   • av_find_best_stream
3. 查找码流对应的解码器，如果能够找到则打开相应的解码器，对应函数：
   • avcodec_alloc_context3
   • avcodec_parameters_to_context
   • avcodec_find_decoder
   • avcodec_open2
4. 不断地读取音视频数据包，对应函数：
   • av_read_frame
5. 将数据包送给解码器，并读取解码后的数据帧，对应函数：
   • avcodec_send_packet
   • avcodec_receive_frame
6. 将获取的视频帧进行画面显示，音频帧进行声音输出。
7. 不断循环 4，5，6三个步骤，直到数据读取完毕。

参考

MFC中如何利用ffmpeg和SDL2.0多线程多窗口播放摄像头的视频https://blog.csdn.net/marising/article/details/52145316?utm_source=blogxgwz5