FFmpeg 是什么？

FFmpeg 既是一款音视频编解码工具，同时也是一组音视频编解码开发套件，作为编解码开发套件，它为开发者提供了丰富的音视频的调用接口

FFmpeg 中的 “FF” 指的是 “Fast Forward”，FFmpeg 中的 “mpeg” 则是 “Moving Picture Experts Group”（动态图像专家组）

强大的功能

FFMpeg 提供了多种媒体格式的封装和解封装，包括多种音视频编码、多种协议的流媒体、多种色彩格式转换、多种采样率转换、多种码率转换等；FFmpeg 框架提供了多种丰富的插件模块，包含封装与解封装的插件、编码与解码的插件等

FFmpeg 模块分类

打开 FFmpeg 源码，会发现有一系列 libavxxx 的模块，这些模块很好地划分了代码的结构和分工

libavformat，format，格式封装
libavcodec，codec，编码、解码
libavutil，util，通用音视频工具，像素、IO、时间等工具
libavfilter，filter，过滤器，可以用作音视频特效处理
libavdevice，device，设备（摄像头、拾音器）
libswscale，scale，视频图像缩放，像素格式互换
libavresample，resample，重采样
libswresample，也是重采样，类似图像缩放
libpostproc，后期处理

FFmpeg 数据结构简介

AVFormatContext

封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装格式相关信息

iformat：输入视频的AVInputFormat
nb_streams ：输入视频的AVStream 个数
streams ：输入视频的AVStream []数组
duration ：输入视频的时长（以微秒为单位）
bit_rate ：输入视频的码率

AVInputFormat

每种封装格式（例如FLV, MKV, MP4, AVI）对应一个该结构体

name：封装格式名称
long_name：封装格式的长名称
extensions：封装格式的扩展名
id：封装格式ID  
一些封装格式处理的接口函数

AVStream

视频文件中每个视频（音频）流对应一个该结构体

id：序号
codec：该流对应的AVCodecContext
time_base：该流的时基
r_frame_rate： 该流的帧率

AVCodecContext

编码器上下文结构体，保存了视频（音频）编解码相关信息

codec：编解码器的AVCodec
width, height：图像的宽高（只针对视频）
pix_fmt：像素格式（只针对视频）
sample_rate：采样率（ 只针对音频）
channels：声道数（只针对音频）
sample_fmt：采样格式（只针对音频）

AVCodec

每种视频（音频）编解码器(例如H.264解码器)对应一个该结构体

name：编解码器名称
long_name：编解码器长名称
type：编解码器类型
id：编解码器ID
一些编解码的接口函数

AVPacket

存储一帧压缩编码数据

pts：显示时间戳
dts ：解码时间戳
data ：压缩编码数据
size ：压缩编码数据大小
stream_index ：所属的AVStream

AVFrame

存储一帧解码后像素（采样）数据

data：解码后的图像像素数据（音频采样数据）。
linesize：对视频来说是图像中一行像素的大小；对音频来说是整个音频帧的大小。
width, height：图像的宽高（只针对视频）。
key_frame：是否为关键帧（只针对视频） 。
pict_type：帧类型（只针对视频） 。例如I， P， B。

FFmpeg的一些应用场景

下面介绍一下 FFmpeg 都用在了哪里（在这里仅列几个我所知的，其实远比这个多）。说白了就是为了说明：FFmpeg 是非常重要的。

使用 FFmpeg 作为内核视频播放器：

Mplayer，ffplay，射手播放器，暴风影音，KMPlayer，QQ影音...

使用 FFmpeg 作为内核的 Directshow Filter：

ffdshow，lav filters...

使用 FFmpeg 作为内核的转码工具：

ffmpeg，格式工厂...

事实上，FFmpeg 的音视频编解码功能确实太强大了，几乎囊括了现存所有的音视频编码标准，因此只要做音视频开发，几乎离不开它

为了是大家能够更好的学习 音视频开发，在这里特别提供一份 高级音视频开发学习笔记；里面包含了这些年学习 音视频开发所遇到的难题及其解决方案； 有需要这份 高级音视频开发学习笔记 的朋友：可以简信发送 “笔记” 即可 免费获取； 希望大家阅读过后，能够 查漏补缺；早日成为高级音视频开发者

内容展示如下：