关于FFmpeg

FFmpeg 是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用 LGPL 或 GPL 许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的 音频/视频编解码库 libavcodec，为了保证高可移植性和编解码质量， libavcodec 里很多 code 都是 从头开发的。libavformat，用于各种音视频封装格式的生成和解析。libavfilter，音视频滤波器的开发，例如水印。libpostproc，用于后期效果处理。

结构体一 AVPacket

AVPacket是FFmpeg中很重要的一个数据结构，它保存了解复用（demuxer)之后，解码 （decode）之前的数据（仍然是压缩后的数据）和关于这些数据的一些附加的信息，如显示时间 戳（pts），解码时间戳（dts）,数据时长（duration），所在流媒体的索引（stream_index）等 等。

typedef struct AVPacket {
    AVBufferRef *buf;//用来管理data指针引用的数据缓存
     int64_t pts;//显示时间,AVStream->time_base转换成时间戳
    int64_t dts;//解码时间,
    uint8_t *data;
    int   size;//data的大小
    int   stream_index;packet在stream的index位置 
    int   flags;//
    AVPacketSideData *side_data;//容器提供的一些附加数据
    int side_data_elems;//边缘数据元数个数
    int64_t duration;////数据的时长
    int64_t pos;//数据在流媒体中的位置                          
#if FF_API_CONVERGENCE_DURATION
    attribute_deprecated
    int64_t convergence_duration;//不再使用
}AVPacket;

结构体二 AVFrame

AVFrame中存储的是经过解码后的原始数据。在解码中，AVFrame是解码器的输出；在编码 中，AVFrame是编码器的输入。

typedef struct AVFrame {
    uint8_t *data[AV_NUM_DATA_POINTERS];//存储原始帧数据(未编码的原始图像或音频格式，作为解码器的输出或编码器的输入)
  /**
  对于视频来说，linesize是每行图像的大小(字节数)。注意有对齐要求。
  对于音频来说，linesize是每个plane的大小(字节数)。音频只使用linesize[0]。对于planar音频来  说，每个plane的大小必须一样。
**/
    int linesize[AV_NUM_DATA_POINTERS];
    uint8_t **extended_data;//对于视频来说，直接指向data[]成员。
    int width, height;//视频帧宽和高(像素)。
    int nb_samples;//音频帧中单个声道中包含的采样点数。
    int format;//帧格式。如果是未知格式或未设置，则值为-1。
对于视频帧，此值对应于“enum AVPixelFormat”结构
    int key_frame;//视频帧是否是关键帧的标识，1->关键帧，0->非关键帧
    enum AVPictureType pict_type;//视频帧类型(I、B、P等)
    AVRational sample_aspect_ratio;//视频帧的宽高比。
    int64_t pts;//显示时间戳。单位是time_base
    ......
} AVFrame;

结构体三AVFormatContext

在使用 FFmpeg 进行开发的时候，AVFormatContext 是一个贯穿始终的数据结构，很多函数 都要用到它作为参数。它是 FFmpeg 解封装（flv，mp4，rmvb，avi）功能的结构体，即媒体文件的构成和基本信息上下文。

    struct AVInputFormat *iformat; //输入数据的封装格式 
    AVIOContext *pb; //输入数据的缓存
    unsigned int nb_streams; //视音频流的个数
    AVStream **streams; //视音频流 
    char filename[1024]; //文件名 
    int64_t duration; //时长（单位：微秒ms，转换为秒需要除以1_000_000） 
AVDictionary *metadata; //元数据

结构体四AVCodecContext

解码信息上下文

    enum AVMediaType codec_type; //编解码器的类型（视频，音频...） 
    struct AVCodec  *codec; //采用的解码器AVCodec（H.264,MPEG2...） 
    AVRational time_base; //根据该参数，可以把PTS转化为实际的时间
    int width, height; //如果是视频的话，代表宽和高 
    int sample_rate; //采样率（音频） 
    int channels; //声道数（音频）
    enum AVSampleFormat sample_fmt; //采样格式 

联系

参考：https://blog.csdn.net/leixiaohua1020/article/details/11693997
解封装（flv,avi,rmvb,mp4）
AVFormatContext主要存储视音频封装格式中包含的信息；AVInputFormat存储输入视音频使用的封装格式。每种视音频封装格式都对应一个AVInputFormat 结构。

解码（h264,mpeg2,aac,mp3）
每个AVStream存储一个视频/音频流的相关数据；每个AVStream对应一个AVCodecContext，存储该视频/音频流使用解码方式的相关数据；每个AVCodecContext中对应一个AVCodec，包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。

存数据
视频的话，每个结构一般是存一帧；音频可能有好几帧
解码前数据：AVPacket
解码后数据：AVFrame