AVPacket 是什么?
AVPacket是存储压缩编码数据相关信息的结构体
/**
* 该结构用来存储压缩数据. 这是典型的解复合器的输出然后塞入解码器,或者是接收编码器的输出然后塞入复合器
*
* 解复合器 --> AVPacket --> 解码器 --> YUV/RGB --> 编码器 --> AVPacket -->复合器
*
* 对视频而言, 它通常包含一个压缩帧. 对音频而言,则它可能包含多个压缩帧.
* 编码器允许输出一个空包, 没有压缩数据, 仅包含侧数据。
* (例如在编码结束时更新一些流参数)
*
* AVPacket是FFmpeg少数几个结构之一, 其大小是公共ABI的一部分.
*
* 数据所有权的语义取决于buf域.
* 如果被设置, 分组数据动态分配,且永远有效,直到一个叫av_packet_unref()减少引用计数为0时才被释放
*
* 如果buf域没有被设置,那么av_packet_ref()将做一个复制而不会增加引用计数
*
* 附加数据始终由av_malloc()分配内存, 由av_packet_ref()进行拷贝,由av_packet_unref()执行释放.
*
* @浏览 av_packet_ref()
* @浏览 av_packet_unref()
*/
typedef struct AVPacket
{
// 用来管理data指针引用的数据缓存的
// 为NULL时,那么数据包是不计数的
AVBufferRef *buf;
// 显示时间戳, 对应时间戳AVStream->time_base单元; 这个时间点, 解压缩的数据包将被提交给用户
// 如果时间不被存储在文件里, 则可以写成AV_NOPTS_VALUE
// pts必须大于或等于dts, 因为显示不能在解压缩之前被发生, 除非有人想查看十六进制存储。
// 某些格式误用了这个名词dts或者是pts/cts那是意味着别的意思, 所以时间戳必须在被存储到AVPacket之前转换成真正的PTS/DTS。
int64_t pts;
// 解码时间戳, 对应时间戳AVStream->time_base单元; 这个时间点, 数据包被解码
// 如果时间不被存储在文件里, 则可以写成AV_NOPTS_VALUE
int64_t dts;
// 存储的数据,指向一个缓存,这是AVPacket实际的数据
uint8_t *data;
// 数据的大小
int size;
// 标识该AVPacket所属的音频/视频流的索引
int stream_index;
// 一个AV_PKT_FLAG标识值, 最低为置1表示关键帧
int flags;
// 容器可以提供的附加数据
// 包可以包含几种AVPacketSideDataType类型的侧信息
AVPacketSideData *side_data;
// 附加信息元素
int side_data_elems;
// 数据的时长,以所属媒体流的时间基准为单位
int64_t duration;
// 该数据在媒体流中的字节偏移量
int64_t pos;
// 该字段不再使用
#if FF_API_CONVERGENCE_DURATION
attribute_deprecated
int64_t convergence_duration;
#endif
} AVPacket;
重要的变量
在AVPacket结构体中,重要的变量有以下几个:
- uint8_t *data:压缩编码的数据。
例如对于H.264来说。1个AVPacket的data通常对应一个NAL。
注意:在这里只是对应,而不是一模一样。他们之间有微小的差别:使用FFMPEG类库分离出多媒体文件中的H.264码流
因此在使用FFMPEG进行视音频处理的时候,常常可以将得到的AVPacket的data数据直接写成文件,从而得到视音频的码流文件。 - int size:data的大小
- int64_t pts:显示时间戳
- int64_t dts:解码时间戳
- int stream_index:标识该AVPacket所属的视频/音频流。
容器
AVPacket实际上可用看作一个容器,它本身并不包含压缩的媒体数据,而是通过data指针引用数据的缓存空间。
所以将一个Packet作为参数传递的时候,就要根据具体的需要,对data引用的这部分数据缓存空间进行特殊的处理。
当从一个Packet去创建另一个Packet的时候,有两种情况:
- 两个Packet的data引用的是同一数据缓存空间,这时候要注意数据缓存空间的释放问题;
- 两个Packet的data引用不同的数据缓存空间,每个Packet都有数据缓存空间的copy;
第二种情况,数据空间的管理比较简单,但是数据实际上有多个copy造成内存空间的浪费。
所以要根据具体的需要,来选择到底是两个Packet共享一个数据缓存空间,还是每个Packet拥有自己独自的缓存空间。
引用计数
对于多个Packet共享同一个缓存空间,FFmpeg使用的引用计数的机制(reference-count):
当有新的Packet引用共享的缓存空间时,就将引用计数+1;
当释放了引用共享空间的Packet,就将引用计数-1;引用计数为0时,就释放掉引用的缓存空间。
而类AVBufferRef就是用来管理引用机制的:
typedef struct AVBufferRef {
AVBuffer *buffer;
/**
* The data buffer. It is considered writable if and only if
* this is the only reference to the buffer, in which case
* av_buffer_is_writable() returns 1.
*/
uint8_t *data;
/**
* Size of data in bytes.
*/
int size;
} AVBufferRef;
其中,AVPacket会使用两个函数:
-
int av_packet_ref(AVPacket *dst, const AVPacket *src):
可以理解为使用引用计数的浅拷贝。
该函数会先拷贝所有非缓存类数据,
然后创建一个src->data的新的引用计数。如果src已经设置了引用计数发(src->buffer不为空),则直接将其引用计数+1;
如果src没有设置引用计数(src->buffer为空),则为dst创建一个新的引用计数buf,并复制src->data到buf->buffer中。最后,复制src的其他字段到dst中。所以av_packet_ref()是将2个AVPacket共用一个缓存的。 -
void av_packet_unref(AVPacket *pkt):
可以理解为使用引用计数的数据清理。
将缓存空间的引用计数-1,并将Packet中的其他字段设为初始值。如果引用计数为0,自动的释放缓存空间。所以,有两个Packet共享同一个数据缓存空间的时候可用这么做。
参考
https://blog.csdn.net/leixiaohua1020/article/details/14215755
https://blog.csdn.net/davidsguo008/article/details/72628675
网友评论