H264知识

VideoToolbox基本数据结构：

（1）CVPixelBuffer：编码前和解码后的图像数据结构。

（2）CMTime、CMClock和CMTimebase：时间戳相关。时间以64-bit/32-bit的形式出现。

（3）CMBlockBuffer：编码后，结果图像的数据结构。

（4）CMVideoFormatDescription：图像存储方式，编解码器等格式描述。

（5）CMSampleBuffer：存放编解码前后的视频图像的容器数据结构。

1

视频压缩知识：

H264压缩技术主要采用了以下几种方法对视频数据进行压缩。包括：

帧内预测压缩，解决的是空域数据冗余问题。

帧间预测压缩（运动估计与补偿），解决的是时域数据冗徐问题。

整数离散余弦变换（DCT），将空间上的相关性变为频域上无关的数据然后进行量化。

CABAC压缩。

经过压缩后的帧分为：I帧，P帧和B帧:

I帧：关键帧，采用帧内压缩技术。

P帧：向前参考帧，在压缩时，只参考前面已经处理的帧。采用帧音压缩技术。

B帧：双向参考帧，在压缩时，它即参考前而的帧，又参考它后面的帧。采用帧间压缩技术。

除了I/P/B帧外，还有图像序列GOP。

GOP:两个I帧之间是一个图像序列，在一个图像序列中只有一个I帧。如下图所示：

2

NALU：(H264的码流，H264的实际数据传输)Network Abstract Layer，即网络抽象层

H.264码流在网络中传输时实际是以NALU的形式进行传输的.

H264的码流由NALU单元组成，NALU单元包含视频图像数据和H264的参数信息。其中视频图像数据就是CMBlockBuffer，而H264的参数信息则可以组合成FormatDesc。具体来说参数信息包含SPS（Sequence Parameter Set）和PPS（Picture Parameter Set）

由NALU构成的H264NALUS数据码流

（1）提取sps和pps生成format description。

a，每个NALU的开始码是0x00 00 01，按照开始码定位NALU。

b，通过类型信息找到sps和pps并提取，开始码后第一个byte的后5位，7代表sps，8代表pps。

c，CMVideoFormatDescriptionCreateFromH264ParameterSets函数来构建CMVideoFormatDescriptionRef。具体代码可以见demo。

（2）提取视频图像数据生成CMBlockBuffer。

a，通过开始码，定位到NALU。

b，确定类型为数据后，将开始码替换成NALU的长度信息（4 Bytes）。

c，CMBlockBufferCreateWithMemoryBlock接口构造CMBlockBufferRef。具体代码可以见demo。

（3）根据需要，生成CMTime信息。（实际测试时，加入time信息后，有不稳定的图像，不加入time信息反而没有，需要进一步研究，这里建议不加入time信息）

根据上述得到CMVideoFormatDescriptionRef、CMBlockBufferRef和可选的时间信息，使用CMSampleBufferCreate接口得到CMSampleBuffer数据这个待解码的原始的数据。见下图的H264数据转换示意图。

1

NALU结构：长度-1byte

NALU结构 NALU Header

NAL header：

forbidden_zero_bit：forbidden_zero_bit shall be equal to 0.

nal_ref_idc：

用于表示当前NALU的重要性，值越大，越重要.

解码器在解码处理不过来的时候，可以丢掉重要性为0的NALU.

nal_ref_idc不等于0时, NAL unit的内容可能是SPS/PPS/参考图像的片等，nal_ref_idc等于0时，NAL unit的内容可能是非参考图像的片等.

SPS/PPS时，nal_ref_idc不可为0，当某个图像的片的nal_ref_id等于0时，该图像的所有片均应等于0.

1

举例来说：

00 00 00 01 06:  SEI信息

00 00 00 01 67: 0x67&0x1f = 0x07 :SPS

00 00 00 01 68: 0x68&0x1f= 0x08 :PPS

00 00 00 01 65: 0x65&0x1f= 0x05 :IDR Slice

RBSP

2

RBSP 序列举例：

3

SODB与RBSP：

SODB 数据比特串 -> 是编码后的原始数据.

RBSP 原始字节序列载荷 -> 在原始编码数据的后面添加了 结尾比特。一个 bit“1”若干比特“0”，以便字节对齐。

3

NALU架构：

4

1帧 = n个片

1片 = n个宏块

1宏块 =16x16yuv数据

为什么要设置片呢?

设置片的目的是为了限制误码的扩散和传输，应使编码片相互间是独立的。某片的预测不能以其他片中的宏块为参考图像，这样某一片中的预测误差才不会传播到其他片中。 

可以看到上图中，每个图像中，若干宏块(Macroblock)被排列成片。一个视频图像可编程一个或更多个片，每片包含整数个宏块 (MB),每片至少包含一个宏块。

片有一下五种类型:

片     意义

I       片只包含I宏块

P      片包含P和I宏块

B      片包含B和I宏块

SP     片包含P 和/或 I宏块,用于不同码流之间的切换

SI     片一种特殊类型的编码宏块

SPS：

h264文档 7.2章节描述了内存大小描述语法

7.3.2.1.1描述了sps结构

Sequence Parameter Set(序列参数集)

nal_unit_type = 7

包含H.264的profile_idc和level_idc等信息.

还有图像的宽高:

pic_width_in_mbs_minus1：pic_width_in_mbs_minus1 = 21 以宏块（16x16）为单位的值减1

因此，实际的宽为 (21 + 1) * 16 = 352

pic_height_in_map_units_minus1

PPS：

Picture Parameter Set(图像参数集)

SEI：

Supplementary Enhancement Information

level和profile：

profile：

在H.264的SPS中，第一个字节表示profile_idc，根据profile_idc的值可以确定码流符合哪一种档次。判断规律为：

profile_idc = 66 → baseline profile，基本画质。支持I/P 帧，只支持无交错（Progressive）和CAVLC；

profile_idc = 77 → main profile， 进阶画质。支持I/P/B/SP/SI 帧，只支持无交错（Progressive）和CAVLC；(用的少)；

profile_idc = 88 → extended profile，主流画质。提供I/P/B 帧，支持无交错（Progressive）和交错（Interlaced）， 也支持CAVLC 和CABAC 的支持；

4、High profile：高级画质。在main Profile 的基础上增加了8x8内部预测、自定义量化、 无损视频编码和更多的YUV 格式；

在新版的标准中，还包括了High、High 10、High 4:2:2、High 4:4:4、High 10 Intra、High 4:2:2 Intra、High 4:4:4 Intra、CAVLC 4:4:4 Intra等，每一种都由不同的profile_idc表示。

level：

level由level_idc指定，编码的Level定义了某种条件下的最大视频分辨率、最大视频帧率等参数

Level 主要参数：

1

如何查看H264码流数据？

h264bitstream: https://sourceforge.net/projects/h264bitstream/files/latest/download

H264Naked：https://github.com/shi-yan/H264Naked 可视化工具，H264Naked既可以识别.264,也可以还别.h264.但是使用live555MediaServer播放RTSP流，live555MediaServer只支持.264后缀。

参考文章：https://www.jianshu.com/p/ea650344bafb

如何查看H264裸流数据？