美文网首页音视频技术
【H264/AVC 句法和语义详解】(三):NALU详解二(EB

【H264/AVC 句法和语义详解】(三):NALU详解二(EB

作者: 金架构 | 来源:发表于2018-05-28 13:09 被阅读557次

    本篇隶属于文集:《H264/AVC 句法和语义详解》,查看文集全部文章,请点击文字链接。
    想看最新文章,可以直接关注微信公众号:金架构

    上一篇解析到,我们从h264裸流中,提取出一个个的NALU,并且解析出NALU的第一个字节:NALU Header。下面我们就从NALU Header的下一个字节开始,分析NALU剩余的数据部分,也即NALU的主体部分。

    NALU的主体涉及到三个重要的名词,分别为EBSP、RBSP和SODB。其中EBSP完全等价于NALU主体,而且它们三个的结构关系为:

    EBSP包含RBSP,RBSP包含SODB。

    其中SODB就是最原始的编码数据。

    1. EBSP和RBSP

    上篇我们说,NALU的组成部分为:

    NALU = NALU Header + RBSP

    其实严格来说,这个等式是不成立的,因为RBSP并不等于NALU刨去NALU Header。严格来说,NALU的组成部分应为:

    NALU = NALU Header + EBSP

    其中的EBSP为扩展字节序列载荷(Encapsulated Byte Sequence Payload),而RBSP为原始字节序列载荷(Raw Byte Sequence Payload)。那为什么我们上篇中,没有使用2式而使用了1式呢?那是因为,在h264的文档中,并没有EBSP这一名词出现,但是在h264的官方参考软件JM里,却使用了EBSP。

    而且在我们下面的分析中,我们会看到,使用EBSP是很易于理解的。

    1.1 防止竞争

    EBSP相较于RBSP,多了防止竞争的一个字节:0x03。

    我们知道,NALU的起始码为0x000001或0x00000001,同时H264规定,当检测到0x000000时,也可以表示当前NALU的结束。那这样就会产生一个问题,就是如果在NALU的内部,出现了0x000001或0x000000时该怎么办?

    所以H264就提出了“防止竞争”这样一种机制,当编码器编码完一个NAL时,应该检测NALU内部,是否出现如下左侧的四个序列。当检测到它们存在时,编码器就在最后一个字节前,插入一个新的字节:0x03。

    防止竞争插入0x03

    图中0x000000和0x000001前面介绍了,0x000002是作为保留使用,而0x000003,则是为了防止NALU内部,原本就有序列为0x000003这样的数据。

    这样一来,当我们拿到EBSP时,就需要检测EBSP内是否有序列:0x000003,如果有,则去掉其中的0x03。这样一来,我们就能得到原始字节序列载荷:RBSP。

    2. RBSP和SODB

    得到RBSP之后,我们迫切想做的,就是从RBSP中,提取出原始编码数据SODB(String Of Data Bits)。这就涉及到RBSP与SODB的关系:

    RBSP = SODB + RBSP尾部

    而且RBSP的尾部,在规定中有两种,我们分别介绍。

    2.1 RBSP尾部

    其中大多数类型的NALU,使用这种尾部。

    RBSP尾部语法 (文档7.3.2.11)

    其中:

    rbsp_stop_one_bit 占1个比特位,值为1

    rbsp_alignment_zero_bit 值为0,目的是为了进行字节对齐,占据若干比特位

    所以RBSP就等于,SODB在它的最后一个字节的最后一个比特后,紧跟值为1的1个比特,然后增加若干比特的0,以补齐这个字节。

    2.2 条带RBSP尾部

    另一种尾部,就是当NALU类型为条带时,也即nal_unit_type等于1~5时,这时RBSP使用下面这种尾部:

    条带RBSP尾部语法(7.3.2.10)

    可以看到,rbsp_slice_trailing_bits()默认情况下,就是2.1介绍的第一种尾部。只是当entropy_coding_mode_flag值为1,也即当前采用的熵编码为CABAC,而且more_rbsp_trailing_data()返回为true,也即RBSP中有更多数据时,添加一个或多个0x0000。

    所以我们拿到RBSP,只需要按照上述语法,去掉RBSP的尾部,就可以得到SODB。然后就可以对照对应类型的NALU的句法,解析出语法元素的值。

    总结上篇和这篇,H264的码流结构如下:

    H264码流结构
    3. H264句法元素解析流程

    而当我们拿到RBSP或SODB之后,就可以对照各类型的NALU,去解析它们的语法元素,进而再根据语法元素,重建图像。其中解析语法元素的框图如下:

    解析NALU框图

    由图可见,解析NALU的各个句法元素并不难,只要根据h264文档对应章节的句法,并配合相应的编解码算法解析即可。而相应的编解码算法如指数哥伦布编码、CAVLC、CABAC、算术编码,我们会一步步涉猎。

    相关文章

      网友评论

        本文标题:【H264/AVC 句法和语义详解】(三):NALU详解二(EB

        本文链接:https://www.haomeiwen.com/subject/obxgjftx.html