H264 SPS和PPS 发送计算 图解

开篇两张图，剩下全靠编

图1
图2

H264数据包结构

H264在发送数据包的时候要区分SPS,PPS和和I/B/P帧，先于I/B/P发送，不然无法解析后面的帧

WX20221106-211042@2x.png

数据结构参考如下文章，不展开介绍
https://juejin.cn/post/6844903566209990669

结合图1和图2理解下SPS和PPS发送代码

个人认为难点就在于包长度计算和图的理解

 for (int i = 0; i < pi_nal; ++i) {
        //是sps
        x264_nal_t &x264Nal = nal[i];
        if (x264Nal.i_type == NAL_SPS) {
            //payload  的字节大小
            sps_length = x264Nal.i_payload - 4;//启始码
            // p_payload 该NAL单元存储数据的开始地 
            memcpy(sps, x264Nal.p_payload + 4, sps_length);
        } else if (x264Nal.i_type == NAL_PPS) {
            pps_length = x264Nal.i_payload - 4; // 去掉起始码
            memcpy(pps, x264Nal.p_payload + 4, pps_length); // 由于上面减了4，所以+4挪动这里的位置开始
            sendSpsPps(sps, pps, sps_length, pps_length); // pps是跟在sps后面的，这里拿到的pps表示前面的sps肯定拿到了
        } else {
            //发送I帧 P帧
            sendFrame(x264Nal.i_type, x264Nal.i_payload, x264Nal.p_payload);
        }

    }

//发送代码
void Video::sendSpsPps(uint8_t *sps, uint8_t *pps, int sps_length, int pps_length) {


    int body_size = 5 + 8 + sps_length + 3 + pps_length;
    auto *pPacket = new RTMPPacket();
    RTMPPacket_Alloc(pPacket, body_size);
    int i = 0;
    pPacket->m_body[i++] = 0x17; // 十六进制

    pPacket->m_body[i++] = 0x00; // 十六进制   如果全部都是0，就能够证明 sps+pps
    pPacket->m_body[i++] = 0x00; // 十六进制
    pPacket->m_body[i++] = 0x00; // 十六进制
    pPacket->m_body[i++] = 0x00; // 十六进制

    pPacket->m_body[i++] = 0x01; // 十六进制 版本
    pPacket->m_body[i++] = sps[1]; // 十六进制 版本
    pPacket->m_body[i++] = sps[2]; // 十六进制 版本
    pPacket->m_body[i++] = sps[3]; // 十六进制 版本

    pPacket->m_body[i++] = 0xFF; // 十六进制 版本
    pPacket->m_body[i++] = 0xE1; // 十六进制 版本


    pPacket->m_body[i++] = (sps_length >> 8) & 0xFF; // 取高8位
    pPacket->m_body[i++] = sps_length & 0xFF; // 取出低8位
    memcpy(&pPacket->m_body[i], sps, sps_length); // sps拷贝进去了

    i += sps_length; // 拷贝完sps数据 ，i移位，（下面才能准确移位）
    pPacket->m_body[i++] = 0x01; // 十六进制 版本 pps个数，用0x01来代表
    pPacket->m_body[i++] = (pps_length >> 8) & 0xFF; // 取高8位
    pPacket->m_body[i++] = pps_length & 0xFF; // 取低8位

    memcpy(&pPacket->m_body[i], pps, pps_length); // pps拷贝进去了

    i += pps_length; // 拷贝完pps数据 ，i移位，（下面才能准确移位）
    pPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;

    pPacket->m_nBodySize = body_size; // 设置好 sps+pps的总大小
    pPacket->m_nChannel = 1000;//通道id
    pPacket->m_nTimeStamp = 0;// sps pps 包 没有时间戳
    pPacket->m_headerType = RTMP_PACKET_SIZE_MEDIUM;//中包
    videoCallBack(pPacket);
}

第一步：需要理解sendSpsPps()方法为什么放在PPS那里

因为PPS是在SPS后面，所以到PPS的时候 SPS肯定获取到了，还是链接的数据结构

//为什么要扣去四个字节，因为启始码（startcode）的问题
//https://blog.csdn.net/weixin_45112340/article/details/116188579
pps_length = x264Nal.i_payload - 4; // 去掉起始码
  memcpy(pps, x264Nal.p_payload + 4, pps_length);

第二步：计算发送SPS和PPS的包长度为什么是如下？

 int body_size = 5 + 8 + sps_length + 3 + pps_length;

• 5是什么？
  SPS和PPS 前面有5个字节分别是0X17和4个0X00
• 8是什么？
  看图二 到SPS长度那里 字节是1（0x01版本）+1（SPS1[1] Prifile）+1（SPS1[2]兼容性）+1(Prifile Lv)+1(0xff 包长字节数)+1（0xe1 SPS个数）+2（SPS长度）=8
• sps_length ：SPS内容 长度
• 3是什么？
  是关于PPS 1（PPS个数）+2（PPS长度）
• pps_length： PPS的内容长度
  看图理解如上公式

第三步 代码填充

• 搞定包 这里先理解上面几个点

 int body_size = 5 + 8 + sps_length + 3 + pps_length;
    auto *pPacket = new RTMPPacket();
    RTMPPacket_Alloc(pPacket, body_size);

• 先填充5 看图1 固定死的 5个写完

 int i = 0;
    pPacket->m_body[i++] = 0x17; // 十六进制
    pPacket->m_body[i++] = 0x00; // 十六进制   如果全部都是0，就能够证明 sps+pps
    pPacket->m_body[i++] = 0x00; // 十六进制
    pPacket->m_body[i++] = 0x00; // 十六进制
    pPacket->m_body[i++] = 0x00; // 十六进制

• 填充8
  第一步先搞定前6个因为都是固定死的 看图2

    pPacket->m_body[i++] = 0x01; // 固定为0x01
    pPacket->m_body[i++] = sps[1]; // 看图说了传SPS的第1位
    pPacket->m_body[i++] = sps[2]; // 同理SPS的第2位
    pPacket->m_body[i++] = sps[3]; // 同理SPS的第2位
    pPacket->m_body[i++] = 0xFF; //固定传0xff
    pPacket->m_body[i++] = 0xE1; // 固定传0xe1

接下来2位是SPS长度 这里比较蛋疼，因为要2个字节表示长度
这里要分别对PPS的长度进行高8位和低8位分别取值 也就所谓的模运算
这个自行搜索下怎么取就行了

 pPacket->m_body[i++] = (sps_length >> 8) & 0xFF; // 取高8位
  pPacket->m_body[i++] = sps_length & 0xFF; // 取出低8位

• 填充 sps_length 也就是SPS的内容到包内 继续看图2

memcpy(&pPacket->m_body[i], sps, sps_length); // sps拷贝进去了

• 填充3 记得位移不然数据覆盖了 继续看图2
  看图2 和SPS一样 取PPS长度高低8位填充

    i += sps_length; // 拷贝完sps数据 ，i移位，（下面才能准确移位）
    pPacket->m_body[i++] = 0x01; // 十六进制 版本 pps个数，用0x01来代表
    pPacket->m_body[i++] = (pps_length >> 8) & 0xFF; // 取高8位
    pPacket->m_body[i++] = pps_length & 0xFF; // 取低8位

• 填充pps_length PPS包内容进包 继续看图2

    i += pps_length; // 拷贝完pps数据 ，i移位，（下面才能准确移位）
    pPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;

到此 SPS和PPS填充结束
基本可以说看图理解，图懂了也就懂了。 个人觉得最难理解就是为什么要分别高八位和低八位。