26_H.264编码实战

作者: 咸鱼Jay | 来源:发表于2022-11-13 04:37 被阅读0次

本文的主要内容：使用H.264编码对YUV视频进行压缩。

使用FFmpeg命令进行H.264编码

如果是命令行的操作，非常简单。

ffmpeg -s 640x480 -pix_fmt yuv420p -framerate 30 -i out_640x480.yuv -c:v libx264 out.h264
# -c:v libx264是指定使用libx264作为编码器

使用FFmpeg代码实现H.264编码

接下来主要介绍如何通过代码的方式使用H.264编码，用到了avcodec、avutil两个库，整体过程跟《AAC编码实战》类似。

1、获取编码器

codec = avcodec_find_encoder_by_name("libx264");

前面对音频进AAC编码时，AAC编码器对数据的采样格式是有要求的，比如libfdk_aac要求采样格式是s16整型，同样的H.264编码库libx264对输入数据像素格式也有要求，虽然avcodec_open2函数内部也会对像素格式进行检查，但是建议提前检查输入像素格式：

if(!check_pix_fmt(codec,in.format)){
    qDebug() << "Encoder does not support sample format"
                << av_get_pix_fmt_name(in.format);
    return;
}

static int check_pix_fmt(const AVCodec *codec,enum AVPixelFormat pixFmt){
    const enum AVPixelFormat *p = codec->pix_fmts;
    while (*p != AV_PIX_FMT_NONE) {
        if(*p == pixFmt) return 1;
        p++;
    }
    return 0;
}

codec->pix_fmts中存放的是当前编码器支持的像素格式。AV_PIX_FMT_NONE是一个边界标识，用于判断是否遍历结束。

2、创建上下文

ctx = avcodec_alloc_context3(codec);

设置编码上下文参数：

ctx->width = in.width;
ctx->height = in.height;
ctx->pix_fmt = in.format;
// 设置帧率（1秒钟显示的帧数是in.fps）
ctx->time_base = {1,in.fps};

3、打开编码器

ret = avcodec_open2(ctx,codec,nullptr);

也可以通过参数options设置一些编码器特有参数。

4、创建 AVFrame

frame = av_frame_alloc();

av_frame_alloc仅仅是AVFrame分配空间，数据缓冲区frame->data[0]需要我们调用函数av_frame_get_buffer来创建。调用函数av_frame_get_buffer前设置frame的width、height和format，利用width、height和format可算出一帧图像大小，frame->data[0]指向的堆空间其实就是一帧图像的大小：

frame->width = ctx->width;
frame->height = ctx->height;
frame->format = ctx->pix_fmt;
frame->pts = 0;

// 利用width、height、format创建缓冲区
ret = av_frame_get_buffer(frame, 0);

5、创建 AVPacket

pkt = av_packet_alloc();

6、打开文件，从文件读取数据到 AVFrame

// 一帧图片的大小
int imgSize = av_image_get_buffer_size(in.format,in.width,in.height,1);


// 打开文件
if (!inFile.open(QFile::ReadOnly)) {
    qDebug() << "file open error" << in.filename;
    goto end;
}
if (!outFile.open(QFile::WriteOnly)) {
    qDebug() << "file open error" << outFilename;
    goto end;
}

// 读取文件数据
while ((ret = inFile.read((char *) frame->data[0],
                          imgSize)) > 0) {
    // 编码
    if (encode(ctx, frame, pkt, outFile) < 0) {
        goto end;
    }

    //设置帧的序号
    frame->pts++;
}

这里如果我们没有设置帧的序号frame->pts++，运行程序发现Qt控制台会打印如下错误，是因为我们没有设置帧序号导致的：

7、解码

// 返回0：编码操作正常完成,返回负数：中途出现了错误
static int encode(AVCodecContext *ctx,
                  AVFrame *frame,
                  AVPacket *pkt,
                  QFile &outFile) {
    // 发送数据到编码器
    int ret = avcodec_send_frame(ctx, frame);
    if (ret < 0) {
        ERROR_BUF(ret);
        qDebug() << "avcodec_send_frame error" << errbuf;
        return ret;
    }

    // 不断从编码器中取出编码后的数据
    while (true) {
        // 从编码器中获取编码后的数据
        ret = avcodec_receive_packet(ctx, pkt);
        // packet中已经没有数据，需要重新发送数据到编码器（send frame）
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            return 0;
        } else if (ret < 0) { // 出现了其他错误
            ERROR_BUF(ret);
            qDebug() << "avcodec_receive_packet error" << errbuf;
            return ret;
        }

        // 成功从编码器拿到编码后的数据
        // 将编码后的数据写入文件
        outFile.write((char *) pkt->data, pkt->size);

        // 释放资源
        av_packet_unref(pkt);
    }
    return 0;
}

8、释放资源

// 关闭文件
inFile.close();
outFile.close();

// 释放资源
av_frame_free(&frame);
av_packet_free(&pkt);
avcodec_free_context(&ctx);

9、播放h264文件

然后我们使用ffplay播放我们压缩后的h264文件，发现压缩后视频是有问题的：

通过和上面使用ffmpeg命令同样的输入参数编码生成的h264文件对比发现，其大小大了一些，而且视频有一层颜色覆盖。

通过检查发现问题产生的原因是frame->data缓冲区大小超过了一帧图像大小：

// 打印 frame->data：
qDebug() << frame->data[0] << frame->data[1] << frame->data[2];
// 控制台输出：
0x96edd00 0x9738d20 0x974b940
// 计算各平面大小：
Y平面大小 = frame->data[1] - frame->data[0] = 0x9738d20 - 0x96edd00 = 307232 字节
U平面大小 = frame->data[2] - frame->data[1] = 0x974b940 - 0x9738d20 = 76832 字节
// 正确的各平面大小：
Y平面大小 = 640 * 480 * 1 = 307200 字节
U平面大小 = (640 / 2) * (480 / 2) * 1 = 76800 字节
V平面大小 = (640 / 2) * (480 / 2) * 1 = 76800 字节

发现frame数据缓冲区大小比我们预期的要大。查看av_frame_get_buffer源码，是因为函数av_frame_get_buffer内部分配数据缓冲区空间时增加了 32 字节的plane_padding导致的。可以换成函数av_image_alloc或者函数av_image_fill_arrays分配数据缓冲区空间：

 // 创建输入缓冲区 方法一
//    ret = av_image_alloc(frame->data,frame->linesize,in.width,in.height,in.format,1);

// 创建输入缓冲区 方法二
buf = (uint8_t *)av_malloc(imgSize);
ret = av_image_fill_arrays(frame->data,frame->linesize,
                           buf,
                           in.format,in.width,in.height,1);

// 利用width、height、format创建缓冲区 方法三
//    ret = av_frame_get_buffer(frame, 0);
if (ret < 0) {
    ERROR_BUF(ret);
    qDebug() << "av_frame_get_buffer error" << errbuf;
    goto end;
}


// 释放资源
if(frame){
    av_freep(&frame->data[0]);
    //av_freep相当于执行下面两行代码
//        av_free(&frame->data[0]);
//        frame->data[0] = nullptr;
    av_frame_free(&frame);
}

av_frame_get_buffer创建缓冲区后只需要执行av_frame_free(&frame);就可以了
```
if(frame){
    av_frame_free(&frame);
}
```

av_image_alloc创建缓冲区后还需要执行av_freep(&frame->data[0]);

if(frame){
    av_freep(&frame->data[0]);
    //av_freep相当于执行下面两行代码
//        av_free(frame->data[0]);
//        frame->data[0] = nullptr;
    av_frame_free(&frame);
}

av_image_fill_arrays创建缓冲区后需要执行av_freep(&buf),通过qDebug() << buf <<frame->data[0];打印知道这两个值是一样的，说明buf和frame->data[0]是指向同一个区域，因此只需要释放buf就可以了不需要执行av_freep(&frame->data[0])
```
qDebug() << buf <<frame->data[0];
// 打印结果
0x820cf80 0x820cf80
```
```
av_freep(&buf);
// 释放资源
if(frame){
    av_frame_free(&frame);
}
```

具体代码

ffmpegutils.h

#ifndef FFMPEGUTILS_H
#define FFMPEGUTILS_H

#include <QDebug>
#include <QFile>

extern "C" {
    #include <libavcodec/avcodec.h>
    #include <libavutil/avutil.h>
    #include <libavutil/imgutils.h>
}

typedef struct {
    const char *filename;
    int width;
    int height;
    AVPixelFormat format;
    int fps;
} VideoEncodeSpec;

class FFmpegUtils
{
public:
    FFmpegUtils();
    static void h264Encode(VideoEncodeSpec &in,
                          const char *outFilename);
};

#endif // FFMPEGUTILS_H

ffmpegutils.cpp

#include "ffmpegutils.h"

// 处理错误码
#define ERROR_BUF(ret) \
    char errbuf[1024]; \
    av_strerror(ret, errbuf, sizeof (errbuf));

FFmpegUtils::FFmpegUtils(){}

static int check_pix_fmt(const AVCodec *codec,enum AVPixelFormat pixFmt){
    const enum AVPixelFormat *p = codec->pix_fmts;
    while (*p != AV_PIX_FMT_NONE) {
        if(*p == pixFmt) return 1;
        p++;
    }
    return 0;
}

// 返回0：编码操作正常完成,返回负数：中途出现了错误
static int encode(AVCodecContext *ctx,
                  AVFrame *frame,
                  AVPacket *pkt,
                  QFile &outFile) {
    // 发送数据到编码器
    int ret = avcodec_send_frame(ctx, frame);
    if (ret < 0) {
        ERROR_BUF(ret);
        qDebug() << "avcodec_send_frame error" << errbuf;
        return ret;
    }

    // 不断从编码器中取出编码后的数据
    while (true) {
        // 从编码器中获取编码后的数据
        ret = avcodec_receive_packet(ctx, pkt);
        // packet中已经没有数据，需要重新发送数据到编码器（send frame）
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            return 0;
        } else if (ret < 0) { // 出现了其他错误
            ERROR_BUF(ret);
            qDebug() << "avcodec_receive_packet error" << errbuf;
            return ret;
        }

        // 成功从编码器拿到编码后的数据
        // 将编码后的数据写入文件
        outFile.write((char *) pkt->data, pkt->size);

        // 释放资源
        av_packet_unref(pkt);
    }
    return 0;
}

void FFmpegUtils::h264Encode(VideoEncodeSpec &in, const char *outFilename){
    // 文件
    QFile inFile(in.filename);
    QFile outFile(outFilename);

    // 一帧图片的大小
    int imgSize = av_image_get_buffer_size(in.format,in.width,in.height,1);

    // 返回结果
    int ret = 0;
    // 编码器
    AVCodec *codec = nullptr;

    // 编码上下文
    AVCodecContext *ctx = nullptr;

    // 存放编码前的数据（yuv）
    AVFrame *frame = nullptr;

    // 存放编码后的数据（h264）
    AVPacket *pkt = nullptr;

//    uint8_t *buf = nullptr;

    // 获取编码器
    codec = avcodec_find_encoder(AV_CODEC_ID_H264);
//    codec = avcodec_find_encoder_by_name("libx264");
    qDebug() << "codec.name:" << codec->name<<",codec.id:"<<codec->id;
    if(!codec){
        qDebug() << "encoder not found";
        return;
    }

    // 检查输入数据的采样格式
    if(!check_pix_fmt(codec,in.format)){
        qDebug() << "Encoder does not support pixel format"
                    << av_get_pix_fmt_name(in.format);
        return;
    }

    // 创建上下文
    ctx = avcodec_alloc_context3(codec);
    if (!ctx) {
        qDebug() << "avcodec_alloc_context3 error";
        return;
    }

    // 设置参数
    ctx->width = in.width;
    ctx->height = in.height;
    ctx->pix_fmt = in.format;
    // 设置帧率（1秒钟显示的帧数是in.fps）
    ctx->time_base = {1,in.fps};

    // 打开编码器
    ret = avcodec_open2(ctx,codec,nullptr);
    if (ret < 0) {
        ERROR_BUF(ret);
        qDebug() << "avcodec_open2 error" << errbuf;
        goto end;
    }

    // 创建AVFrame
    frame = av_frame_alloc();
    if (!frame) {
        qDebug() << "av_frame_alloc error";
        goto end;
    }

    frame->width = ctx->width;
    frame->height = ctx->height;
    frame->format = ctx->pix_fmt;
    frame->pts = 0;

    // 创建输入缓冲区 方法一
    ret = av_image_alloc(frame->data,frame->linesize,in.width,in.height,in.format,1);

    // 创建输入缓冲区 方法二
//    buf = (uint8_t *)av_malloc(imgSize);
//    ret = av_image_fill_arrays(frame->data,frame->linesize,
//                               buf,
//                               in.format,in.width,in.height,1);

    // 利用width、height、format创建缓冲区 方法三
//    ret = av_frame_get_buffer(frame, 0);
    if (ret < 0) {
        ERROR_BUF(ret);
        qDebug() << "av_frame_get_buffer error" << errbuf;
        goto end;
    }

//    qDebug() << buf <<frame->data[0];

    // 打印 frame->data：
    qDebug() << frame->data[0] << frame->data[1] << frame->data[2];

    // 创建AVPacket
    pkt = av_packet_alloc();
    if (!pkt) {
        qDebug() << "av_packet_alloc error";
        goto end;
    }

    // 打开文件
    if (!inFile.open(QFile::ReadOnly)) {
        qDebug() << "file open error" << in.filename;
        goto end;
    }
    if (!outFile.open(QFile::WriteOnly)) {
        qDebug() << "file open error" << outFilename;
        goto end;
    }

    // frame->linesize[0]是缓冲区的大小
    // 读取文件数据
    while ((ret = inFile.read((char *) frame->data[0],
                              imgSize)) > 0) {
        // 编码
        if (encode(ctx, frame, pkt, outFile) < 0) {
            goto end;
        }

        //设置帧的序号
        frame->pts++;
    }

    // flush编码器
    encode(ctx, nullptr, pkt, outFile);

end:
    // 关闭文件
    inFile.close();
    outFile.close();

//    av_freep(&buf);
    // 释放资源
    if(frame){
        av_freep(&frame->data[0]);
        //av_freep相当于执行下面两行代码
//        av_free(frame->data[0]);
//        frame->data[0] = nullptr;
        av_frame_free(&frame);
    }
    av_packet_free(&pkt);
    avcodec_free_context(&ctx);
}

videothread.cpp

#ifdef Q_OS_WIN
    // PCM文件的文件名
    #define IN_FILENAME "../test/out_640x480.yuv"
    #define OUT_FILENAME "../test/out_640x480.h264"
#else
    #define IN_FILENAME "/Users/zuojie/QtProjects/audio-video-dev/test/out_640x480.yuv"
    #define OUT_FILENAME "/Users/zuojie/QtProjects/audio-video-dev/test/out_640x480.h264"
#endif

void VideoThread::run(){
    VideoEncodeSpec in;
    in.filename = IN_FILENAME;
    in.width = 640;
    in.height = 480;
    in.fps = 30;
    in.format = AV_PIX_FMT_YUV420P;

    FFmpegUtils::h264Encode(in,OUT_FILENAME);
}

代码链接