16_AAC解码实战

作者: 咸鱼Jay | 来源:发表于2022-11-06 12:28 被阅读0次

本文主要讲解：如何将AAC编码后的数据解码成PCM。

命令行

用法非常简单：

ffmpeg -c:a libfdk_aac -i in.aac -f s16le out.pcm

-c:a libfdk_aac
- 使用fdk-aac解码器
- 需要注意的是：这个参数要写在aac文件那边，也就是属于输入参数
-f s16le
- 设置PCM文件最终的采样格式

注意：
其他输出参数可以不传，会采用默认值，比如输入文件的采样率是 44100，那么默认输出也是 44100。参数 -f 是必须要有的，否则会报错Unable to find a suitable output format for ‘out.pcm’ out.pcm: Invalid argument；要选择解码器支持的采样格式，否则会报错Requested output format 'XXX' is not a suitable output format out.pcm: Invalid argument；

编程

需要用到2个库：

extern "C" {
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>
}

#define ERROR_BUF(ret) \
    char errbuf[1024]; \
    av_strerror(ret, errbuf, sizeof (errbuf));

函数声明

我们最终会将AAC解码的操作封装到一个函数中。

// 解码后的PCM参数
typedef struct {
    const char *filename;
    int sampleRate;
    AVSampleFormat sampleFmt;
    int chLayout;
} AudioDecodeSpec;

class FFmpegs {
public:
    FFmpegUtil();

    static void aacDecode(const char *inFilename,
                          AudioDecodeSpec &out);
};

函数实现

变量定义

// 输入缓冲区的大小
#define IN_DATA_SIZE 20480
// 需要再次读取输入文件数据的阈值
#define REFILL_THRESH 4096

// 返回结果
int ret = 0;

// 每次从输入文件中读取的长度
int inLen = 0;
// 是否已经读取到了输入文件的尾部
int inEnd = 0;

// 用来存放读取的文件数据
// 加上AV_INPUT_BUFFER_PADDING_SIZE是为了防止某些优化过的reader一次性读取过多导致越界
char inDataArray[IN_DATA_SIZE + AV_INPUT_BUFFER_PADDING_SIZE];
char *inData = inDataArray;

// 文件
QFile inFile(inFilename);
QFile outFile(out.filename);

// 解码器
AVCodec *codec = nullptr;
// 上下文
AVCodecContext *ctx = nullptr;
// 解析器上下文
AVCodecParserContext *parserCtx = nullptr;

// 存放解码前的数据
AVPacket *pkt = nullptr;
// 存放解码后的数据
AVFrame *frame = nullptr;

AAC解码流程图

aac解码流程

AAC解码读取数据和AAC编码不太一样，AAC编码是直接把数据读取到frame的缓冲区，但是进行AAC解码并没有把数据直接放入AVPacket缓冲区。建议按照官方的实例程序把数据先读到另外一个地方，也就是先读到我们代码中的inDataArray，所以inDataArray存放的就是读取的输入文件数据，也就是aac数据。代码中我们将inDataArray值赋值给了inData那么inData指向了inDataArray首元素。数组inDataArray需要多大呢？可以我们自己来定，代码中我设置的是20480字节，数值参考了FFmpeg官方示例程序。正常我们认为inDataArray的大小直接设置成20480就可以了，但是官方示例程序在我们希望的缓冲区大小基础上加了AV_INPUT_BUFFER_PADDING_SIZE的大小。为什么要增加 AV_INPUT_BUFFER_PADDING_SIZE的大小呢？如果你不参考官方示例程序，你在某些地方也是可以发现端倪的。比如在我们后续要用到的一个函数av_parser_parse2的注释中有说完整的缓冲区的大小应该被认定为buffer_size + AV_INPUT_BUFFER_PADDING_SIZE。然后我们查看AV_INPUT_BUFFER_PADDING_SIZE源码其值是64，其中注释说一些优化过的比特流读取器一次读取32或者64位，有可能会读过头，访问了不该访问的内存空间。为了防止读取器读过头建议你加上AV_INPUT_BUFFER_PADDING_SIZE。

av_parser_parse2 注释

AV_INPUT_BUFFER_PADDING_SIZE

FFmpeg 源码中全局搜索 AV_INPUT_BUFFER_PADDING_SIZE

获取解码器

// 获取解码器
codec = avcodec_find_decoder_by_name("libfdk_aac");
if (!codec) {
    qDebug() << "decoder libfdk_aac not found";
    return;
}

初始化解析器上下文

// 初始化解析器上下文
parserCtx = av_parser_init(codec->id);
if (!parserCtx) {
    qDebug() << "av_parser_init error";
    return;
}

创建上下文

// 创建上下文
ctx = avcodec_alloc_context3(codec);
if (!ctx) {
    qDebug() << "avcodec_alloc_context3 error";
    goto end;
}

创建AVPacket

// 创建AVPacket
pkt = av_packet_alloc();
if (!pkt) {
    qDebug() << "av_packet_alloc error";
    goto end;
}

创建AVFrame

// 创建AVFrame
frame = av_frame_alloc();
if (!frame) {
    qDebug() << "av_frame_alloc error";
    goto end;
}

打开解码器

// 打开解码器
ret = avcodec_open2(ctx, codec, nullptr);
if (ret < 0) {
    ERROR_BUF(ret);
    qDebug() << "avcodec_open2 error" << errbuf;
    goto end;
}

打开文件

// 打开文件
if (!inFile.open(QFile::ReadOnly)) {
    qDebug() << "file open error:" << inFilename;
    goto end;
}
if (!outFile.open(QFile::WriteOnly)) {
    qDebug() << "file open error:" << out.filename;
    goto end;
}

解码

// 读取数据
inLen = inFile.read(inData, IN_DATA_SIZE);
while (inLen > 0) {
    // 经过解析器上下文处理
    ret = av_parser_parse2(parserCtx, ctx,
                           &pkt->data, &pkt->size,
                           (uint8_t *) inData, inLen,
                           AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);
    if (ret < 0) {
        ERROR_BUF(ret);
        qDebug() << "av_parser_parse2 error" << errbuf;
        goto end;
    }
    // 跳过已经解析过的数据
    inData += ret;
    // 减去已经解析过的数据大小
    inLen -= ret;

    // 解码
    if (pkt->size > 0 && decode(ctx, pkt, frame, outFile) < 0) {
        goto end;
    }

    // 如果数据不够了，再次读取文件
    if (inLen < REFILL_THRESH && !inEnd) {
        // 剩余数据移动到缓冲区前
        memmove(inDataArray, inData, inLen);
        inData = inDataArray;

        // 跨过已有数据，读取文件数据
        int len = inFile.read(inData + inLen, IN_DATA_SIZE - inLen);
        if (len > 0) {
            inLen += len;
        } else {
            inEnd = 1;
        }
    }
}

// 刷新缓冲区
//    pkt->data = NULL;
//    pkt->size = 0;
//    decode(ctx, pkt, frame, outFile);
decode(ctx, nullptr, frame, outFile);

av_parser_parse2部分参数解析

// 返回已使用的二进制流长度

int av_parser_parse2(AVCodecParserContext *s, // 解析器上下文
                     AVCodecContext *avctx, // 解码上下文
                     uint8_t **poutbuf, // 输出数据地址，此处是 &pkt->data
                     int *poutbuf_size, // 输出数据大小
                     const uint8_t *buf, // 输入数据
                     int buf_size, // 输入数据大小
                     int64_t pts, int64_t dts,
                     int64_t pos);

虽然说inDataArray中有20480字节的输入数据，但是parser并不一定全部“吃得消”，我们把inDataArray的首元素地址告诉了parser，parser会从首元素的位置开始解析数据，解析完把数据送到AVPacket中去，然后把AVPacket中的数据送入到解码器中解析，解析完成把数据放入AVFrame中，最后写入out.pcm文件中。所以inDataArray中的数据可能会被解析多次（parser每次解析的长度并不一定相同），这也是创建一个inData指针指向inDataArray的目的。所以parser每解析完一次我们要跳过已解析过的数据，同时inLenth要减去已经解析过的数据大小。

parser解析缓冲区中数据

经过n次parser解析后，如果inDataArray中数据不够了，需要我们从in.aac中读取数据填充inDataArray，那么我们何时重新填充呢？inDataArray中只剩几个字节数据或者没有了数据的时候我们再填充可不可以？假如inDataArray中只剩几个字节的有效数据，我们照常把 inData交给parser，那么parser有可能会读取到AV_INPUT_BUFFER_PADDING_SIZE的部分，虽然说没有越界，但是AV_INPUT_BUFFER_PADDING_SIZE部分是没有有效aac数据的，所以显然是不行的。根据官方示例程序，我们需要设置了一个需要再次读取文件数据的阈值（REFILL_THRESH = 4096），当剩余数据长度低于阈值后（inLenth < REFILL_THRESH），我们就要往输入缓冲区inDataArray中填充数据。在填充新的数据前，我们需要把输入缓冲区inDataArray中剩余的有效数据移动到输入缓冲区inDataArray的最前面，然后从in.aac文件中读取aac数据，填充在剩余有效数据的后面（如下图）。这里需要注意的是，重新从in.aac文件中读取的数据长度应该是IN_DATA_SIZE - inLenth（缓冲区中剩余有效aac数据的长度）。

缓冲区中剩余有效数据长度低于阈值后重新填入数据

具体的解码操作在decode函数中。

static int decode(AVCodecContext *ctx,
                  AVPacket *pkt,
                  AVFrame *frame,
                  QFile &outFile) {
    // 发送压缩数据到解码器
    int ret = avcodec_send_packet(ctx, pkt);
    if (ret < 0) {
        ERROR_BUF(ret);
        qDebug() << "avcodec_send_packet error" << errbuf;
        return ret;
    }

    while (true) {
        // 获取解码后的数据
        ret = avcodec_receive_frame(ctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            return 0;
        } else if (ret < 0) {
            ERROR_BUF(ret);
            qDebug() << "avcodec_receive_frame error" << errbuf;
            return ret;
        }
        // 将解码后的数据写入文件
        outFile.write((char *) frame->data[0], frame->linesize[0]);
    }
}

注意：
如果frame中的数据是planar格式，写入文件时不能直接写入frame->data[0]，因为可能有多个声道，如果有两个声道，frame->data[0] 是左声道，那么frame->data[1] 就是右声道。写入pcm的数据我们一般不希望是 planar 格式数据，因为播放器最终播放的都不是planar格式。以两个声道为例，我们需要轮流把两个声道中的样本数据写入pcm 文件。具体以声道数为准。

设置输出参数

// 设置输出参数
out.sampleRate = ctx->sample_rate;
out.sampleFmt = ctx->sample_fmt;
out.chLayout = ctx->channel_layout;

释放资源

end:
    inFile.close();
    outFile.close();
    av_frame_free(&frame);
    av_packet_free(&pkt);
    av_parser_close(parserCtx);
    avcodec_free_context(&ctx);

函数调用

#ifdef Q_OS_WIN
    #define IN_FILENAME "../test/in.aac"
    #define OUT_FILENAME "../test/out.pcm"
#else
    #define IN_FILENAME "/Users/zuojie/QtProjects/audio-video-dev/test/in.aac"
    #define OUT_FILENAME "/Users/zuojie/QtProjects/audio-video-dev/test/out.pcm"
#endif

AudioDecodeSpec out;
out.filename = OUT_FILENAME;

FFmpegUtil::aacDecode(IN_FILENAME,out);
// 44100
qDebug() <<"采样率："<<out.sampleRate;
// s16
qDebug() <<"采样格式："<<av_get_sample_fmt_name(out.sampleFmt);
// 2
qDebug() <<"声道数："<<av_get_channel_layout_nb_channels(out.chLayout);

代码链接