音频编码（一）——FFmpeg编码

声波

这里为啥讲到了声波，讲到了我们的中学物理上的知识，因为我想大家能从根本理解后面音频编码的各种参数以及原因。当然这些知识网上都能搜到，我只是整合一下。

定义

声音是由物体振动产生的声波,发声体产生的振动在空气或其他物质中的传播叫做声波。声波借助各种介质向四面八方传播。这句话我们总结几点：

• 声音本质是声波
• 声波是由物体震动产生
• 声波传播需要介质

关键名词

振幅、周期、频率这些我就不解释了。我简单说下，振幅和音量相关；频率和单位时间的震动次数有关，进一步说就是和音调有关，有音乐理论基础的朋友应该知道，我们知道 do 、re 、mi..... ，我们看一下钢琴的图

piano.jpg

这里小字这一组的a1的的频率就是440HZ，频率越高，音调越高。每一种声音都有各自的基本波形，称为基波。不同声音的基波中混入的谐波有多有少，导致音质变化多端，也就是音色的不同。

我们现在总结下：声音其实也是一种波，既然是波那就是有频率和周期，当然我们听到的声音可能是多个声波干涉形成，可能是规则稳定的波，
也可能是不规则的波。我们采集编码，目的就是为了更加接近的记录一定时间段内声波的形态。

抽样

抽样是把模拟信号以其信号带宽2倍以上的频率提取样值，变为在时间轴上离散的抽样信号的过程。在音频编码上我们经常会看到
44100的采样频率，人耳能识别的最高频率大约是20kHZ,按我们刚在说的2倍以上的的频率取样值也比较的符合，我们常见的CD，采样率为44.1kHz

低频和高频的采样，比如：我们用44100HZ频率对20000HZ的声波采样，那么每次震动，也就是每个声波的周期只有大约2次采样；当我们去采样20HZ的声波时候，每次震动就采样了大约2000次。所以我们知道对低频的声波能保证较好的记录，对于较高频率的声波却无法保证这也是为什么有些音响发烧友指责CD有数码声不够真实的原因，CD的44.1KHz采样也无法保证高频信号被较好记录。要较好的记录高频信号，看来需要更高的采样率。

有损和无损

所谓有损和无损都是相对而言，我们常说的无损是指采样后的PCM音频文件，包括封装后的WAV都是无损的。同样编码后的MP3就是有损的。我们通常
参考的是PCM。那么PCM真正的是否有损呢?相对于自然的模拟信号，当然是有损的。声音是连续的模拟信号，要做到真正的无损是困难的，就像用数字去表达圆周率，不管精度多高，
也只是无限接近，而不是真正等于圆周率的值。

FFmpeg编码PCM文件

需求：通过FFmpeg将PCM文件编码成AAC文件，最终的文件我们可以进行播放。
有朋友奇怪为什么要讲将PCM编码为AAC，而不是用Android设备采集再编码输出？我这样介绍是有特殊考虑的，因为从音频采集到编码输出中间会有很多的坑，如果直接上手这一步，可能会出现各种问题。所以我们一步步来，先保证FFmpeg编码PCM文件是没问题的，我们再进行下一步，否则一次性调试太多东西，出问题你都不知道是哪里的问题。好了我们进入主题。

测试文件：http://ovjkwgfx6.bkt.clouddn.com/pcm.zip 我们使用里面的"她的睫毛44100_16bit_双声道.pcm",当然我们可以先打开这个文件看一下这个pcm，同时也可以停一下确保音频是没问题的，后面对编码出来的aac文件进行对比。

tdjm.png

大家也可以下载源码运行起来试一下：
注意：需要编码的pcm文件需要放在Sd卡的FFmpegSample目录下，代码比较粗暴，没有过多的交互，不会有什么编码成功的弹窗等，请大家谅解。大家都是经验丰富的攻城狮，所以大家点击后，最好看log，里面会有编码过程的信息。

shot1.png

入口在AudioRecordFFmpegActivity,代码我就不全部贴了，只讲核心逻辑：

第一步：初始化

各种初始化，打开封装格式上下文等等，这些是FFmpge的基础，前面大家都用的比较数据了，就不说了

    av_register_all();

    avformat_alloc_output_context2(&pFormatCtx, NULL, NULL, out_file);
    fmt = pFormatCtx->oformat;

    //注意输出路径
    if (avio_open(&pFormatCtx->pb, out_file, AVIO_FLAG_READ_WRITE) < 0) {
        av_log(NULL, AV_LOG_ERROR, "%s", "输出文件打开失败！\n");
        return -1;
    }

第二步：打开编码器

首先需要找到编码器：

    pCodec = avcodec_find_encoder(AV_CODEC_ID_AAC);
    if (!pCodec) {
        av_log(NULL, AV_LOG_ERROR, "%s", "没有找到合适的编码器！");
        return -1;
    }

第三步：新建一个流

传递的参数就是第一步初始化的封装上下文和第二步找到的编码器

    audio_st = avformat_new_stream(pFormatCtx, pCodec);
    if (audio_st == NULL) {
        av_log(NULL, AV_LOG_ERROR, "%s", "avformat_new_stream error");
        return -1;
    }

第三步：设置编码器上下文的参数

这里的上下文就是从第三步中的流中得到

    pCodecCtx = audio_st->codec;
    pCodecCtx->codec_id = fmt->audio_codec;
    pCodecCtx->codec_type = AVMEDIA_TYPE_AUDIO;
    pCodecCtx->sample_fmt = outSampleFmt;
    pCodecCtx->sample_rate = sampleRate;
    pCodecCtx->channel_layout = AV_CH_LAYOUT_STEREO;
    pCodecCtx->channels = av_get_channel_layout_nb_channels(pCodecCtx->channel_layout);
    pCodecCtx->bit_rate = 64000;

这里的参数我们前面有定义：

    AVSampleFormat inSampleFmt = AV_SAMPLE_FMT_S16;
//    AVSampleFormat outSampleFmt = AV_SAMPLE_FMT_S16;
    AVSampleFormat outSampleFmt = AV_SAMPLE_FMT_FLTP;
    const int sampleRate = 44100;
    const int channels = 2;
    const int sampleByte = 2;

也就是格式是AV_SAMPLE_FMT_FLTP 、双通道、位深是2个字节、频率是44100。

第四步：打开编码器

    if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
        av_log(NULL, AV_LOG_ERROR, "%s", "编码器打开失败！\n");
        return -1;
    }

有朋友可能出现编码器打开错误，如果在第三步设置格式时使用的AV_SAMPLE_FMT_S16，那就会打开失败，因为FFmpge默认编码器支持的输入格式只能是AV_SAMPLE_FMT_FLTP。这里需要注意。

第五步：初始化重采样上下文

    ///2 音频重采样 上下文初始化
    SwrContext *asc = NULL;
    asc = swr_alloc_set_opts(asc,
                             av_get_default_channel_layout(channels), outSampleFmt,
                             sampleRate,//输出格式
                             av_get_default_channel_layout(channels), inSampleFmt, sampleRate, 0,
                             0);//输入格式
    if (!asc) {
        av_log(NULL, AV_LOG_ERROR, "%s", "swr_alloc_set_opts failed!");
        return -1;
    }
    ret = swr_init(asc);
    if (ret < 0) {
        printAvError(ret);
        loge("swr_init error");
        return ret;
    }

前面我们提到过FFmpeg编码器默认支持输入是输入格式只能是AV_SAMPLE_FMT_FLTP，而我们PCM文件是 AV_SAMPLE_FMT_S16 ，所以需要进行转换后才能交给编码器编码。这里我们要用到SwrContext。

说到格式，就多说一点。正常我们从Android设备采集到的PCM数据是AV_SAMPLE_FMT_S16格式，也就是两个声道交替存储，每个样点2个字节。而FFmpeg默认的AAC编码器不支持这种格式的编码，只支持AV_SAMPLE_FMT_FLTP，这种格式是按平面存储，样点是float类型，所谓平面也就是
每个声道单独存储，比如左声道存储到data[0]中，右声道存储到data[1]中。

第六步：初始化AVFrame

    frame = av_frame_alloc();
    frame->nb_samples = pCodecCtx->frame_size;
    frame->format = pCodecCtx->sample_fmt;
    av_log(NULL, AV_LOG_DEBUG, "sample_rate:%d,frame_size:%d, channels:%d", sampleRate,
           frame->nb_samples, frame->channels);
    //编码每一帧的字节数
    size = av_samples_get_buffer_size(NULL, pCodecCtx->channels, pCodecCtx->frame_size,
                                      pCodecCtx->sample_fmt, 1);
    frame_buf = (uint8_t *) av_malloc(size);
    //一次读取一帧音频的字节数
    readSize = frame->nb_samples * channels * sampleByte;
    char *buf = new char[readSize];

    avcodec_fill_audio_frame(frame, pCodecCtx->channels, pCodecCtx->sample_fmt,
                             (const uint8_t *) frame_buf, size, 1);

这里主要看到av_samples_get_buffer_size方法，这个方法主要是计算编码每一帧输入给编码器需要多少个字节。然后我们自己再分配空间，填充到初始化AVFrame中。这里我稍微讲一点源码，让大家更清楚，这几个方法的作用。

先看到av_samples_get_buffer_size

int av_samples_get_buffer_size(int *linesize, int nb_channels, int nb_samples,
                               enum AVSampleFormat sample_fmt, int align)
{
    int line_size;
    int sample_size = av_get_bytes_per_sample(sample_fmt);
    int planar      = av_sample_fmt_is_planar(sample_fmt);

    /* validate parameter ranges */
    if (!sample_size || nb_samples <= 0 || nb_channels <= 0)
        return AVERROR(EINVAL);

    /* auto-select alignment if not specified */
    if (!align) {
        if (nb_samples > INT_MAX - 31)
            return AVERROR(EINVAL);
        align = 1;
        nb_samples = FFALIGN(nb_samples, 32);
    }

    /* check for integer overflow */
    if (nb_channels > INT_MAX / align ||
        (int64_t)nb_channels * nb_samples > (INT_MAX - (align * nb_channels)) / sample_size)
        return AVERROR(EINVAL);

    line_size = planar ? FFALIGN(nb_samples * sample_size,               align) :
                         FFALIGN(nb_samples * sample_size * nb_channels, align);
    if (linesize)
        *linesize = line_size;

    return planar ? line_size * nb_channels : line_size;
}

这个方法根据channel，编码器每一帧的采样数、数据格式来计算每一帧所需要的存储空间。首先如果是平面存储，那就是每个声道单独存放到data[0]、data[1]... 然后根据编码器设置的sample_size和位深来计算每个通道需要的大小。最后算出整个一帧输入需要的
大小。

接下来我们看看avcodec_fill_audio_frame

int avcodec_fill_audio_frame(AVFrame *frame, int nb_channels,
                             enum AVSampleFormat sample_fmt, const uint8_t *buf,
                             int buf_size, int align)
{
    int ch, planar, needed_size, ret = 0;

    needed_size = av_samples_get_buffer_size(NULL, nb_channels,
                                             frame->nb_samples, sample_fmt,
                                             align);
    if (buf_size < needed_size)
        return AVERROR(EINVAL);

    planar = av_sample_fmt_is_planar(sample_fmt);
    if (planar && nb_channels > AV_NUM_DATA_POINTERS) {
        if (!(frame->extended_data = av_mallocz_array(nb_channels,
                                                sizeof(*frame->extended_data))))
            return AVERROR(ENOMEM);
    } else {
        frame->extended_data = frame->data;
    }

    if ((ret = av_samples_fill_arrays(frame->extended_data, &frame->linesize[0],
                                      (uint8_t *)(intptr_t)buf, nb_channels, frame->nb_samples,
                                      sample_fmt, align)) < 0) {
        if (frame->extended_data != frame->data)
            av_freep(&frame->extended_data);
        return ret;
    }
    if (frame->extended_data != frame->data) {
        for (ch = 0; ch < AV_NUM_DATA_POINTERS; ch++)
            frame->data[ch] = frame->extended_data[ch];
    }

    return ret;
}

这里先做了一段校验，然后主要看到av_samples_fill_arrays方法。

int av_samples_fill_arrays(uint8_t **audio_data, int *linesize,
                           const uint8_t *buf, int nb_channels, int nb_samples,
                           enum AVSampleFormat sample_fmt, int align)
{
    int ch, planar, buf_size, line_size;

    planar   = av_sample_fmt_is_planar(sample_fmt);
    buf_size = av_samples_get_buffer_size(&line_size, nb_channels, nb_samples,
                                          sample_fmt, align);
    if (buf_size < 0)
        return buf_size;

    audio_data[0] = (uint8_t *)buf;
    for (ch = 1; planar && ch < nb_channels; ch++)
        audio_data[ch] = audio_data[ch-1] + line_size;

    if (linesize)
        *linesize = line_size;

    return buf_size;
}

首先是获取planar和buf_size，如果是planar格式那么就要走下面这段

    for (ch = 1; planar && ch < nb_channels; ch++)
        audio_data[ch] = audio_data[ch-1] + line_size;

设置每个通道数据的指针，所有的数据都是存在buf里，只是打包格式所有通道交替存，而planar格式要设置单独设置指针来指向每个通道。

第七步 复制编码器参数，写文件头

第八步 编码

    for (int i = 0;; i++) {
        //读入PCM
        if (fread(buf, 1, readSize, in_file) < 0) {
            printf("文件读取错误！\n");
            return -1;
        } else if (feof(in_file)) {
            break;
        }
        frame->pts = apts;
        AVRational av;
        av.num = 1;
        av.den = sampleRate;
        apts += av_rescale_q(frame->nb_samples, av, pCodecCtx->time_base);
        int got_frame = 0;
        //重采样源数据
        const uint8_t *indata[AV_NUM_DATA_POINTERS] = {0};
        indata[0] = (uint8_t *) buf;
        int len = swr_convert(asc, frame->data, frame->nb_samples, //输出参数，输出存储地址和样本数量
                              indata, frame->nb_samples
        );
        //编码
        ret = avcodec_send_frame(pCodecCtx, frame);
        if (ret < 0) {
            av_log(NULL, AV_LOG_ERROR, "%s", "avcodec_send_frame error\n");
        }

        ret = avcodec_receive_packet(pCodecCtx, &pkt);
        if (ret < 0) {
            av_log(NULL, AV_LOG_ERROR, "%s", "avcodec_receive_packet！error \n");
            printAvError(ret);
            continue;
        }
        pkt.stream_index = audio_st->index;
        av_log(NULL, AV_LOG_DEBUG, "第%d帧", i);
        pkt.pts = av_rescale_q(pkt.pts, pCodecCtx->time_base, audio_st->time_base);
        pkt.dts = av_rescale_q(pkt.dts, pCodecCtx->time_base, audio_st->time_base);
        pkt.duration = av_rescale_q(pkt.duration, pCodecCtx->time_base, audio_st->time_base);
        ret = av_write_frame(pFormatCtx, &pkt);
        if (ret < 0) {
            av_log(NULL, AV_LOG_ERROR, "av_write_frame error!");
        }
        av_packet_unref(&pkt);
    }

• 首先是读取原始数据fread(buf, 1, readSize, in_file)。这里的readSize就是我们前面计算的每一帧的大小。
• 设置pts
• 数据重采样，使用swr_convert格式转换
• 编码，输出

第九步 写文件尾，释放资源

最后我们会在SD卡的的FFmpegSample目录下找到tdjm.aac文件，我们发现编码器是6.7M，编码后326.4KB。当然播放也是没有问题的

tdjmaac.png

源码地址： 音频编码（FFmpeg编码一）
测试文件：http://ovjkwgfx6.bkt.clouddn.com/pcm.zip

注意：大家如果对代码有不懂得地方，比如FFmpeg的so文件等，请看专题前面的文章。