音视频入门-音频基础(一)

音频处理流程

直播客户端的处理流程

image.png

音频数据的流转
PCM：采集数据的格式就是PCM数据（模拟信号转换成数字信号）

image.png

WAV：既可以存储原始数据也可以存储压缩数据，但大部分WAV存储的是原始的数据，WAV其实上是在PCM的头上套了一个头，而这个头包含了基本的原始数据信息

量化的基本概念

采样大小：一个采样用多少bit存放，一般是16bit
采样率：采样频率8K、16K、32K、44.1K、48K
声道数：单声道、双声道、多声道

码率计算

image.png

WAV Header

image.png

WAV的例子

image.png

Android音频采集

Android音视频采集分为两层API,底层的使用的是AudioRecoder，应用层使用MediaRecoder的API,直接采集的数据保存为音视频文件

FFmpeg采集音频

使用ffmpeg采集音频：ffmpeg -f avfoundation -i :0 out.wav
ffplay out.wav

FFmpeg采集音频的流程

FFmpeg采集音频分三步： 打开音频设备、采集音频数据包 、输出文件
打开音频设备：注册设备 ----> 设置采集方式：avfoundation/dshow/alsa. --->打开音频设备

AVFormatContext *fmt_ctx;
    char *devicename =":0";
    int ret = 0;
    char errors[1024];
    AVDictionary *options = NULL;
    //注册设备 register audio device
    avdevice_register_all();
    //获取格式 get format
    AVInputFormat *iformat = av_find_input_format("avfoundation");
    if((ret = avformat_open_input(&fmt_ctx, devicename, iformat,&options)) < 0){
        av_strerror(ret,errors, 1024);
        printf(stderr,"failed open audio device,[%d]%s\n",ret,errors);
    }

av_read_frame

AVFormatContext:上下文，表示读取的数据是从哪里获取的，是从设备还是多媒体

AVPackage:音视频包

data：音视频数据
size：音视频数据的地址也就是数据缓冲区的大小
与AVpackage相关的API 头文件是在：libavcodec/avcodec.h
av_init_packet 初始化
av_packet_unref 释放资源
av_packet_alloc 1、分配avPacket空间 2、alloc进行初始化
av_packet_free 先对avPacket空间进行释放，然后对unref进行解引用
返回值为0表示读取成功

AVPacket pkt;
    av_init_packet(&pkt);
    while ((ret = av_read_frame(fmt_ctx,&pkt )) == 0) {
        printf("pkt size is %d \n",pkt.size);
    }
    av_packet_unref(&pkt);