音视频处理流程

分为2个流程

1. 直播客户端的处理流程
2. 音频数据的流转

直播客户端的处理流程

处理流程.png

音频数据的流转

PCM：是设备采集到数据，系统提供的API采集到的数据格式为PCM，为完整的原始数据，是数字信号。

音频数据的流转.png

声音产生

• 声音是由物体振动产生的
• 它可以通过空气、固体、液体等进行传输
• 振动耳膜

声音的三要素

• 音调：音频的快慢 男生(最低，浑厚)-->女生-->儿童(最高，悦耳)
• 音量：振动的幅度，幅度越大，声音越大
• 音色：谐波，同一个频率来说，钢琴产生的声音和小提琴产生的声音不一样的，是由 谐波产生的

模数转换

自然界的音频都是一段模拟信号，在计算机中把它模拟出来，就必须转换成数字信号，这就是模拟信号与数字信号之间的模数转换。

1. 采样，一般采样是48000(48k)，32000(32k),16000(16K)等等，采样率越高，转换成数字信号，就越好
2. 将10进制转换成二进制，这样就把模拟信号转换成数字信号了

PCM与WAV

模数转换的时候，由一个位深的概念，对于音频，由一个采样大小(位深)的概念，采样大小就是你能表述的这个数值的最大范围值是多少，一般是8位(-128到128，无符号0~255)或者是16位(-32768到32768),幅度挺大的，音量大小，由区间的。

音频原始数据格式

• PCM： 纯的音频数据，跟文件格式没关系
• WAV： PCM封装了格式，就成了WAV，有了文件类型，WAV是在PCM上套了一个头，这个头里头，包含了一些详细信息

量化基本概念

• 采样大小：一个采样大小用多少bit存放，常用的是16bit，值越高，描述的声音的强度更清晰
• 采样率：采样频率8k、16k、32k、44.1k、48k，值越高，数字信号和模拟信号之间的误差就越小，声音越接近，打电话一般是8k
• 声道数：单声道、双声道、多声道

码率计算

PCM = 采样大小 * 采样率 * 声道数；
例如：采样率位44.1KHz，采样大小为16bit，双声道的PCM 编码的WAV文件，它的码率为44.1K * 16 * 2 = 1411.2Kb/s。为1.4M的数据，还是纯声音的数据，有点大呀，未压缩。