音视频基本知识

为什么要编码？

• 一部电影，如果不编码，至少大于200G，相当于压缩，把电影压缩很1小，相同的部分去掉
• 网络传输体积会小

音频编码相关

常见的音频编码方式有（mp3,aac,ac3）

• MP3 特点是压缩成小的文件，
• ac3 多用于DVD唱片和电影院，因为这种格式在爆炸、撞击、鼓声音效比较好
• aac 用全新算法进行编码，比mp3更加性价比高，体积小，所以现在基本都使用aac

视频编码相关

常见的编码方式（H.261、H.263、H.264、H.26X）
现在编码基本上都使用H.26X，因为它包含其他3种，而且还包含新的编码格式

赫兹

其实就是，每一秒显示的帧数（fps），高帧率看起来的画面就很逼真，很流畅的感觉，一般规则是（30fps）人类肉眼可以接受，如果修改成（60fps）的话，看起来交互感和逼真感更加高，但是如果修改成（>75fps）后，人累肉眼难以察觉有什么变化，并且如果修改太高的话，就会浪费性能了

刷新率

image.png

每一秒中，画面刷新的次数，刷新率分为“垂直刷新”和“竖直刷新”，一般说的刷新率是垂直刷新率，刷新率高，人眼看起来舒服，自然稳定，如果刷新率低，就会出现闪烁，抖动，看起来眼睛累，标准是达到80赫兹，基本就能解决闪烁，抖动问题

DTS 和 PTS

• DTS 用于读取内存中比特流什么时候送入给解码器进行解码
• PTS 用于解码后的视频帧，什么时候被渲染出来

YUV和RGB

• YUV Y代表亮度，UV代表色差，U和V是构成颜色的2个分量

• RGB 红绿蓝
  注意：只有rgb才能显示到android屏幕上

  
  image.png

视频帧：

比较常见的视频帧有（P帧，B帧，I帧）

• P帧：注意P帧就是在前面的那一帧相关的处理帧，P帧没有完整的画面数据，是与前一帧画面之差的数据。
• B帧：注意B帧就是在前面和后面那一帧相关的处理帧，B帧同样没有完整的画面数据，是与前一帧后一帧画面之差的数据。

• I帧：就是一幅画面完整的数据帧，丢帧千万不能丢了I帧哦。

  
  image.png

声道，通道数：

单声道，双声道，四声道，5.1声道，等等

音频的概念：

音频是指：人类的耳朵可以听到的声音频率（20HZ～2WHZ）之间的声波，就称为音频。

采样定理：

声波的处理是非常困难的，为了解决声波在计算机中的处理，就有了采样率
采样定理 >= 2FH
22050是常用的采样频率
44100是CD标准的音质，通常是 立体声
48000算是极限了
普遍情况下：超过48000没有任何意义, 就浪费了
特色情况： 唱片公司录音 96000（音乐制作）

image.png

音视频流程（地图）

image.png