音频

一、声音的三个要素：

1、音调：音频
2、音量：声音震动的浮动
3、音色：本质是谐波

人类听觉范围：

20HZ --- 20KHZ 之间

二、音频的量化和编码：

下图就可以清除的看出，就是将模拟信号转化为数字信号存储

采样大小：一个采样用多少bit保存，一般为16个比特
采样率：采样的频率
声道数：单声道、双声道和多声道
PCM音频流的码率：采样大小采样率声道数

三、音频压缩

1、消除冗余数据，人类可以听到的频率

2、哈夫曼无损编码

四、音频编解码器

常见的音频编码器有：OPUS、AAC、Vorbis、Speex、iLBC、AMR、G.711等
性能：OPUS>AAC>Vorbis

AAC介绍

• 目的：为了取代MP3格式，MP3格式是有损压缩
• MPEG-4标准出现后，AAC加入了SBR技术和PS技术
• 目前常用的规格有AAC LC、AAC HE V1、AAC HE V2
  AAC LC：低复杂度，码流128K
  AAC HE V1：AAC LC + SBR技术（高低频率单独编码，减少低频采样率，高频增加采样率）
  AAC HE V2：AAC HE V1 + PS（只存一个声道的完整声音，另一个声道的差异声音）

AAC规格：

AAC格式：

• ADIF：
  这种格式只能从头开始解码，常用于磁盘文件中
• ADTS：
  这种格式每一帧都有一个同步字，可以在音频流的任何位置开始解码，它类似数据流格式

AAC的常见编解码库：Libfdk_AAC 、ffmpeg AAC 、libfaac

视频：

一、基本概念

H246：

• I帧：关键帧，采用帧内压缩技术
• P帧：向前参考帧，压缩时只参考前一个帧，属于帧间压缩技术
• B帧：双向参考帧，压缩时参考前一个帧和后一个帧，属于帧间压缩技术

GOF：

GOF

SPS和PPS：

视频花屏、卡顿原因：

• 如果GOP分组中的P帧丢失会造成解码端的图像发生错误
• 为了避免花屏的问题出现，一般如果发现P帧或者I帧丢失，就不显示本次GOP内的所有帧，直到下一个I帧来后重新刷新图像

视频编码器：

• x264/x265(占用的CPU比较高，一般点播可以用)
• openH264（性能低于x264，但支持SVC）
• vp8/vp9

H264压缩技术：

二、H264宏块划分和分组

• 1、宏块（Macro Block）：一个编码图像首先要划分成多个块（4x4 像素）才能进行处理，显然宏块应该是整数个块组成，通常宏块大小为16x16个像素。宏块分为I、P、B宏块，I宏块只能利用当前片中已解码的像素作为参考进行帧内预测；P宏块可以利用前面已解码的图像作为参考图像进行帧内预测；B宏块则是利用前后向的参考图形进行帧内预测；
• 2、帧分组：将变化很小的有规律的一组帧分为一组，利用算法可以推算出其它的

压缩技术：

• 帧内压缩是生成I帧的算法（空间上的压缩）
• 帧间压缩是生成B帧和P帧的算法（时间上的压缩）。
• DCT压缩 数学压缩
• VLC压缩，类似哈夫曼编码

H264结构：

结构图：

H264编码分层：

• NAL 视频数据网络抽象层
• VCL 视频数据编码层

码流

基本概念：

• SODB： 原始数据比特流，长度不一定是8的倍数，处理起来比较麻烦，它是由VCL层产生的
• RBSP： 在SODB基础上，在SODB最后一位补1，不按字节对齐则补零
• EBSP： 插入起始位
• NALU： EBSP+一字节的头

H264码流分层图

NAL单元

Header格式：一个字节大小，如下图所示

• F位 必须为0
• NRI 暂无意义
• Type 指定了NALU单元的类型，如5位IDR图像的片

NAL类型：

• 单一类型 一个RTP包只包含一个NALU
• 组合类型 一个RTP包包含多NALU单元，类型是24 — 27
• 分片类型 一个NALU单元分成多个RTP包，类型是28和29

YUV:图像的存储格式

它是电视系统使用的一种颜色编码方法

• Y ： 表示明亮度，同灰阶值，它是基础信号，黑白电视使用
• U和V：表示的是色彩，UV的作用描述影像色彩以及饱和度，他们用于指定像素的颜色
  目前用的多的是YUV 4:2:0格式，第一行是4:2:0，下一行为4:0:2，以此交替更换