音视频基本知识

---

视频编码

• 概念: 就是指特定的压缩技术,将某个视屏格式文件转换成另一种视频格式的方式
• 国际标准解码 H.261 H.262 H.263 M-JPEG ,MPEG

分类

MPEG

• ISO 国际标准下属开发 MP3就采用这种编码 DVD没有采用这个编码

H26X

• 侧重网络传输 ITU主导

音频编码

• AAC 专为声音数据设计的文件压缩格式 音质好,文件小 有损音质压缩
• MP3 音频压缩技术
• AC3 有损音编码格式

多媒体播放组件

Android

• MediaPlayer 播放控制
• MediaCodec 音视频编解码
• OMX 多媒体部分采用的标准解码标准
• StageFright 一个框架
• AudioTrack 音频播放

IOS

• VideoToolBox 底层框架
• AudioToolBox 这个框架可以将比较短的声音注册到System Sound服务上
• AVPlayer 音视频播放框架

常见的多媒体框架以及解决方案

• VLC 一款自由,开源的跨平台的多媒体播放器及框架
• FFmpeg 多媒体解决方案 引用广泛
• GStreamer 一套构建流媒体应用的开源多媒体框架

相关知识点

帧率

• 测量单位每秒显示的帧数 FPS 或者Hz

分辨率

• 视频成像产品形成的图像大小或者尺寸

刷新率

• 屏幕每秒画面被刷新的次数, 分为水平和垂直刷新率 一般指的是垂直刷新率

编码格式

• MPEG (MPEG-2 MPEG-4)
• H.26X (H.263 H.264 /AVC H.265/HEVC)

封装格式

• MKV
• AVI
• TS 等...

码率

• 比特率 是单位时间内播放连续的媒体的比特数量 **文件大小(b) = 码率(b/s) * 时长(s) **

画质和码率

• 视频质量和码率,编码算法都有关系

DTS 和 PTS

• DTS 用于标记读入内存中的比特流在什么时候开始送入解码器中解码
• PTS 用于度量解码后的视频帧什么时候被显示出来

YUV 和 RGB

• YUV 欧洲电视采用的颜色编码 Y 亮度 U 和 V代表构成颜色的二个分量
• RGB 红绿蓝

视频帧 和 音频帧

• 视频帧 I ,P,B帧
  • I帧 表示关键帧
  • P帧表示 这一帧和之前一帧 关键帧的差别
  • B帧 双向差别帧
• 音频帧
  • 对PCM来说 不需要帧概念
  • AMR 帧比较简单 20ms为一帧
  • MP3 比较复杂 包含采样率 比特率 各种各样的参数

量化精度

• 表示将模拟信号分成多少各等级 单位是bit

采样率

• 每秒音频采样点的个数 用Hz表示

声道

• 单声道 立体声道 4声道 5.1声道 7.1声道
• 单声道 设置一个扬声器
• 立体声 左右对称的二个扬声器
• 4声道 前后左右放置4个同时添加一个低音音箱
• 5.1声道
• 7.1声道