推流端：主播使用的终端

• 通过摄像头进行视频采集，通常为YUV编码格式
• 通过话筒进行音频采集，通常为PCM编码格式
• 将视频数据从YUV编码为H264或H265
• 将音频数据从PCM编码为AAC
• 将视频与音频数据一起编码为多媒体容器格式，如H264与AAC组合编码为FLV或TS或RTMP Packet，根据传输协议来定
• 通过某种协议将数据推送到目标地址：
  • 应用层协议：HLS、RTSP、RTMP
  • 传输层协议：RTCP、RTP
  • 网络层协议：RSVP

服务端

待学习

拉流端：用户终端

• 通过某种协议从目标地址拉取数据，同上
• 将多媒体容器格式的数据解复用为视频编码格式的视频数据如H264和音频编码格式的音频数据如AAC
• 使用硬解码（GPU解码+CPU辅助）或软解码（CPU解码）将H264视频数据和AAC音频数据解码为YUV和PCM数据
• 执行音话同步操作
• 将同步后的YUV数据传输给视频播放设备；将同步后的AAC音频数据传输给音频播放设备

相关协议

• HLS
  苹果提出的基于HTTP的流媒体网络传输协议
• RTSP
  流媒体协议；一般是ts或mp4格式，一般在2-3个通道上传输命令和数据
• RTMP
  流媒体协议；一般是flv或f4v格式，一般在一个通道上传输命令和数据
• RTP
  RTP标准定义了两个协议：RTP（数据传输协议）和RTCP（控制协议）

多媒体容器格式

一般情况下，用户不会直接拥有单独的视频和音频文件，而是同时包含两种数据的多媒体容器格式的文件，通过解复用剥离出视频和音频数据，传输给对应的硬件

• 多媒体容器格式：MPEG-4、AVI、FLV、TS、MKV、RMVB
• 解复用后的视频编码格式：H264（国际电联的命名）/AVC（ISO的命名）（这俩机构联合开发的，但是各自命了名，蛋疼）、MPEG2 Part2、MPEG2 Part4
• 解复用后的音频编码格式：AAC、MP3、FLAC、APE、WAVEPACK
• YUV：视频采集芯片直接输出的视频编码格式
• PCM：音频采集芯片直接输出的音频编码格式

编码格式

编码格式本身是一种压缩标准，而制作这个标准的机构主要有两个

• ITU-T：主要制定了H.261/H263/H263+/H263++等标准
• ISO：主要制定了MPEG-1/MPEG-4等
  为了统一，目前比较通用的是双方共同制作的MPEG-2、H.264/AVC和H.265/HEVC等协议（各自命了名，但其实是同一个协议）
• MPEG-1：最早的音视频压缩标准，被VCD标准采用，其中的Part3（Audio）中的Layer3，就是我们平常说的mp3，但有时候也可能是MPEG-2 Audio Layer Ⅲ
• MPEG-2：Part2被DVD标注采用
• MPEG-4：Part4就是常说的mp4，其中的Part10就是由ITU-T和ISO共同制定的H264/AVC编码格式