音视频流媒体开发-目录
iOS知识点-目录
Android-目录
Flutter-目录
数据结构与算法-目录
uni-pp-目录

官⽅⽂档：https://tools.ietf.org/html/rfc8216

1. 综述

HLS（HTTP Live Streaming） 把整个流分成⼀个个⼩的基于 HTTP 的⽂件来下载，每次只下载⼀些。

HLS 协议由三部分组成：HTTP、M3U8、TS。这三部分中，HTTP 是传输协议，M3U8 是索引⽂件，TS是⾳视频的媒体信息。

关于 HLS 的详细介绍可参考： HTTP Live Streaming draft-pantos-http-live-streaming-18

HLS 是提供⼀个 m3u8 地址，Apple 的 Safari 浏览器直接就能打开 m3u8 地址，譬如：

http://demo.srs.com/live/livestream.m3u8

Android 不能直接打开，需要使⽤ html5 的 video 标签，然后在浏览器中打开这个⻚⾯即可，譬如：

<!-- livestream.html -->
<video width="640" height="360"
    autoplay controls autobuffer
    src="http://demo.srs.com/live/livestream.m3u8"
    type="application/vnd.apple.mpegurl">
</video>

HLS 的 m3u8，是⼀个 ts 的列表，也就是告诉浏览器可以播放这些 ts ⽂件，譬如：

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-MEDIA-SEQUENCE:64
#EXT-X-TARGETDURATION:12
#EXTINF:11.550
livestream-64.ts
#EXTINF:5.250
livestream-65.ts
#EXTINF:7.700
livestream-66.ts
#EXTINF:6.850
livestream-67.ts

有⼏个关键的参数，这些参数在 SRS 的配置⽂件中都有配置项：

#EXTM3U：每个M3U⽂件第⼀⾏必须是这个tag，请标示作⽤

#EXT-X-VERSION：该属性可以没有，⽬前主要是version 3，最新的是7

#EXT-X-MEDIA-SEQUENCE：每⼀个media URI在PlayList中只有唯⼀的序号，相邻之间序号+1，⼀个media URI并不是必须要包含的，如果没有，默认为0

#EXT-X-TARGETDURATION：所有切⽚的最⼤时⻓。有些 Apple 设备这个参数不正确会⽆法播放。

SRS 会⾃动计算出 ts ⽂件的最⼤时⻓，然后更新 m3u8 时会⾃动更新这个值。⽤户不必⾃⼰配置。

#EXTINF：ts 切⽚的实际时⻓，SRS 提供配置项 hls_fragment，但实际上的 ts 时⻓还受 gop 影响。

ts ⽂件的数⽬：SRS 可配置 hls_window（单位是秒，不是数量），指定 m3u8 中保存多少个切⽚，譬如，每个 ts 切⽚为 10 秒，窗⼝为 60 秒，那么 m3u8 中最多保存 6 个 ts 切⽚，SRS 会⾃动清理旧的切⽚。

livestream-67.ts：SRS 会⾃动维护 ts 切⽚的⽂件名，在编码器重推之后，这个编号会继续增⻓，保证流的连续性。直到 SRS 重启，这个编号才重置为 0。

每⼀个 .m3u8 ⽂件，分别对应若⼲个 ts ⽂件，这些 ts ⽂件才是真正存放视频的数据。

m3u8 ⽂件只是存放了⼀些 ts ⽂件的配置信息和相关路径，当视频播放时，.m3u8 是动态改变的，video标签会解析这个⽂件，并找到对应的 ts ⽂件来播放，所以⼀般为了加快速度，.m3u8 放在 web 服务器上，ts ⽂件放在 cdn 上。

.m3u8 ⽂件，其实就是以 utf-8 编码的 m3u ⽂件，这个⽂件本身不能播放，只是存放了播放信息的⽂本⽂件。

HLS 整体框架图：Server、CDN 和 Client

image.png

HLS 协议编码格式要求

• 视频的编码格式：H264
• ⾳频的编码格式：AAC、MP3、AC-3
• 视频的封装格式：ts
• 保存 ts 索引的 m3u8 ⽂件

HLS 协议优势

• HLS 相对于 RTMP 来讲使⽤了标准的 HTTP 协议来传输数据，可以避免在⼀些特殊的⽹络环境下被屏蔽。
• HLS 相⽐ RTMP 在服务器端做负载均衡要简单得多。因为 HLS 是基于⽆状态协议 HTTP 实现的，客户端只需要按照顺序使⽤下载存储在服务器的普通 ts ⽂件进⾏播放就可以。⽽ RTMP 是⼀种有状态协议，很难对视频服务器进⾏平滑扩展，因为需要为每⼀个播放视频流的客户端维护状态。
• HLS 协议本身实现了码率⾃适应，在不同带宽情况下，设备可以⾃动切换到最适合⾃⼰码率的视频播放。

HLS 协议缺点

• HLS 协议在直播的视频延迟时间很难做到 10 s 以下延时，⽽ RTMP 协议的延时可以降到 1s 左右。

2. HLS 之 M3U8

m3u8 ⽂件是⽤⽂件⽅式对媒体⽂件进⾏描述，由⼀些列标签组成。

2.1 m3u8示例

m3u8 ⽂件示例 1：单码率适配流

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-ALLOW-CACHE:YES
#EXT-X-MEDIA-SEQUENCE:2
#EXT-X-TARGETDURATION:16
#EXTINF:14.357, no desc
livestream-2.ts
#EXTINF:15.617, no desc
livestream-3.ts
#EXTINF:14.358, no desc
livestream-4.ts
#EXTINF:15.618, no desc
livestream-5.ts
#EXTINF:11.130, no desc
livestream-6.ts

该 m3u8 ⽂件只是⼀个简单的 Media Playlist。

m3u8 ⽂件示例 2：多码率适配流

#EXTM3U
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1280000
http://example.com/low.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2560000
http://example.com/mid.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=7680000
http://example.com/hi.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=65000,CODECS="mp4a.40.5"
http://example.com/audio-only.m3u8

包含多种⽐特率的 Master Playlist。该⽂件是⼀个实际使⽤中的顶级 m3u8 ⽂件，该⽂件中⼜定义了http://example.com/low.m3u8 、 http://example.com/mid.m3u8 等 ⼏ 个 ⼆ 级 ⽂ 件 。 顶 级m3u8 ⽂件主要是做码率适配的，⼆级 m3u8 才是真正的切⽚⽂件，客户端会默认选择码率最⾼的请求，如果发现码率达不到，会请求降低码率的流。客户端拿到⼆级 m3u8 ⽂件后，会继续请求⾥⾯的⽂件，这时就可以进⾏播放了。

2.2 基础概念

2.2.1 Playlist file

⼀个 m3u 的 Playlist 就是⼀个由多个独⽴⾏组成的⽂本⽂件，每⾏由回⻋/换⾏区分。每⼀⾏可以是⼀个URI、空⽩⾏或是⼀个 以 "#" 号开头的字符串，并且空格只能存在于⼀⾏中不同元素间的分隔。

⼀个 URI 表示⼀个媒体段或是 "variant Playlist file"（最多⽀持⼀层嵌套，即⼀个 m3u8 ⽂件中嵌套另⼀个 m3u8），以 "EXT" 开头的表示⼀个 "tag"，否则表示注释，直接忽略。

2.2.2 Tags

1. #EXTM3U ：

每个 m3u8 ⽂件第⼀⾏必须是这个 tag，如上⾯的两个示例。

2. #EXT-X-VERSION：m3u8⽂件版本号，⽐如#EXT-X-VERSION:3。

3. #EXTINF ：指定每个媒体段（ts）的持续时间，这个仅对其后⾯的 URI 有效，每两个媒体段 URI 间被这个 tag 分隔开其格式为： #EXTINF:<duration>,<title>， ⽐如#EXTINF:14.357, no desc
duration：表示持续的时间（秒），"Durations MUST be integers if the protocol version of the Playlist file is less than 3"，否则可以是浮点数。

4. #EXT-X-BYTERANGE ：表示媒体段是⼀个媒体 URI 资源中的⼀段，只对其后的 media URI 有效，格式为： #EXT-X-BYTERANGE:<n>[@o]
n：表示这个区间的⼤⼩
o：表示在 URI 中的 offset
The EXT-X-BYTERANGE tag appeared in version 4 of the protocol

5. #EXT-X-TARGETDURATION ：指定当前视频流中的单个切⽚（即 ts）⽂件的最⼤时⻓（秒）。所以#EXTINF 中指定的时间⻓度必须⼩于或是等于这个最⼤值。这个 tag 在整个 Playlist ⽂件中只能出现⼀次（在嵌套的情况下，⼀般有真正ts url 的 m3u8 才会出现该 tag）。格式为： #EXT-XTARGETDURATION:<s>
s：表示最⼤的秒数。

6. #EXT-X-MEDIA-SEQUENCE ：
每⼀个 media URI 在 Playlist 中只有唯⼀的序号，相邻之间序号 +1。
格式为： #EXT-X-MEDIA-SEQUENCE:<number> 。⼀个 media URI 并不是必须要包含的，如果没有，默认为 0.

7. #EXT-X-KEY ：表示怎么对 media segments 进⾏解码。其作⽤范围是下次该 tag 出现前的所有media URI。格式为： #EXT-X-KEY:<attribute-list>

NONE 或者 AES-128。如果是 NONE，则 URI 以及 IV 属性必须不存在，如果是 AES128(Advanced Encryption Standard)，则 URI 必须存在，IV 可以不存在。

对于 AES-128 的情况，keytag 和 URI 属性共同表示了⼀个 key ⽂件，通过 URI 可以获得这个key，如果没有 IV（Initialization Vector），则使⽤序列号作为 IV 进⾏编解码，将序列号的⾼位赋到 16 个字节的 buffer 中，左边补 0；如果有 IV，则将该值当成 16 个字节的 16 进制数。

8. #EXT-X-PROGRAM-DATE-TIME ：将⼀个绝对时间或是⽇期和⼀个媒体段中的第⼀个 sample 相关联，只对下⼀个 media URI 有效，格式如下： #EXT-X-PROGRAM-DATE-TIME:<YYYY-MMDDThh:mm:ssZ>

例如： #EXT-X-PROGRAM-DATE-TIME:2010-02-19T14:54:23.031+08:00

9. #EXT-X-ALLOW-CACHE ：
是否允许做 cache，这个可以在 Playlist ⽂件中任意地⽅出现，并且最多只出现⼀次，作⽤效果是所有的媒体段。格式如下： #EXT-X-ALLOW-CACHE:<YES|NO>

10. #EXT-X-PLAYLIST-TYPE ：提供关于 Playlist 的可变性的信息，这个对整个 Playlist ⽂件有效，是可选的，格式如下： #EXT-X-PLAYLIST-TYPE:<EVENT|VOD>

VOD，即为点播视频，服务器不能改变 Playlist ⽂件，换句话说就是该视频全部的 ts ⽂件已经被⽣成好了

EVENT，就是实时⽣成 m3u8 和 ts ⽂件。服务器不能改变或是删除 Playlist ⽂件中的任何部分，但是可以向该⽂件中增加新的⼀⾏内容。它的索引⽂件⼀直处于动态变化中，播放的时候需要不断下载⼆级 index ⽂件

11. #EXT-X-ENDLIST ：

表示 m3u8 ⽂件的结束，live m3u8 没有该 tag。它可以在 Playlist 中任意位置出现，但是只能出现⼀个，格式如下： #EXT-X-ENDLIST

12. #EXT-X-MEDIA ：被⽤来在 Playlist 中表示相同内容的不同语种/译⽂的版本，⽐如可以通过使⽤ 3个这种 tag 表示 3 种不同语⾳的⾳频，或者⽤ 2 个这个 tag 表示不同⻆度的 video。在 Playlist中，这个标签是独⽴存在的，其格式如下： #EXT-X-MEDIA:<attribute-list>

该属性列表中包含：URI、TYPE、GROUP-ID、LANGUAGE、NAME、DEFAULT、AUTOSELECT。

URI：如果没有，则表示这个 tag 描述的可选择版本在主 PlayList 的 EXT-X-STREAM-INF 中存在
TYPE：AUDIO and VIDEO
GROUP-ID：具有相同 ID 的 MEDIAtag，组成⼀组样式
LANGUAGE：identifies the primary language used in the rendition
NAME：The value is a quoted-string containing a human-readable description of the rendition. If the LANGUAGE attribute is present then this description SHOULD be inthat language
DEFAULT：YES 或是 NO，默认是 No，如果是 YES，则客户端会以这种选项来播放，除⾮⽤户⾃⼰进⾏选择
AUTOSELECT：YES 或是 NO，默认是 No，如果是 YES，则客户端会根据当前播放环境来进⾏选择（⽤户没有根据⾃⼰偏好进⾏选择的前提下）
The EXT-X-MEDIA tag appeared in version 4 of the protocol。

13. #EXT-X-STREAM-INF ：指定⼀个包含多媒体信息的 media URI 作为 Playlist，⼀般做 m3u8 的嵌套使⽤，它只对紧跟后⾯的 URI 有效，格式如下： #EXT-X-STREAM-INF:<attribute-list>

常⽤的属性如下：
BANDWIDTH：带宽，必须有
PROGRAM-ID：该值是⼀个⼗进制整数，唯⼀地标识⼀个在 Playlist ⽂件范围内的特定的描述。⼀个 Playlist ⽂件中可能包含多个有相同 ID 的此 tag
CODECS：指定流的编码类型，不是必须的
RESOLUTION：分辨率
AUDIO：这个值必须和 AUDIO 类别的 "EXT-X-MEDIA" 标签中 "GROUP-ID" 属性值相匹配
VIDEO：同上

14. #EXT-X-DISCONTINUITY ：当遇到该 tag 的时候说明以下属性发⽣了变化：
file format ⽂件格式
number and type of tracks 轨道
encoding parameters 编码参数
encoding sequence 编码序号
timestamp sequence 时间戳序号

15. #ZEN-TOTAL-DURATION ：
表示这个 m3u8 所含 ts 的总时间⻓度