1.简述
官方文档地址:https://tools.ietf.org/html/rfc8216
如果需要更详细了解这个协议,就需要阅读这个协议。
HLS(HTTP Live Streaming) 把整个流分片,然后基于HTTP的文件来下载,每次只下载一部分。HLS 协议由三部分组成:HTTP、M3U8、TS。其中,HTTP 是传输协议,M3U8 是索引⽂件,TS是⾳视频的媒体信息。
关于HLS的详细介绍可参考如下地址:
https://tools.ietf.org/html/draft-pantos-http-live-streaming-18
HLS 是提供⼀个 m3u8 地址,Apple 的 Safari 浏览器直接就能打开 m3u8 地址(试了下,win的浏览器是无法打开),如下地址:
http://demo.srs.com/live/livestream.m3u8
注意:Android 也是不能直接打开,需要使⽤ html5 的 video 标签,然后在浏览器中打开这个⻚⾯即可,如:
<!-- livestream.html -->
<video width="640" height="360"
autoplay controls autobuffer
src="http://demo.srs.com/live/livestream.m3u8"
type="application/vnd.apple.mpegurl">
</video>
HLS 的 m3u8,是⼀个 ts 的列表,也就是告诉浏览器可以播放这些 ts ⽂件,如下列表:
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-MEDIA-SEQUENCE:64
#EXT-X-TARGETDURATION:12
#EXTINF:11.550
livestream-64.ts
#EXTINF:5.250
livestream-65.ts
#EXTINF:7.700
livestream-66.ts
#EXTINF:6.850
livestream-67.ts
注意:如果只有#表示注释,如果有#EXT,表示标记一个tag。
有⼏个关键的参数,这些参数在 SRS 的配置⽂件中都有配置项:
(1)#EXTM3U:每个M3U⽂件第⼀⾏必须是这个tag,请标示作⽤。
(2)#EXT-X-VERSION:该属性可以没有,上面列表中,⽬前版本号主要是version 3,最新的是7。
(3)#EXT-X-MEDIA-SEQUENCE:每⼀个media URI在PlayList中只有唯⼀的序号(每一次开始播放ts文件的所对应的序号),相邻之间序号+1,⼀个media URI并不是必须要包含的,如果没有,默认为0。如这里#EXT-X-MEDIA-SEQUENCE:64,对应下面livestream-64.ts(开始播放的序号)。
(4)#EXT-X-TARGETDURATION:ts列表中所有切⽚的最⼤时⻓(上述列表为12s)。有些 Apple 设备这个参数不正确会⽆法播放。SRS 会⾃动计算出 ts ⽂件的最⼤时⻓,然后更新 m3u8 时会⾃动更新这个值。⽤户不必⾃⼰配置。
(5)#EXTINF:ts 切⽚的实际时⻓,SRS 提供配置项 hls_fragment,但实际上的 ts 时⻓还受 gop 影响,确保是完整的gop。分别对应下面ts的切片时长,如,#EXTINF:11.550(时间单位为s),描述的是livestream-64.ts的切片时长为11.55s(如果向上取整,则就是所有ts文件的切片最大时长为12s)。
(6)ts ⽂件的数⽬:SRS 可配置 hls_window(单位是秒,不是数量),指定 m3u8 中保存多少个切⽚(类似一个容器),譬如,每个 ts 切⽚为 10 秒,窗⼝为 60 秒,那么 m3u8 中最多保存 6 个 ts 切⽚,SRS 会⾃动清理旧的切⽚。
(7)livestream-67.ts:SRS 会⾃动维护 ts 切⽚的⽂件名,在编码器重推之后,这个编号会继续增⻓,保证流的连续性。直到 SRS 重启,这个编号才重置为 0。
注意搞懂这些概念:每⼀个 .m3u8 ⽂件,分别对应若⼲个 ts ⽂件的索引和配置信息,真正的音视频数据是存放在ts文件。m3u8 ⽂件只是存放了⼀些 ts ⽂件的配置信息和相关路径。
.m3u8 ⽂件,其实就是以 utf-8 编码的 m3u ⽂件,这个⽂件本身不能播放,只是存放了播放信息的⽂本⽂件。比如一碗汤,.m3u8 ⽂件就是一个碗,而ts才是正真的汤,无论汤增加还是减少,都是在碗里变化。
当视频播放时,.m3u8 文件(可以理解为一个变化的容器)是动态改变的,video标签会解析这个⽂件,并根据索引信息找到对应的 ts ⽂件来播放。所以⼀般为了加快速度,.m3u8 放在 web 服务器上,ts ⽂件放在 cdn 上。
m3u8示例
m3u8 ⽂件示例 1:单码率适配流
该 m3u8 ⽂件只是⼀个简单的 Media Playlist。
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-ALLOW-CACHE:YES
#EXT-X-MEDIA-SEQUENCE:2
#EXT-X-TARGETDURATION:16
#EXTINF:14.357, no desc
livestream-2.ts
#EXTINF:15.617, no desc
livestream-3.ts
#EXTINF:14.358, no desc
livestream-4.ts
#EXTINF:15.618, no desc
livestream-5.ts
#EXTINF:11.130, no desc
livestream-6.ts
m3u8 ⽂件示例 2:多码率适配流
包含多种⽐特率的 Master Playlist。该⽂件是⼀个实际使⽤中的顶级 m3u8 ⽂件,该⽂件中⼜定义了http://example.com/low.m3u8 、 http://example.com/mid.m3u8 等 ⼏ 个 ⼆ 级 ⽂ 件 。 顶 级m3u8 ⽂件主要是做码率适配的,⼆级 m3u8 才是真正的切⽚⽂件,拉流端会默认选择码率最⾼的请求,如果发现码率达不到,会请求降低码率的流。客户端拿到⼆级 m3u8 ⽂件后,会继续请求⾥⾯的⽂件,这时就可以进⾏播放了。
注意:这个码率自适应功能,是非常值得推荐。
#EXTM3U
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1280000
http://example.com/low.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2560000
http://example.com/mid.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=7680000
http://example.com/hi.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=65000,CODECS="mp4a.40.5"
http://example.com/audio-only.m3u8
前一节讲过,.m3u8 放在 web 服务器上,ts ⽂件放在 cdn 上,切片在流媒体服务器。框架如下图:
3.HLS 协议编码格式要求
HLS协议对编码格式有如下要求,一般只支持这几种格式:
(1)视频的编码格式:H264。
(2)⾳频的编码格式:AAC、MP3、AC-3。
(3)视频的封装格式:ts。
(4)保存 ts 索引的 m3u8 ⽂件。
3.1 HLS 协议优点
(1)HLS 相对于 RTMP 来讲使⽤了标准的 HTTP 协议来传输数据,可以避免在⼀些特殊的⽹络环境下被屏蔽。
(2)HLS 相⽐ RTMP 在服务器端做负载均衡要简单得多。因为 HLS 是基于⽆状态协议 HTTP 实现的,拉流端只需要按照顺序使⽤下载存储在服务器的普通 ts ⽂件进⾏播放就可以。⽽ RTMP 是⼀种有状态协议,很难对视频服务器进⾏平滑扩展,因为需要为每⼀个播放视频流的拉流端维护状态。
(3)HLS 协议本身实现了码率⾃适应,在不同带宽情况下,设备可以⾃动切换到最适合⾃⼰码率的视频播放。这一点是非常好的一项功能,要是需要重点关注。
3.2 HLS 协议缺点
HLS 协议在直播的视频延迟时间很难做到 10 s 以下延时,⽽ RTMP 协议的延时可以降到 1s 左右,甚至1s以下。
在这里提醒各位朋友,不管怎样,这两种方案都是有应用的,需要根据自己的需求和应用场景,选择不同的方案。不能只看的协议的缺点,而不看协议的优点。
4.协议其它概念解析
(1)Playlist file
⼀个 m3u 的 Playlist 就是⼀个由多个独⽴⾏组成的⽂本⽂件,每⾏由回⻋/换⾏区分。每⼀⾏可以是⼀个URI、空⽩⾏或是⼀个 以 "#" 号开头的字符串,并且空格只能存在于⼀⾏中不同元素间的分隔。⼀个 URI 表示⼀个媒体段或是 "variant Playlist file"(最多⽀持⼀层嵌套,即⼀个 m3u8 ⽂件中嵌套另⼀个 m3u8),以 "EXT" 开头的表示⼀个 "tag",否则表示注释,直接忽略。
(2)Tags解析
#EXTM3U :每个 m3u8 ⽂件第⼀⾏必须是这个 tag,如上⾯的两个示例。
#EXT-X-VERSION:m3u8⽂件版本号,⽐如#EXT-X-VERSION:3。
#EXTINF :指定每个媒体段(ts)的持续时间,这个仅对其后⾯的 URI 有效,每两个媒体段 URI 间被这个 tag 分隔开其格式为: #EXTINF:<duration>,<title>, ⽐如#EXTINF:14.357, nodesc
duration:表示持续的时间(秒),"Durations MUST be integers if the protocol version of the Playlist file is less than 3"(如果版本号小于3,就是整数),否则可以是浮点数。
#EXT-X-BYTERANGE :表示媒体段是⼀个媒体 URI 资源中的⼀段,只对其后的 media URI 有效,格式为: #EXT-X-BYTERANGE:<n>[@o]。这个字段在版本4才有体现。
n:表示这个区间的⼤⼩
o:表示在 URI 中的 offset
#EXT-X-TARGETDURATION :指定当前视频流中的单个切⽚(即 ts)⽂件的最⼤时⻓(秒)。所以#EXTINF 中指定的时间⻓度必须⼩于或是等于这个最⼤值。这个 tag 在整个 Playlist ⽂件中只能出现⼀次(在嵌套的情况下,⼀般有真正ts url 的 m3u8 才会出现该 tag)。格式为: #EXT-X-TARGETDURATION:<s>
s:表示最⼤的秒数。
#EXT-X-MEDIA-SEQUENCE :每⼀个 media URI 在 Playlist 中只有唯⼀的序号,相邻之间序号 +1。格式为: #EXT-X-MEDIA-SEQUENCE:<number> 。⼀个 media URI 并不是必须要包含的,如果没有,默认为 0.
#EXT-X-KEY :表示怎么对 media segments 进⾏解码。其作⽤范围是下次该 tag 出现前的所有media URI。格式为: #EXT-X-KEY:<attribute-list>NONE 或者 AES-128。如果是 NONE,则 URI 以及 IV 属性必须不存在,如果是 AES-128(Advanced Encryption Standard),则 URI 必须存在,IV 可以不存在。对于 AES-128 的情况,keytag 和 URI 属性共同表示了⼀个 key ⽂件,通过 URI 可以获得这个key,如果没有 IV(Initialization Vector),则使⽤序列号作为 IV 进⾏编解码,将序列号的⾼位赋到 16 个字节的 buffer 中,左边补 0;如果有 IV,则将该值当成 16 个字节的 16 进制数。
#EXT-X-PROGRAM-DATE-TIME :将⼀个绝对时间或是⽇期和⼀个媒体段中的第⼀个 sample 相关联,只对下⼀个 media URI 有效,格式如下: #EXT-X-PROGRAM-DATE-TIME:<YYYY-MM-DDThh:mm:ssZ>
如: #EXT-X-PROGRAM-DATE-TIME:2010-02-19T14:54:23.031+08:00
#EXT-X-ALLOW-CACHE :是否允许做 cache,这个可以在 Playlist ⽂件中任意地⽅出现,并且最多只出现⼀次,作⽤效果是所有的媒体段。格式如下: #EXT-X-ALLOW-CACHE:<YES|NO>
#EXT-X-PLAYLIST-TYPE :提供关于 Playlist 的可变性的信息,这个对整个 Playlist ⽂件有效,是可选的,格式如下: #EXT-X-PLAYLIST-TYPE:<EVENT|VOD>
VOD,即为点播视频,服务器不能改变 Playlist ⽂件,换句话说就是该视频全部的 ts ⽂件已经被⽣成好了EVENT,就是实时⽣成 m3u8 和 ts ⽂件。服务器不能改变或是删除 Playlist ⽂件中的任何部分,但是可以向该⽂件中增加新的⼀⾏内容。它的索引⽂件⼀直处于动态变化中,播放的时候需要不断下载⼆级 index ⽂件
#EXT-X-ENDLIST :表示 m3u8 ⽂件的结束,live m3u8 没有该 tag。它可以在 Playlist 中任意位置出现,但是只能出现⼀个,格式如下: #EXT-X-ENDLIST
#EXT-X-MEDIA :被⽤来在 Playlist 中表示相同内容的不同语种/译⽂的版本,⽐如可以通过使⽤ 3个这种 tag 表示 3 种不同语⾳的⾳频,或者⽤ 2 个这个 tag 表示不同⻆度的 video。在 Playlist中,这个标签是独⽴存在的,其格式如下: #EXT-X-MEDIA:<attribute-list>
该属性列表中包含:URI、TYPE、GROUP-ID、LANGUAGE、NAME、DEFAULT、AUTOSELECT。
URI:如果没有,则表示这个 tag 描述的可选择版本在主 PlayList 的 EXT-X-STREAM-INF 中存在
TYPE:AUDIO and VIDEO
GROUP-ID:具有相同 ID 的 MEDIAtag,组成⼀组样式
LANGUAGE:identifies the primary language used in the rendition
NAME:The value is a quoted-string containing a human-readable description of the
rendition. If the LANGUAGE attribute is present then this description SHOULD be in
that language
DEFAULT:YES 或是 NO,默认是 No,如果是 YES,则客户端会以这种选项来播放,除⾮⽤户
⾃⼰进⾏选择
AUTOSELECT:YES 或是 NO,默认是 No,如果是 YES,则客户端会根据当前播放环境来进⾏
选择(⽤户没有根据⾃⼰偏好进⾏选择的前提下),这个在版本4中,也是存在。
#EXT-X-STREAM-INF :指定⼀个包含多媒体信息的 media URI 作为 Playlist,⼀般做 m3u8 的嵌套使⽤,它只对紧跟后⾯的 URI 有效,格式如下: #EXT-X-STREAM-INF:<attribute-list>常⽤的属性如下:
BANDWIDTH:带宽,必须有
PROGRAM-ID:该值是⼀个⼗进制整数,唯⼀地标识⼀个在 Playlist ⽂件范围内的特定的描述。
⼀个 Playlist ⽂件中可能包含多个有相同 ID 的此 tag
CODECS:指定流的编码类型,不是必须的
RESOLUTION:分辨率
AUDIO:这个值必须和 AUDIO 类别的 "EXT-X-MEDIA" 标签中 "GROUP-ID" 属性值相匹配
VIDEO:同上
#EXT-X-DISCONTINUITY :当遇到该 tag 的时候说明以下属性发⽣了变化:
file format ⽂件格式
number and type of tracks 轨道
encoding parameters 编码参数
encoding sequence 编码序号
timestamp sequence 时间戳序号
#ZEN-TOTAL-DURATION :
表示这个 m3u8 所含 ts 的总时间⻓度
本篇文章就分析到这里,欢迎大家关注欢迎关注,点赞,转发,收藏,分享,评论区讨论。