从去年末至今年年初，直播真是火了一把，各个平台都做直播，YY，斗鱼，映客，天猫，淘宝，脉脉，任意类型的App加上直播后都会有全新业务形式，今天就从技术角度来说说直播客户端以及主要IJKPlayer的相关日常。
1. 主要直播链路如下:
从技术选型来说来说，播放端在市面上有很多开源播放器。
1. 在技术选择过程中没有选用AVFoundation中的AVPlayer，由于AVPlayer在播放直播流m3u8过程中对延迟的控制不好，而rtmp拥有较小的延迟的优点，然而这里还有坑，后续会慢慢道来。
2. 由于先前没有视频的技术储备，从而选择业内成熟的直播方案。
整理了一下市面上的直播方案，有如下几种：
| 播放器 | 特点 | 类型 |
|---|---|---|
| IJKPlayer | 支持格式多，社区活跃高 | 直播，录播，本地播放 |
| ZFPlayer | AVFoundation系统原生 | 支持录播视频，业务样式比较多，可参考 |
| VLC | 完全跨平台，但是移植到客户端上成本较高 | 使用范围广，支持360全景 |
| AVFoundation | 苹果原生、Airplay原生支持 | 支持HLS直播、大部分播放功能 |
经过市场分析，B站，美拍和斗鱼都使用IJKPlayer，经历市场试验，IJKPlayer较为稳定的一款播放器。经过对比，我们选择了IJKPlayer这套iOS和Android可以基于同一套C层逻辑的直播方案。
为了业务快速上线，我们选择了较为稳定ffpmeg2.8版本，期间也踩了不少坑，比如硬件解码绿屏的问题，回放视频时间轴不准确的问题，我们都采用对应的规避手段，避免出现这样的情况。
2. 流格式的选择
RTMP和HLS之间的主要优劣对比如下：
| RTMP | HLS | |
|---|---|---|
| 优点 | 延迟较短，无需多次建连 | 基于分片文件，可以做到无缝切换分辨率，HLS是苹果推出的，iOS支持的很好 |
| 缺点 | 累积延迟，TCP不会丢包，对于服务器CPU占比较高 | 延迟高，20s-30s，不适合互动很强的直播，HLS在建立连接和断开连接时候的握手，挥手会产生消耗 |
既然使用了开源代码，如果使用HLS还不如直接用AVFoundation来的稳定和直接。
正如刚才所说的rtmp虽然可以做到很低的延迟，但是没有办法解决累积延迟，通过多路查找，我们先从官方的issue里面也找到相关问题，然后从播放器参数角度上一定程度的优化了延迟的情况，当然这块也需要推流端以及流媒体服务器的配合才能将延迟优化做到最好。
3. 直播中播放器相关几个主要问题
1. 视频打开速度慢
rtmp直播流打开慢，在avformat_find_stream_info（），这个函数会花去主要的时间，因为要做流的分析拆分等，所以优化可以重点从这个函数入手。
另一种方法比较极端些，自己实现这个函数的功能。根据metadata信息，手动设置解码参数，这个效果比较明显，针对264+aac的rtmp可以考虑这种优化方案。
IJKPlayer相关的优化参数如下:
| 参数 | 优化数值 | 优化点 |
|---|---|---|
| max_queue_size | 10 x 1024 x 1024 | 减小预读取的阀值，这样能更快的打开视频 |
| probsize | 4096 | 探测带第一帧后就会数据返回，如果这个值设置过小，会导致流的信息分析不完整，从而导致丢失流，用于秒开 |
2. 开启硬解码会绿屏
绿边相关问题，硬件解码开启后，OpenGLES的相关渲染对推流过来的尺寸有严格要求，需要2*n,这块需要和推流端一起配合，这样硬件解码才能给用户和手机带来更多的好处。
3. 累积延迟
通过排查，RTMP经过CDN的这一层会有4.0到5.0秒的延迟，我们在IJKPlayer这一层做了对应的参数优化，相关参数如下:
| 参数 | 优化点 |
|---|---|
| skip_loop_filter | Skip loop filtering for selected frames. |
| skip_frame | codec discard all non reference |
优化延迟问题,也可以从推流端入手，将编码器调低GOP，譬如1秒一个GOP，这样延迟也很低，也不用等待，坏处是编码器压缩率会降低，图像质量没有那么好。并且对服务端的压力也很大。
还有一个主要原因是ffplay默认的帧率控制没有追帧的策略，所以网络如果发生抖动，延时会累加。优化策略就是调整帧率控制部分。原则就是要在流畅度和实时性之间得到一个平衡。
4. 断开直播推流后，error回调较慢
这样的问题主要出在，IJKPlayer在播放RTMP中对应的Time-out参数起作用只有在Http这层，如果使用HLS或者FLV的话的确有用，如果是RTMP的话，Time-out参数完全和Http中的不是一个含义,rtmp time-out相关,后续通过咨询，error状态的回调取决于服务端流传递的情况，好的状态下30s内就可以回调error。
2. 总结
断断续续说了很多直播中采坑，这只是个开始，后续慢慢更新。更多IJKPlayer内容可以直接关注官方Issue
网友评论