问题
项目包含实时音视频模块功能，直接采用的是Agora的教育专版sdk，具体的业务功能包含：1v1私聊、1vN群聊(备注：Agora最多支持17路的音视频会话)，线上经常会收到一些关于音视频卡顿的单子，亟需一轮优化。
分析
通过分析单子，卡顿的问题可以归为两类：性能、网络带宽,关于性能的问题，这篇文章不做展开，如有大神路过，请不吝赐教。对于带宽的问题，不可能让所有的用户直接升级网络套餐，所以问题点就出现怎么在保证通话质量的前提下，减少音视频对带宽的依赖。
优化
优化可以从以下几个维度出发
- 降低直播音视频质量
- 网络环境差时，自动切换画质
- 降级服务
降低直播音视频质量
- 默认的音视频配置
//Video
size: AgoraVideoDimension320x240
frameRate: AgoraVideoFrameRateFps15
bitrate: 200
//Audio
audioProfile: AgoraAudioProfileMusicStandard
scenario: AgoraAudioScenarioEducation
码率与带宽因素强相关，比如以上这个配置，需要网络的上行带宽是 200kbps，但网络一般消耗最多的是下行，下行的话就需要根据接收的媒体流路数来计算了，订阅远端用户的媒体流的并发路数，这个只是视频流的，还有音频流，保守还需要50kbps，假如一个房间里面只有1个老师一个学生，可以理解音视频上行加起来最保守需要250kbps
- 降低码率
选取以下三种码率，进行实际应用对比效果
- AgoraVideoDimension160x120
- AgoraVideoDimension240x180
- AgoraVideoDimension320x240
结论：AgoraVideoDimension240x180的画质体验感与AgoraVideoDimension320x240相差无几，最终选定采用AgoraVideoDimension240x180
3.理论优化值
假设房间1v1教学
| 码率 | 视频上行带宽 | 视频上行带宽 | 总带宽(上下行) |
|---|---|---|---|
| AgoraVideoDimension320x240 | 200 | 50 | 250*2 = 500 |
| AgoraVideoDimension240x180 | 120 | 50 | 170*2 = 340 |
带宽占用降低:160/500 = 32%
网络环境差时，自动切换画质
想法很好，but与Agora沟通之后，被告知目前使用教育专版不支持自动切换，但是又另一种方案叫“双流模式”。Aogra文档
大概的意思是：直播间实时音视频互动过程中，一个用户只需要推一路流，也就是初始化sdk配置的码率，可以称为“大流”。如果开启了双流模式，这个用户除了会推“大流”，还会自动额外发送一路低分辨率、低码率的视频流，称为“小流” 。
特点：
- 大流：分辨率更大、码率更高
- 小流：模糊、尺寸更小
如果给学生开启了双流模式，会额外增加学生的上行带宽的占用，而且学生的网络环境会更加的复杂，双流会带来更大的消耗，所以学生不能开，老师一般都是在公司指定的网络环境中上课，网络相对更加有报障，因此需要教师端开启双流模式。
AgoraVideoDimension240x180码率下的大小流对照表
| 流状态 | 配置 | 视频上行带宽(kbps) | 音频上行带宽(kbps) | 总带宽(kbps) |
|---|---|---|---|---|
| 大流 | 240*180 15 120 | 120 | 50 | 340 |
| 小流 | 120*160 5 45 | 45 | 50 | 190 |
带宽占用降低: 150/340 = 44%
降级服务
提到降级服务，首先想到的就是后端服务降级,当服务器压力剧增的情况下,根据当前业务情况及流量对一些服务和页面有策略的降级,以此释放服务器资源以保证核心任务的正常运行。
这里讲的降级指的是音视频回退机制，详细细节解释参见Agora
这个方案其实在教育客户场景中不太推荐使用，需要做好完善的UI交互，否则有可能回退会导致用户端上报很多工单，用户端会误认为是故障。
同时如果需要使用的话，一般只建议在接收端做处理，老师端作为发送端的网络一般是有保障的，并且需要在触发回退后可以有UI提示给到用户端去识别。
补充
Agora SDK内部有一套非常复杂的算法，会基于单位时间内的上行、下行的网络数据，设备的CPU数据，结合配置的videoprofile数据计算后确认大小流切换以及音视频流回退，且没有提供一个明确的标准，因此在测试的时候，会带来一些难度。
网友评论