守得云开见日出——危机之下的音视频技术驱动产品创新

Photo by Julia M Cameron from Pexels

在全球疫情的今天，大量线上服务短时间内诞生或极速扩张。身处在云计算的时代，如何用远超以往的基础音视频云服务快速构建海量稳定的在线应用，以应对一场全人类的危机就显得尤为重要。本次LiveVideoStackCon 2020线上峰会我们邀请到了腾讯云音视频通信业务总经理李郁韬，他将从视频会议、在线教育和在线娱乐等典型场景来看音视频技术推动下的产品创新和机遇。

文 / 李郁韬

整理 / LiveVideoStack

1. 疫情之下，云计算及音视频通信云助力众多垂直场景落地

守得云开见日出——危机之下的音视频技术驱动产品创新

疫情之下，各行各业都发生了巨大的变化，其核心本质在于社会活动从线下变成了线上，根据市场调研报告来看，线上应用的用户规模增长最多的行业是效率办公，其次是短视频、在线教育、娱乐应用等。同时，这些应用的用户在线时长也呈现出井喷状，由于复工复课的需求，在线教育迎来了较大的需求增长。

守得云开见日出——危机之下的音视频技术驱动产品创新

从音视频行业的整体产业链来看，随着疫情的发展，越来越多的线上应用将音视频作为常态工具或标准配置。

大家较为熟知的互联网应用领域在疫情期间迎来比较正常的用户增长。由于复课的需要，各大在线教育相关应用都迎来了用户和在线时长的爆发式增长，同时还有很多垂直行业由于各种压力，开始在各种平台进行电商带货。企业无法进行线下宣传活动，也纷纷搬到线上进行，因此企业直播也迎来了很大的发展机遇，包括金融机构的在线培训等。

这些行业的发展和应用的催熟，都需要依赖底层基础设施的成熟，利用云计算、音视频通讯等技术，更多垂直行业才能快速将线下内容转移到线上进行，以适应在新的危机之下发现新的发展之路。

下面我将分别从不同的场景分享一些应用和技术的发展趋势。

2. 停课不停学，在线教育迎来新机遇

守得云开见日出——危机之下的音视频技术驱动产品创新

疫情期间，在停课不停学的政策指导下，在线教育成为了教学的唯一手段。

2.1 腾讯课堂一周上线极速版

守得云开见日出——危机之下的音视频技术驱动产品创新

在疫情发展最初的一周内，根据用户迫切的需求，腾讯课堂临危受命，快速上线极速版。其核心能力是基于音视频的实时通讯以及大房间直播的应用。在上线的过程中，我们发现很多音视频领域的新能力得到了广泛应用，例如腾讯云的超低延时直播—— 快直播产品，它可以帮助腾讯课堂在短时间内极速扩容，以支持百万级师生同时在线的低延时课堂需求。

2.2 超低延时直播技术发展

守得云开见日出——危机之下的音视频技术驱动产品创新

对于直播延时技术，直播延时需要越来越短已经达成共识，观众和主播端可以有越来越多交互的可能性。

海外的一些厂商会主推HLS、CMAF等技术，其本质都是基于HTTP编码快，传输切片更小，一般延时在2-3秒左右；国内最初的直播技术栈始于RTMP/FLV，目前RTMP/FLV成为了一个标准，其机制是通过流式传输，再通过协议栈不断优化，目前的延时在1-2秒左右。

HLS、CMAF、RTMP/FLV这三种技术都存在自身天花板的局限，纵观业界另一个领域：实时音视频领域，WebRTC的延时可以做到很低，但其不足的是直播房间人数会受到限制。

腾讯云利用WebRTC技术推出的快直播应用，可以将直播延时降低到1秒以内，目前在其他一些产品上也实现了超低延时的需求。

未来随着直播技术的发展，将会出现越来越多低延时交互场景的需求，WebRTC有可能成为新一代低延时直播的标准。

2.3 停课不停学，站在“云”的肩膀上

守得云开见日出——危机之下的音视频技术驱动产品创新

从技术的发展来看，上图中最下方的标准直播，从推流的接入-转码-中间处理-CDN分发，整体延时在3-10秒，这套标准直播流程是目前主流的直播技术。

腾讯云通过WebRTC的代理实现了快直播应用，其本质是将直播的后半段用WebRTC协议和JitterBuffer的特性替换RTMP/FLV等推拉流的方式，这样做的优点在于可以支持H5播放器，支持低延时准实时音视频的应用，同时提供WebRTC的SDK可以集成在观众端的APP上，以实现与WebRTC浏览器同样的体验效果。

图中最上层是基于RTC架构，存在一定人数上限的低延时大型直播的技术方案，在强互动场景得到了广泛的应用。

以上三种方案未来可以根据不同的需求选择对应的解决方案。

2.4 腾讯课堂“极速版”效果

守得云开见日出——危机之下的音视频技术驱动产品创新

腾讯课堂“极速版”应用到快直播架构，受到很多学生和老师的喜爱，作为主推线路使用。据反馈，腾讯课堂在使用过程中的平均延时在500毫秒左右，因此在疫情期间，快直播用量得到了百倍增长，产品依赖智能选路的调度系统，实现了高稳定性和高容灾能力的低延时直播系统需求。

3. 在线协同，将改变企业工作方式

守得云开见日出——危机之下的音视频技术驱动产品创新

在疫情期间，视频会议得到了很大的发展，传统的视频会议已经满足不了广大用户的接入需求，有很多基于互联网应用的新型轻量级的视频会议纷纷出现并迎来很大用户增长。

3.1 腾讯会议高速发展的背后

守得云开见日出——危机之下的音视频技术驱动产品创新

腾讯会议产品推出两个月的时间，日活账户数量过千万，为了抗击疫情，腾讯会议面向全国免费提供300方会议能力，作为底层支撑平台，腾讯云不断地进行扩容和技术支持，满足了疫情期间对于视频办公的需求。

正是基于腾讯云多年在音视频技术方面的积累，才能在短时间内推出这款高品质产品。目前腾讯会议的国际版—VooV Meeting已经在全球100多个国家和地区上线，架起了中国企业与外国企业之间沟通的桥梁。

3.2 腾讯会议针对视频和音频的优化

守得云开见日出——危机之下的音视频技术驱动产品创新

对于腾讯会议隐藏的底层技术优化，在很多音频、视频的处理方面都优化到了极致。

3.2.1 音频领域的超分-带宽扩展

守得云开见日出——危机之下的音视频技术驱动产品创新

音频是视频会议最重要的组成，也是最核心优化的点，相比于PSTN的音质，腾讯会议无论从音质或是去噪部分，都应用了黑科技元素，这使得腾讯会议的音频质量有很大的提升。同时，腾讯云将算法压缩到最小，以便在客户端完成部署。

3.2.2 降噪语音增强

守得云开见日出——危机之下的音视频技术驱动产品创新

在降噪方面，针对不同场景进行不同噪声消除，同时结合了深度学习算法和传统信号处理的算法，将PESQ提升0.3-0.5，STOI提升0.1-0.2，在特定场景下降噪能力得到了很大的提升。

3.3 超强网络适应能力及流控

守得云开见日出——危机之下的音视频技术驱动产品创新

关于视频会议下的弱网问题，除了传统处理方式之外，腾讯会议还对音频进行了更多的优化，使用带内FEC+PLC的丢包恢复技术，在弱网情况下，音频部分得到了较大提升，在视频卡顿的情况下可以做到在音频丢包80%的情况下，语音依然自然流畅。同时应用SVC技术，视频端质量可以适配不同网络的终端，让不同能力的终端可以享受到能力上限的体验感受。

3.3.1 配套的质量监控有助于产品质量快速提升

守得云开见日出——危机之下的音视频技术驱动产品创新

除了局部技术的优化之外，腾讯会议还有很多配套的质量监控手段，端到端的全链路监控运营工具可以帮助用户在平常处理较常见的异常情况，通过异常反馈不断优化接入点或调度的能力，快速提升产品质量。

3.3.2 微信小程序，让会议足够轻

守得云开见日出——危机之下的音视频技术驱动产品创新

微信小程序是腾讯会议较为亮点的入口工具，腾讯会议的传播和入口体验都较为加分，目前在微信小程序中可以使用live-pusher或live-player标签调用RTC的mod，即可在微信小程序中实现准RTC服务，腾讯会议同样应用了该能力，通过小程序让用户更方便的接入。除此以外，小程序因为混流性能原因无法实现本地更多方的音频和视频的接入，腾讯会议通过云端MCU和混音引擎把音频与视频在云端进行混合处理再推送到小程序，使得性能与网络带宽都得到很大提升，从而保证小程序入会体验达到普通终端要求。

3.3.3 腾讯云实时音视频通信

守得云开见日出——危机之下的音视频技术驱动产品创新

腾讯云实时音视频通信产品在疫情期间得到了很大发展，例如腾讯会议，在一周内完成紧急扩容100万核的巨量扩容体系，最高峰突破1000万PCU，日通话分钟数突破30亿。

3.4 视频制作在线化，足不出户协同创作

守得云开见日出——危机之下的音视频技术驱动产品创新

疫情期间有很多视频创作者以及直播工作者无法正常线下办公，由于腾讯云丰厚的前期技术积累，这些技术在腾讯云的云导播台、云剪辑等都得到了很广泛的应用。

3.4.1 腾讯云导播解决演播在线协同

守得云开见日出——危机之下的音视频技术驱动产品创新

由于复课需求，很多在线教育机构需要将优质课程资源分发给各大视频平台，通过腾讯云导播项目可以解决优质资源快速分发等问题。可以在云导播平台实现音视频轨道的切换、特效叠加等效果，未来也会向智能化和多人协同的方向发展。

守得云开见日出——危机之下的音视频技术驱动产品创新

除此之外，腾讯云还推出了云剪服务，在疫情期间这项服务也得到广泛应用，可实现轻量化的Web在线编辑，可以实现较为初级的处理能力，未来也会增加更加智能化和多人协作能力。

3.4.2 腾讯云剪解决方案在线视频制作的智能化和协作需求

守得云开见日出——危机之下的音视频技术驱动产品创新

腾讯云剪目前已经在和很多公司合作，例如云剪支持SaaS的“一键换皮”，一些客户希望可以完整部署云剪的SaaS产品在自己的专有云上，可以使用”一键换皮”的方式更换logo、颜色、风格模板等。

另外云剪也支持公有云Paas方案，目前与虎牙的合作，提供了内嵌的腾讯云剪编辑器到虎牙主播助手中，支持主播在直播结束后可以快速编辑视频进一步分发。

4. 直播带货正当时

守得云开见日出——危机之下的音视频技术驱动产品创新

由于疫情的原因，越来越多的网红大V开始接触直播带货，同时越来越多的线下电商平台以及微信内小型电商平台都开始将直播作为基础功能，搬进其应用中。

4.1 腾讯云直播带货产品框架图

守得云开见日出——危机之下的音视频技术驱动产品创新

腾讯提供的小程序云直播插件在疫情期间得到了非常广泛的应用，可以支持目前微信生态中很多电商的小程序，可以使用小程序插件的方式集成直播功能，进一步结合IM能力，即可快速构建小程序直播应用，实现完整的电商带货能力。

4.2 腾讯云小程序直播插件在电商场景的应用

守得云开见日出——危机之下的音视频技术驱动产品创新

直播带货场景在小程序的实现背后有很多的技术绑定：

• 场景化的定制方案：将腾讯云的IM产品和直播、线上点赞、优惠券推送等功能集成在一起，实现完整的场景定制方案。
• 支持多平台直播互通：不仅在微信小程序内可以打开和关闭直播观看，同样也可以与APP进行互通，因此，很多电商平台就可以轻松构建APP+小程序的一体化电商直播。
• 基于微信生态高效传播与转化：很多电商应用通过群组和朋友圈的社交裂变，可以很便捷的实现小程序直播的快速传播。

4.3 腾讯视频云小程序直播插件

守得云开见日出——危机之下的音视频技术驱动产品创新

据统计，小程序电商直播方案相较于普通APP，可以带来2倍以上的转化率提升，用户的流量和使用频率都更大，活跃用户次日留存率提升将近35%，在小程序中以轻量化方式构建直播带货，下单速度可以提升将近2.28倍。

5. 沉浸式多媒体技术

守得云开见日出——危机之下的音视频技术驱动产品创新

沉浸式多媒体技术在疫情期间迎来了在线营销的新机遇，疫情期间无法实现车、房等大件的线下购物，因此腾讯云利用沉浸式多媒体技术将其搬到了线上。

5.1 线上沉浸式营销新场景

守得云开见日出——危机之下的音视频技术驱动产品创新

如上图是沉浸式全景空间体验结合营销场景的介绍，在展会中基于点云技术之上的沉浸式多媒体的应用，再结合线上文字和视频解说，可以给用户带来身临其境的观展体验。另外，可以通过音视频在线通讯能力，实现真人客服讲解。

与腾讯云合作的贝壳如视，在疫情期间实现云代看应用，其用户转化率和使用时长比传统图文介绍效率高很多。

线上汽车销售场景，全景车内和3D外观演示，再叠加图文介绍和实时音视频通信，实现真人在线销售。

5.2 沉浸式媒体解决方案的关键技术

守得云开见日出——危机之下的音视频技术驱动产品创新

关于沉浸式媒体解决方案的关键技术介绍是必不可少的，在采集端，目前点云数据的采集仍依赖于传统相机的采集，越来越多的手机、ipad也开始支持点云的拍摄和采集。后台处理涉及空间建模的拼接、空间深度推算、物体三维建模等专业的沉浸式多媒体算法内容。

基于腾讯云强大的音视频及通讯能力，快速接入沉浸式代看、沉浸式客服坐席、沉浸式视频讲解、沉浸式实时通讯等营销能力，可以快速实现相应功能。

5.3 沉浸式媒体解决方案主要解决的技术问题

守得云开见日出——危机之下的音视频技术驱动产品创新

腾讯云和腾讯多媒体实验室也做了很多技术储备和研究，点云涉及海量数据及计算问题，例如大量点的集合、6DOF数据和静、动态的千万级的数据量，如何利用这些数据实现高维数据生成、三维场景重建以及相关数据的存储和管理等，都是我们主要的技术课题。

6. 在线娱乐需求井喷下的云游戏发展

守得云开见日出——危机之下的音视频技术驱动产品创新

疫情期间，用户都是居家隔离状态，以致于游戏需求呈现井喷式增长。因此，云游戏发展迎来了历史性拐点。

6.1 云游戏在多端开始应用落地

守得云开见日出——危机之下的音视频技术驱动产品创新

如上图是一些腾讯云云游戏的应用和进展，目前已经对很多设备完成了很好的适配，例如将PC端的网游搬到手机端实现，在TV端、Web端也已经完成了对很多网游大作的适配。

守得云开见日出——危机之下的音视频技术驱动产品创新

云游戏的发展中，底层计算技术具有不可忽视的重要作用，包括大计算量的画面渲染和编解码，需要使用到GPU虚拟化技术，利用底层服务引擎进行游戏适配，以及大规模的性能提升、数据计算等的应用。

边缘计算也是不可或缺的技术，云游戏的要求是低延时甚至超低延时，未来在公有云上的边缘计算，甚至5G时代的运营商边缘EC点，都需要使用底层资源。在此之上构建的容器化的平台、云游戏引擎以及音视频的编解码、渲染等，才可实现高性能、低延时的云游戏。

传输部分，低延时音视频通讯能力非常重要，需要使用到资源的调度管理、高性能的JS-API/SDK集成技术。

6.2 Tencent-RTC技术

守得云开见日出——危机之下的音视频技术驱动产品创新

腾讯云的Tencent-RTC技术在云游戏中保证了低时延，高质量的视频展示效果。

6.3 云游戏未来发展趋势

守得云开见日出——危机之下的音视频技术驱动产品创新

云游戏未来的发展趋势：

1. 云游戏体验趋向于原生化，精品的原生云游戏诞生是标志着云游戏技术的成熟。
2. 趋向底层应用定制化，过去的云游戏使用的是通用型计算服务器，未来随着云游戏的发展，将会诞生越来越多的定制化专用云游戏服务器。
3. 云游戏会结合越来越多的场景，起到流量分发的作用，通过云游戏的试玩带动原生游戏的下载，将云游戏与直播、短视频、广告场景无缝结合

腾讯云希望可以通过一体化的云游戏平台帮助客户高效、低成本获取云游戏技术能力，让云游戏成为未来游戏的基础设施。

7. 腾讯云视频产品全景图

守得云开见日出——危机之下的音视频技术驱动产品创新

在疫情之下，危机催熟了在线行业的应用，很多应用都是由音视频技术的驱动，目前腾讯云视频的产品已经涵盖了方方面面，背后依赖的是腾讯云视频技术以及上层一体化的解决方案。