影视图形的发展史本质就是图形显示技术的迭代史。和游戏领域一样，在影视作品中，实时渲染同样是图像技术的最重要的应用体现。对电影行业来说，实时渲染一直都是电影拍摄前期预览的重要组成。而其效果将直接影响到想法传递的准确性，间接影响到整个制作流程的工作量。而且，随着实时渲染的效果越来越好，电影从业人员正尝试将实时渲染引擎加入到后期制作的工作流程当中。而对电视行业来说，如今我们很熟悉的虚拟演播室，就是实时渲染的成熟运用之一。近几年特别流行的AR/VR/MR，其实早已经存在于标准工作流程在广电行业服务了十几二十年。
图形显示技术的飞速发展，导致在影视行业产生持续的变革。电视虚拟演播室的研发厂商，早年在实时渲染中投入大量的研发资源开发渲染引擎，创造自己的工作流程。当这些厂商闭门造车，占山（电视台）为王，相互争斗时，游戏渲染引擎凭借巨大的用户量为财力支撑，沉淀了几十年的图形技术，这两年突然跨界打击（以用户数量来比较，也可以说降维打击），插足于影视，建筑等多个领域。当电视观众在电视上见到逼真的游戏引擎带来的渲染效果时，那些采用旧渲染技术的虚拟演播室产品，已然沦为过气的明星，在舞台上尴尬地不知何去何从。而那些虚拟演播室厂商，对船坚炮利突然来犯的外敌，并没有时间和财力“师夷长技”。能做的唯有死地求生，比别人先抱上外敌的大腿。
所以，Jin在上周参加BIRTV，深刻体会到技术对产品的洗牌。每个虚拟演播室的厂商，争相捆绑游戏引擎unreal到自己的产品线中。虽然unreal引擎效果出色，但厂商们不会完全采用unreal而放弃自己技术过气的产品，这意味着放弃自己经营多年的产品工作流程。谁都不愿意市场重新归零，跟大批新玩家站在同一起跑线上。所以，所有厂商无奈地采用一种方案：双引擎，其实是两套系统硬生生塞在一起。听着牛逼，其实挺悲凉的。
说完现状，我们展望一下未来。最近关注显示技术的朋友，一定不会错过Nvidia的大新闻：发布了图灵架构的RTX平台显卡，包含两项最主要的黑科技：硬件实时的光线追踪和人工智能的加持。
RTX新特性
光线追踪一直是计算机图形技术所探求的“圣杯”。这项于1979年就已经提出的算法，一直广泛应用于非实时的图形渲染中。其主要概念就是，模拟从观察者眼睛向每个像素点发出射线，如果遇到物体遮挡，就根据物体表面的折射反射属性，相应改变射线方向。这样递归几次，产生最终图像。相对于光线追踪，传统渲染方法称为光栅化渲染，下图就是光栅化和光线追踪的最明显区别：
光线追踪的优点是能让场景渲染得更加逼真，主要是因为以下四点：
阴影：在真实环境里，由于天光的漫射，阴影离投影物体越近越清楚，越远越模。从对比图中可以看到，光线追踪的阴影能真实的反映出阴影的这种特性，而无光线追踪则阴影比较生硬和平均。
关于阴影，还有一个特性叫做“环境光遮蔽”（Ambient Occlusion），指的是物体和物体相交或靠近的时候遮挡周围漫反射光线的效果，简称AO。AO在近两年游戏中都有存在。但是光线追踪使AO效果更真实，下图就是光线追踪AO的区别：
第一张图是游戏中常用的SSAO效果，好像只是简单将物体描边。而光线追踪的AO则更自然，AO受到光线的影响。
反射和折射：基于光线追踪算法的特性，天然能很好的表现反射和折射效果。下图左边为普通实时渲染效果，右边是RTX的光线追踪效果。我们可以看到玻璃球折射率能完美的表现出来。
光线追踪在非实时渲染中的开销巨大，在Maya中，基于场景复杂度，开与不开光线追踪可相差数百倍的渲染时间。随着显卡硬件的提升和软件渲染优化，我们已经能在实时渲染中体验到光线追踪。而这次RTX将光线追踪加入到GPU渲染管道，据说可以加快6倍的渲染时间。但是，由于硬件性能的限制，即使是RTX，实时渲染暂时还只能选择性局部地运用。
下面是TRX光线追踪实时渲染的技术展示，我们可以体会到渲染质量的飞跃。
接下来是名为NGX的深度学习技术。通过运用NGX，你可以将AI图形增强技术运用到游戏等实时渲染中。NVidia介绍了三种运用：
AI InPainting：类似于Photoshop的内容感知功能，InPainting能将图像或视频中的一部分内容抹去，AI自动帮你填充内容。比如说可以用InPainting抹去建筑物上的电线，而AI能预测没有电线应该是什么背景，然后帮你填充。
AI Slow-Mo：该技术能将原本低帧率的视频，计算填充为顺滑的高帧率慢动作视频。
AI Up-Res: 能将视频或图片以2倍，4倍或8倍无锯齿放大，AI将计算填充所需像素。与现有滤镜算法不同的是，AI能估算哪些地方该清楚，哪些地方是景深效果，应该模糊。
Deep Learning Super Sample (DLSS)：现有去锯齿方法无非就是两种，增加采样率或者物体边界颜色融合。但前者是资源占用过大，后者会损失一部分细节。而DLSS在AI的辅助下，能获得高质量的抗锯齿的同时，比其他算法更自然的渲染效果。
相对光线追踪，我更期待深度学习的功能。有效地运用AI，能减少硬件性能的瓶颈。对解放生产力，提高生产效率有本质的影响。
花渲染HD的时间就能出4K的图，想想就激动呢。
网友评论