采集
传感器收集信息，采集分倍率和帧率，帧率大于用户设置的帧率，图像可以采集白平衡等参数。
预处理，原始图像不满足需求，对图像进行基本操作。
压缩：送给网络编码器进行压缩，网络是有限制的。可以使我们的视频流和码流更顺畅的传输。
VP8,VP9是浏览器端使用的，H264，H265是标准的压缩算法。根据压缩的码流，分包进行RTP包，进行排序接收端，根据包序号进行组包，恢复成编码码流，对码流进行解压缩，经过前处理后得到的图像。
码流进行排序，达到序号进行组包。对码流进行解压缩。
根据编码算法，进行解压。
特效需求：网络带宽限制进行特殊处理，利用AI进行更多的功能
最后根据后处理，呈现给用户，达到理想的效果。并解耦成三个模块
1.设备模块 --- 进行高度适配的
2.网络模块，根据时间戳和时间差，估计网络带宽大小。同一个设备上行下行的带宽也不太一样。码率比实际带宽大，就会出现延迟变大和卡顿现象。拥塞控制。带宽坞结果。网络丢包，解码器码流不完整，丢包率影响视频体验，按一定的概率重新发送网络包，通过增加发送端数据冗余的方式，提升抗丢包能力。估计网络带宽方式，每个包都一个时间戳，给发包端反馈一个信息，根据信息时间差丢包率，根据网络带宽大小，RTP时间就会很长，给解码器更低的码率。
编码码率----根据带宽码率进行解码，更加流畅，码率超过带宽过多，超过过多就会造成网络拥塞，编码码率太低，会造成带宽浪费。按照预期码率进行，成为码率控制。编码智能化程度，在CPU上叫软编，码控好速度慢。在GPU上叫硬编，速度快码控不好，低分倍率下考虑软编，高分倍率下考虑硬编，从而提高稳定性。编码的智能化，纹理复杂区域，视觉就能提升。人脸图像，感兴趣区域设定更高的权重，称为感知编码。H264和H265使编码更加清晰，降低图像分贝率和帧率，保证不同码位上都有清晰的图像。
网友评论