美文网首页
视音频编解码基础知识

视音频编解码基础知识

作者: 晓在IT | 来源:发表于2021-09-07 13:41 被阅读0次

    电影文件有不同的格式,用不同的后缀表示:avi,rmvb,mp4,flv,mkv等等,但到底是如何播放的呢?
    视频播放器播放一个互联网上的视频文件,需要经过以下几个步骤:解协议,解封装,解码视音频,视音频同步。如果播放本地文件则不需要解协议,为以下几个步骤:解封装,解码视音频,视音频同步。他们的过程如图所示。


    image.png
    • 解协议的作用,就是封装格式数据。网络传输的时候肯定要对数据做利于网络传输的封包,如rtmp协议,在这里需要先根据协议进行解析一得到flv数据。
    • 解封装的作用,将封装的视频数据分离成音频数据和视频数据,常见的封装的格式有MP4,MKV, RMVB, FLV, AVI等。它的作用就是将已压缩的视频数据和音频数据按照一定的格式放在一起。FLV格式经过解封装后,可以得到H.264的视频编码数据和aac的音频编码数据,一般称为“packet”。
    • 解码的作用,解码就是将音视频压缩编码数据解码成非压缩的音视频的原始数据,解码是最复杂最重要的一个环节,通过解码压缩的视频数据被输出成非压缩的颜色数据。目前常用的音频编码方式是aac,mp3,视频编码格式是H.264,H.265。分析源数据的音视频信息,分别设置对应的音频解码器,视频编码器。对packet分别进行解码后,音频解码获得的数据是PCM(Pulse Code Modulation,脉冲编码调制)采样数据,一般称为“sample”。视频解码获得的数据是一幅YUV或RGB图像数据,一般称为“picture”。
    • 视音频同步的作用,就是根据解封装模块处理过程中获取到的参数信息,同步解码出来的视频和音频数据,并将视频音频数据送至系统的显卡和声卡播放出来。

    相关文章

      网友评论

          本文标题:视音频编解码基础知识

          本文链接:https://www.haomeiwen.com/subject/ynzuwltx.html