美文网首页
相关知识点01

相关知识点01

作者: 沪漂意哥哥 | 来源:发表于2022-02-17 14:13 被阅读0次

    一.I\P\B帧

    I 帧:帧内编码帧 ,一个图像经过压缩后的产物,包含一幅完整的图像信息;

    P 帧: 前向预测编码帧,利用之前的I帧或P帧进行预测编码

    B 帧: 双向预测内插编码帧 ,利用之前和之后的I帧或P帧进行双向预测编码。

    二. DTS和PTS

    PTS:Presentation Time Stamp。显示时间戳,表示显示顺序。

    DTS:Decode Time Stamp。解码时间戳,表示解码顺序

    在没有B帧存在的情况下DTS的顺序和PTS的顺序应该是一样的。

    音频中DTS和PTS是相同的,视频中由于可能存在B帧,含B帧的视频PTS与DTS不同。

    DTS和PTS

    三. 音视频同步

    如果音频与视频各播各的,由于机器运行速度,解码效率等种种造成时间差异的因素影响,即使最初音视频是基本同步的,也会随着时间的流逝逐渐失去同步。所以,必须要采用一定的同步策略,不断对音视频的时间差作校正,使图像显示与声音播放总体保持一致。

    音视频的同步,有三种方式:

    1、参考一个外部时钟,将音频与视频同步至此时间;

    2、以视频为基准,音频去同步视频的时间;

    3、以音频为基准,视频去同步音频的时间。

    由于人对声音的变化相对于视觉更加敏感。所以频繁的去调整声音的播放会感觉刺耳或杂音影响用户体验。所以一般情况下,播放器使用第三种同步方式。

    四. 视频同步到音频

    1、根据音频PTS计算音频播放时钟—clock;

    2、根据视频PTS计算视频播放时钟;

    3、音频正常播放,视频播放前比较音频clock,计算延迟时间。

    音频:

          clock = frame->pts * av_q2d(time_base);

    视频:

          clock = frame->best_effort_timestamp * av_q2d(time_base);

    延迟时间:

            代码

    相关文章

      网友评论

          本文标题:相关知识点01

          本文链接:https://www.haomeiwen.com/subject/nscslrtx.html