前几篇文章，实现了音频与视频的单独播放，但将音视频结合到一块之后会出现音频与视频不同步的问题。经研究之后，在此记录下原因、同步原理、以及实现。

一、原理

如果简单的按照音频的采样率与视频的帧率去播放，由于机器运行速度，解码效率等种种造成时间差异的因素影响，很难同步，音视频时间差将会呈现线性增长。所以要做音视频的同步，有三种方式：

• 参考一个外部时钟，将音频与视频同步至此时间。我首先想到这种方式，但是并不好，由于某些生物学的原理，人对声音的变化比较敏感，但是对视觉变化不太敏感。所以频繁的去调整声音的播放会有些刺耳或者杂音吧影响用户体验。（ps：顺便科普生物学知识，自我感觉好高大上^_）。

• 以视频为基准，音频去同步视频的时间。不采用，理由同上。

• 以音频为基准，视频去同步音频的时间。 所以这个办法了。

所以，原理就是以音频时间为基准，判断视频快了还是慢了，从而调整视频速度。其实是一个动态的追赶与等待的过程。

二、一些概念

音视频中都有DTS与PTS。

• DTS ，Decoding Time Stamp，解码时间戳，告诉解码器packet的解码顺序。
• PTS ，Presentation Time Stamp，显示时间戳，指示从packet中解码出来的数据的显示顺序。

音频中二者是相同的，但是视频由于B帧（双向预测）的存在，会造成解码顺序与显示顺序并不相同，也就是视频中DTS与PTS不一定相同。

• 时间基 :看FFmpeg源码

/**
     * This is the fundamental unit of time (in seconds) in terms
     * of which frame timestamps are represented. For fixed-fps content,
     * timebase should be 1/framerate and timestamp increments should be
     * identically 1.
     * This often, but not always is the inverse of the frame rate or field rate
     * for video.
     * - encoding: MUST be set by user.
     * - decoding: the use of this field for decoding is deprecated.
     *             Use framerate instead.
     */
    AVRational time_base;

/**
 * rational number numerator/denominator
 */
typedef struct AVRational{
    int num; ///< numerator
    int den; ///< denominator
} AVRational;

个人理解，其实就是ffmpeg中的用分数表示时间单位，num为分子，den为分母。并且ffmpeg提供了计算方法：

/**
 * Convert rational to double.
 * @param a rational to convert
 * @return (double) a
 */
static inline double av_q2d(AVRational a){
    return a.num / (double) a.den;
}

所以 视频中某帧的显示时间 计算方式为(单位为妙)：

time = pts * av_q2d(time_base);

三、同步代码

1、 音频部分
clock 为音频的播放时长（从开始到当前的时间）

if (packet->pts != AV_NOPTS_VALUE) {
            audio->clock = av_q2d(audio->time_base) * packet->pts;
 }

然后加上此packet中数据需要播放的时间

double time = datalen/((double) 44100 *2 * 2);
audio->clock = audio->clock +time;

datalen为数据长度。采样率为44100，采样位数为16，通道数为2。所以 数据长度 / 每秒字节数。

ps：此处计算方式不是很完美，有很多问题，回头研究在再补上。

二、 视频部分
先定义几个值：

 double  last_play  //上一帧的播放时间
    ,play             //当前帧的播放时间
    , last_delay    // 上一次播放视频的两帧视频间隔时间
    ,delay         //两帧视频间隔时间
    ,audio_clock //音频轨道 实际播放时间
    ,diff   //音频帧与视频帧相差时间
    ,sync_threshold //合理的范围
    ,start_time  //从第一帧开始的绝对时间
    ,pts
    ,actual_delay//真正需要延迟时间
    start_time = av_gettime() / 1000000.0;

//        获取pts
        if ((pts = av_frame_get_best_effort_timestamp(frame)) == AV_NOPTS_VALUE) {
            pts = 0;
        }
        play = pts * av_q2d(vedio->time_base);
//        纠正时间
        play = vedio->synchronize(frame, play);
        delay = play - last_play;
        if (delay <= 0 || delay > 1) {
            delay = last_delay;
        }
        audio_clock = vedio->audio->clock;
        last_delay = delay;
        last_play = play;
//音频与视频的时间差
        diff = vedio->clock - audio_clock;
//        在合理范围外  才会延迟  加快
        sync_threshold = (delay > 0.01 ? 0.01 : delay);

        if (fabs(diff) < 10) {
            if (diff <= -sync_threshold) {
                delay = 0;
            } else if (diff >= sync_threshold) {
                delay = 2 * delay;
            }
        }
        start_time += delay;
        actual_delay = start_time - av_gettime() / 1000000.0;
        if (actual_delay < 0.01) {
            actual_delay = 0.01;
        }

//  休眠时间 ffmpeg 建议这样写  为什么 要这样写 有待研究
        av_usleep(actual_delay * 1000000.0 + 6000);

纠正play （播放时间）的方法 repeat_pict / (2 * fps) 是ffmpeg注释里教的

synchronize(AVFrame *frame, double play) {
    //clock是当前播放的时间位置
    if (play != 0)
        clock=play;
    else //pst为0 则先把pts设为上一帧时间
        play = clock;
    //可能有pts为0 则主动增加clock
    //需要求出扩展延时：
    double repeat_pict = frame->repeat_pict;
    //使用AvCodecContext的而不是stream的
    double frame_delay = av_q2d(codec->time_base);
    //fps 
    double fps = 1 / frame_delay;
    //pts 加上 这个延迟 是显示时间  
    double extra_delay = repeat_pict / (2 * fps);
    double delay = extra_delay + frame_delay;
    clock += delay;
    return play;
}

四、最后

运行同步效果还不错，但 好多地方有待改进。有空再改。接下来研究下 推流

项目链接