AVFoundation详细解析（一）视频合并与混音

回顾

在上一篇GPUImage详细解析（八）视频合并混音介绍了如何使用GPUImage进行视频的合并，以及混音。这次使用AVFoundation框架来实现这个功能。

概念

• AVPlayer 视频播放类，本身不显示视频，需创建一个AVPlayerLayer层，添加到视图
• AVAssetTrack 资源轨道，包括音频轨道和视频轨道
• AVAsset 媒体信息
• AVURLAsset 根据URL路径创建的媒体信息
• AVPlayerItem媒体资源管理对象，管理视频的基本信息和状态
• AVMutableVideoCompositionInstruction 视频操作指令
• AVMutableVideoCompositionLayerInstruction视频轨道操作指令，需要添加到AVMutableVideoCompositionInstruction
• AVMutableAudioMixInputParameters音频操作参数
• AVMutableComposition 包含多个轨道的媒体信息，可以添加、删除轨道
• AVMutableVideoComposition视频操作指令集合

效果

视频效果如下，音频效果可运行demo。

核心思路

分别加载多个AVURLAsset，用GCD保证异步加载完成后回调，调用Editor类配置轨道信息、视频操作指令和音频指令参数。

具体细节

流程图如下

a、配置轨道信息

• 1，计算变化的长度，确保变换的长度不大于最小的视频的长度的一半；

思考1：demo中是如何计算小于一半，为何要小于一半？

• 2，添加两个视频轨道，两个音频轨道；
• 3，在视频索引对应的轨道（%2），插入视频轨道信息和音频轨道信息；

思考2：当多个视频在同一个音轨插入多个信息，如何保证不重叠？

• 4，计算直接播放和变换的时间；

    // 确保最后合并后的视频，变换长度不会超过最小长度的一半
    CMTime transitionDuration = self.transitionDuration;
    for (i = 0; i < clipsCount; i++ ) {
        NSValue *clipTimeRange = [self.clipTimeRanges objectAtIndex:i];
        if (clipTimeRange) {
            CMTime halfClipDuration = [clipTimeRange CMTimeRangeValue].duration;
            halfClipDuration.timescale *= 2;
            transitionDuration = CMTimeMinimum(transitionDuration, halfClipDuration);
        }
    }
    AVMutableCompositionTrack *compositionVideoTracks[2];
    AVMutableCompositionTrack *compositionAudioTracks[2];
    compositionVideoTracks[0] = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid]; // 添加视频轨道0
    compositionVideoTracks[1] = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid]; // 添加视频轨道1
    compositionAudioTracks[0] = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid]; // 添加音频轨道0
    compositionAudioTracks[1] = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid]; // 添加音频轨道1

b、配置视频操作指令

• 1，新建视频操作指令集合；
• 2，根据视频所在对应的轨道（%2），新建视频操作指令passThroughInstruction，长度为passThroughTimeRanges，同时定义passThroughLayer直接播放的视频轨道操作指令，并设置passThroughLayer为passThroughInstruction的视频轨道操作指令集合；
• 3，根据视频所在对应轨道，新建视频操作指令transitionInstruction，长度为transitionTimeRanges，同时根据轨道定义视频轨道操作指令fromLayer和toLayer，并设置fromLayer和toLayer的变换方式与时间；
• 4，把passThroughInstruction和transitionInstruction添加到视频指令集合；

        AVMutableVideoCompositionInstruction *passThroughInstruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction]; // 新建指令
        passThroughInstruction.timeRange = passThroughTimeRanges[i]; // 直接播放
        AVMutableVideoCompositionLayerInstruction *passThroughLayer = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:compositionVideoTracks[alternatingIndex]]; // 视频轨道操作指令
        
        passThroughInstruction.layerInstructions = [NSArray arrayWithObject:passThroughLayer];
        [instructions addObject:passThroughInstruction]; // 添加到指令集合
        
        if (i+1 < clipsCount) { // 不是最后一个
            AVMutableVideoCompositionInstruction *transitionInstruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction]; // 新建指令
            transitionInstruction.timeRange = transitionTimeRanges[i]; // 变换时间
            AVMutableVideoCompositionLayerInstruction *fromLayer = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:compositionVideoTracks[alternatingIndex]]; // 视频轨道操作指令
            AVMutableVideoCompositionLayerInstruction *toLayer = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:compositionVideoTracks[1-alternatingIndex]]; // 新的轨道指令
            // 1 dao 0
            [fromLayer setOpacityRampFromStartOpacity:1.0 toEndOpacity:0.0 timeRange:transitionTimeRanges[i]];
            // 目的轨道，从0到1
            [toLayer setOpacityRampFromStartOpacity:0.0 toEndOpacity:1.0 timeRange:transitionTimeRanges[i]];
            
            transitionInstruction.layerInstructions = [NSArray arrayWithObjects:toLayer, fromLayer, nil];
            [instructions addObject:transitionInstruction];
        }

c、配置音频轨道参数

• 1，新建音频轨道参数集合；
• 2，根据视频所在索引，新建当前音轨的参数trackMix1，设置变换时间内音量从1.0到0.0；
• 3，根据视频所在索引，新建另外一条音轨的参数trackMix2，设置变换时间内音量从0.0到1.0；设置直接播放时间内音量一直为1.0；
• 4，把参数trackMix1和trackMix2添加到音频轨道参数集合；

AVMutableAudioMixInputParameters *trackMix1 = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:compositionAudioTracks[alternatingIndex]]; // 音轨0的参数
[trackMix1 setVolumeRampFromStartVolume:1.0 toEndVolume:0.0 timeRange:transitionTimeRanges[i]]; // 音轨0，变换期间音量从1.0到0.0
[trackMixArray addObject:trackMix1];
AVMutableAudioMixInputParameters *trackMix2 = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:compositionAudioTracks[1 - alternatingIndex]]; // 音轨1的参数
[trackMix2 setVolumeRampFromStartVolume:0.0 toEndVolume:1.0 timeRange:transitionTimeRanges[i]]; // 变换期间音量从0.0到1.0           
[trackMixArray addObject:trackMix2];

总结

AVPlayer通过KVO监听rate属性，status属性，用notification来监听播放完成；
AVPlayer和AVPlayerItem的使用不复杂，解析集中在SimpleEditor类如何配置轨道信息和音视频操作指令。
代码地址可以点这里。

思考

思考1

通过timescale*2，再用CMTimeMinimum；处于中间的视频要经历两次变换，故而变换的长度不能大于最小视频长度的一半；

思考2

音轨插入的函数有开始点和持续时间，只要保证区间不重叠，音频就不会重叠；