美文网首页▌☞ ·····大学♨青春····· ☜ ▌iOS 控件封装iOS开发.
iOS音频视频的播放、剪辑、合成(仿秒拍给视频添加背景音乐)

iOS音频视频的播放、剪辑、合成(仿秒拍给视频添加背景音乐)

作者: IOSMan | 来源:发表于2017-03-06 16:25 被阅读4193次

分析:
这是一个仿秒拍音视频合成的demo。打开秒拍并拍摄一段视频,然后进入编辑界面,给拍摄的视频添加背景音乐,可以选择任何你喜欢的音乐作为背景音乐,还可以调节背景音乐的音量和拍摄视频的原始音量,来进行合成,但是音视频的合成是需要时间的,而滑动调节音量和选择音乐没有卡顿,所以推测在这个编辑界面并没有进行合成操作,只是音视频一起循环播放;而合成操作是在点击发布按钮后才进行的。

分析完毕,实现功能:
1,根据拍摄视频的长短来剪辑音频的长度
2,实现音视频的同步循环播放
3,音视频合成

1、剪辑音频

根据时间生成输出路径

#pragma mark - 输出路径
+ (NSURL *)exporterPath {
    
    NSInteger nowInter = (long)[[NSDate date] timeIntervalSince1970];
    NSString *fileName = [NSString stringWithFormat:@"output%ld.mp4",(long)nowInter];
    
    NSString *documentsDirectory = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES).lastObject;
   
    NSString *outputFilePath =[documentsDirectory stringByAppendingPathComponent:fileName];
    
    if([[NSFileManager defaultManager]fileExistsAtPath:outputFilePath]){
        
        [[NSFileManager defaultManager]removeItemAtPath:outputFilePath error:nil];
    }
    
    return [NSURL fileURLWithPath:outputFilePath];
}

根据拍摄视频的长短,来剪辑音频的长度,从而实现音视频同步播放

#pragma mark - 音视频剪辑,如果是视频(mp4格式)剪辑把下面的两个地方类型换为AVFileTypeAppleM4V
/**
 音视频剪辑

 @param assetURL  音视频资源路径
 @param startTime 开始剪辑的时间
 @param endTime 结束剪辑的时间
 @param completionHandle 剪辑完成后的回调
 */
+ (void)cutAudioVideoResourcePath:(NSURL *)assetURL startTime:(CGFloat)startTime endTime:(CGFloat)endTime complition:(void (^)(NSURL *outputPath,BOOL isSucceed)) completionHandle{
    //    素材
    AVAsset *asset = [AVAsset assetWithURL:assetURL];

    //    导出素材
    AVAssetExportSession *exporter = [[AVAssetExportSession alloc]initWithAsset:asset presetName:AVAssetExportPresetAppleM4A];
    
    //剪辑(设置导出的时间段)
    CMTime start = CMTimeMakeWithSeconds(startTime, asset.duration.timescale);
    CMTime duration = CMTimeMakeWithSeconds(endTime - startTime,asset.duration.timescale);
    exporter.timeRange = CMTimeRangeMake(start, duration);
    
//    输出路径
    NSURL *outputPath = [self exporterPath];
    exporter.outputURL = [self exporterPath];
    
//    输出格式
    exporter.outputFileType = AVFileTypeAppleM4A;
    
    exporter.shouldOptimizeForNetworkUse= YES;
    
//    合成后的回调
    [exporter exportAsynchronouslyWithCompletionHandler:^{
        switch ([exporter status]) {
            case AVAssetExportSessionStatusFailed: {
                NSLog(@"合成失败:%@",[[exporter error] description]);
                completionHandle(outputPath,NO);
            } break;
            case AVAssetExportSessionStatusCancelled: {
                completionHandle(outputPath,NO);
            } break;
            case AVAssetExportSessionStatusCompleted: {
                completionHandle(outputPath,YES);
            } break;
            default: {
                completionHandle(outputPath,NO);
            } break;
        }
    }];
}

2、音视频的循环同步播放

下面注释已经很清楚了,不多说了

//    添加播放层
    UIView *playView = [[UIView alloc]initWithFrame:CGRectMake(0, 0, self.view.bounds.size.width, 400)];
    [self.view addSubview:playView];
    
//    将资源路径添加到AVPlayerItem上
    AVPlayerItem *playItem = [[AVPlayerItem alloc]initWithURL:[self filePathName:@"abc.mp4"]];
    
//    AVPlayer播放需要添加AVPlayerItem
    self.player = [[AVPlayer alloc]initWithPlayerItem:playItem];
    self.player.volume = 0.5;//默认音量设置为0.5,取值范围0-1
    
//    播放视频需要在AVPlayerLayer上进行显示
    AVPlayerLayer *playerLayer = [AVPlayerLayer playerLayerWithPlayer:self.player];
    playerLayer.frame = playView.frame;//必须要设置playerLayer的frame
    [playView.layer addSublayer:playerLayer];//将AVPlayerLayer添加到播放层的layer上
    
//    添加一个循环播放的通知
    [[NSNotificationCenter defaultCenter]addObserver:self selector:@selector(repeatPlay) name:AVPlayerItemDidPlayToEndTimeNotification object:nil];
    
    
//    背景音乐剪辑播放
//    计算视频的长度,从而进行相应的音频剪辑
    AVAsset *asset = [AVAsset assetWithURL:[self filePathName:@"abc.mp4"]];
    CMTime duration = asset.duration;
    CGFloat videoDuration = duration.value / (float)duration.timescale;
    NSLog(@"%f",videoDuration);
    
//    音频剪辑,调用第一步的音频剪辑工具类
    typeof(self) weakSelf = self;
    [EditAudioVideo cutAudioVideoResourcePath:[self filePathName:@"123.mp3"] startTime:0 endTime:videoDuration complition:^(NSURL *outputPath, BOOL isSucceed) {
        
//        音频剪辑成功后,拿到剪辑后的音频路径
        NSError *error;
        weakSelf.BGMPlayer = [[AVAudioPlayer alloc]initWithContentsOfURL:outputPath error:&error];
        
        if (error == nil) {
            weakSelf.BGMPlayer.numberOfLoops = -1;//循环播放
            weakSelf.BGMPlayer.volume = 0.5;
            
            [weakSelf.BGMPlayer prepareToPlay];//预先加载音频到内存,播放更流畅
            
//            播放音频,同时调用视频播放,实现同步播放
            [weakSelf.BGMPlayer play];
            [weakSelf.player play];
        }else{
            NSLog(@"%@",error);
        }
        
    }];

3、音视频的合成

1、加载音频和视频资源

//    素材
    AVAsset *asset = [AVAsset assetWithURL:assetURL];
    AVAsset *audioAsset = [AVAsset assetWithURL:BGMPath];

2、分离素材
音频只有音频轨道,而我们录制的视频有两个轨道:音频轨道、视频轨道。需要把音视频资源分离成各个轨道来进行编辑。

    //    分离素材
    AVAssetTrack *videoAssetTrack = [[asset tracksWithMediaType:AVMediaTypeVideo]objectAtIndex:0];//视频素材
    AVAssetTrack *audioAssetTrack = [[audioAsset tracksWithMediaType:AVMediaTypeAudio]objectAtIndex:0];//音频素材

3、编辑各个轨道需要在AVMutableComposition类的环境中进行

    //    编辑视频环境
    AVMutableComposition *composition = [[AVMutableComposition alloc]init];

视频素材加入视频轨道

    AVMutableCompositionTrack *videoCompositionTrack = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];

将视频轨道插入到编辑环境中

    [videoCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoAssetTrack.timeRange.duration) ofTrack:videoAssetTrack atTime:kCMTimeZero error:nil];
    ```
  背景音乐音频素材加入音频轨道
AVMutableCompositionTrack *audioCompositionTrack = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
将背景音乐的音频轨道插入到编辑环境中
[audioCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoAssetTrack.timeRange.duration) ofTrack:audioAssetTrack atTime:kCMTimeZero error:nil];
    
   是否加入视频原声,根据需要选择添加,原理同上
AVMutableCompositionTrack *originalAudioCompositionTrack = nil;
if (needOriginalVoice) {
    AVAssetTrack *originalAudioAssetTrack = [[asset tracksWithMediaType:AVMediaTypeAudio]objectAtIndex:0];
    originalAudioCompositionTrack = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
    [originalAudioCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoAssetTrack.timeRange.duration) ofTrack:originalAudioAssetTrack atTime:kCMTimeZero error:nil];
}
将配置好的AVMutableComposition环境添加到导出类

// 导出素材
AVAssetExportSession *exporter = [[AVAssetExportSession alloc]initWithAsset:composition presetName:AVAssetExportPresetMediumQuality];

这里有一个坑,AVMutableCompositionTrack轨道中控制音量preferredVolume属性不起作用,不知道为什么,知道的大神指正下。
所以只能用音频混合调节音量

pragma mark - 调节合成的音量

  • (AVAudioMix *)buildAudioMixWithVideoTrack:(AVCompositionTrack *)videoTrack VideoVolume:(float)videoVolume BGMTrack:(AVCompositionTrack *)BGMTrack BGMVolume:(float)BGMVolume controlVolumeRange:(CMTime)volumeRange {

// 创建音频混合类
AVMutableAudioMix *audioMix = [AVMutableAudioMix audioMix];

// 拿到视频声音轨道设置音量
AVMutableAudioMixInputParameters *Videoparameters = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:videoTrack];
[Videoparameters setVolume:videoVolume atTime:volumeRange];

// 设置背景音乐音量
AVMutableAudioMixInputParameters *BGMparameters = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:BGMTrack];
[BGMparameters setVolume:BGMVolume atTime:volumeRange];

// 加入混合数组
audioMix.inputParameters = @[Videoparameters,BGMparameters];

return audioMix;

}

拿到视频、音频资源路径,取到设置的音视频对应音量,进行合成
完整合成代码如下

/**
音视频合成

@param assetURL 原始视频路径
@param BGMPath 背景音乐路径
@param needOriginalVoice 是否添加原视频的声音
@param videoVolume 视频音量
@param BGMVolume 背景音乐音量
@param completionHandle 合成后的回调
*/

  • (void)editVideoSynthesizeVieoPath:(NSURL *)assetURL BGMPath:(NSURL *)BGMPath needOriginalVoice:(BOOL)needOriginalVoice videoVolume:(CGFloat)videoVolume BGMVolume:(CGFloat)BGMVolume complition:(void (^)(NSURL *outputPath,BOOL isSucceed)) completionHandle{
    // 素材
    AVAsset *asset = [AVAsset assetWithURL:assetURL];
    AVAsset *audioAsset = [AVAsset assetWithURL:BGMPath];

    // 分离素材
    AVAssetTrack *videoAssetTrack = [[asset tracksWithMediaType:AVMediaTypeVideo]objectAtIndex:0];//视频素材
    AVAssetTrack *audioAssetTrack = [[audioAsset tracksWithMediaType:AVMediaTypeAudio]objectAtIndex:0];//音频素材

    // 编辑视频环境
    AVMutableComposition *composition = [[AVMutableComposition alloc]init];

    // 视频素材加入视频轨道
    AVMutableCompositionTrack *videoCompositionTrack = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];
    [videoCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoAssetTrack.timeRange.duration) ofTrack:videoAssetTrack atTime:kCMTimeZero error:nil];

    // 音频素材加入音频轨道
    AVMutableCompositionTrack *audioCompositionTrack = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
    [audioCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoAssetTrack.timeRange.duration) ofTrack:audioAssetTrack atTime:kCMTimeZero error:nil];

    // 是否加入视频原声
    AVMutableCompositionTrack *originalAudioCompositionTrack = nil;
    if (needOriginalVoice) {
    AVAssetTrack *originalAudioAssetTrack = [[asset tracksWithMediaType:AVMediaTypeAudio]objectAtIndex:0];
    originalAudioCompositionTrack = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
    [originalAudioCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoAssetTrack.timeRange.duration) ofTrack:originalAudioAssetTrack atTime:kCMTimeZero error:nil];
    }

    // 导出素材
    AVAssetExportSession *exporter = [[AVAssetExportSession alloc]initWithAsset:composition presetName:AVAssetExportPresetMediumQuality];

// 音量控制
exporter.audioMix = [self buildAudioMixWithVideoTrack:originalAudioCompositionTrack VideoVolume:videoVolume BGMTrack:audioCompositionTrack BGMVolume:BGMVolume controlVolumeRange:kCMTimeZero];

// 设置输出路径
NSURL *outputPath = [self exporterPath];
exporter.outputURL = [self exporterPath];
exporter.outputFileType = AVFileTypeMPEG4;//指定输出格式

[exporter exportAsynchronouslyWithCompletionHandler:^{
    switch ([exporter status]) {
        case AVAssetExportSessionStatusFailed: {
            NSLog(@"合成失败:%@",[[exporter error] description]);
            completionHandle(outputPath,NO);
        } break;
        case AVAssetExportSessionStatusCancelled: {
            completionHandle(outputPath,NO);
        } break;
        case AVAssetExportSessionStatusCompleted: {
            completionHandle(outputPath,YES);
        } break;
        default: {
            completionHandle(outputPath,NO);
        } break;
    }
}];

GitHub代码下载https://github.com/D-james/AudioVideoEdit,文件比较大,因为把要合成的音频、视频也传上去了。
swift版https://github.com/D-james/EditAudioVideo-swift

参考资料:《AV Foundation开发秘籍:实践掌握iOS & OS X 应用的视听处理技术》

相关文章

网友评论

  • Pusswzy:代码不错 就是没看懂你的markdown格式 难不成是转载的?
    Pusswzy:@IOSMan sorry 文章写得很赞
    IOSMan:还有没证据,请不要随便怀疑别人的劳动果实,很伤人
    IOSMan:这是简书自己的问题,之前的markdown格式乱了
  • FR_Zhang:请问,如果音频时间长度<视频的时间长度,实现音频的循环播放 ,如何处理
    FR_Zhang:@IOSMan 你这就不对了,既然我们想实现音频和视频独立播放,这时候,需要有一个长时间作为主循环,短时间作为次循环.....如我所提出的问题,昨天找到了解决方案...如果音频时间长度<视频的时间长度,这里以视频的时间为主循环,音频时间为次循环,也就是说,在视频每次循环的过程中,音频循环,视频开始循环,音频重新循环......获取视频的时间长度,进行音频频的拼接,注意最后一段饮品需要截取,满足 audioTime * (count - 1) + audioTime * 0.x = videoTime....这样可以达到满足的效果,这样同样方便了,后续的视频添加背景音乐
    IOSMan:@FR_Zhang 只是播放的话,音频和视频的播放是相互独立的,各自循环就行了
  • 午马丶:6666屌炸天
  • 247a772391c7:有demo地址吗,很不错咯
  • PPFSaber: 谢谢楼主分享 我也做东西 卡在了这里 本来也是想靠 preferredVolume 来直接调整 背景声和原声的大小的,结果发现不行,后来搜索才发现这个好像是建议播放的音量,就是播放的时候初始的音量,跟合成感觉没关系。
  • SunnyLeong:7P以上设备不能使用 exportAsynchronouslyWithCompletionHandler 这个方法都进不去 请教大神怎么解决?
  • SunnyLeong:请问怎么用? 点击 合成 按钮没有反应啊
  • 5ba6492653da:大神,如何降低合并时的CPU消耗?给个思路。。。
  • 骑着蜗牛追流星:有个问题,合成之后的视频尺寸跟分辨率是不是都变了.. 我输出了一下videoAssetTrack.naturalSize.width 合成之前是1080 合成之后就变成手机屏幕的宽度了..
    午马丶:在写入视频的时候可以设置参数的里面有高度和宽的AVVideoWidthKey ,AVVideoHeightKey,分别对应你要的宽度和高度,
    5ba6492653da:视频尺寸的问题可以这样解决:先获取原视频的分辨率,然后在设置视频导出的分辨率。视频导出的分辨率在需要修改这个参数: AVAssetExportSession *exporter = [[AVAssetExportSession alloc]initWithAsset:composition presetName:AVAssetExportPresetMediumQuality]; 修改AVAssetExportPresetMediumQuality 为原视频的分辨率参数即可。感谢楼主分享 ~
  • 骑着蜗牛追流星:音量调节不起作用
    IOSMan:@名字懒得想 我想这个和下载和本地文件没有关系,你下载MP3到本地,已经变成本地文件了,我项目中用到的就是下载的MP3。你失败的可能原因有很多,1.格式不对 2.获取路径方式不对。你最好贴出代码来
    骑着蜗牛追流星:@IOSMan 请问那个下载下来的MP3音频无法截取的问题,有什么办法解决吗?
    IOSMan:之前代码没提交上去,已经好了
  • 有梦想de咸鱼:学习学习:+1:
  • Th丶小伟:感谢楼主提供的修改背景音乐音量问题解决方案。
    骑着蜗牛追流星:@IOSMan 从网络下载音乐MP3文件到Documents文件夹里面,合成失败,请问一下这个有什么办法解决呢? 下面是控制台打印的信息:合成失败:Error Domain=NSURLErrorDomain Code=-1 "未知错误" UserInfo={NSLocalizedDescription=未知错误, NSErrorFailingURLStringKey=/var/mobile/Containers/Data/Application/171F1D59-4915-49DA-9FD7-2161DF0391B3/Documents/MCDownloadCache/70c41e4f33b732589aed425f005069a7.mp3, NSErrorFailingURLKey=/var/mobile/Containers/Data/Application/171F1D59-4915-49DA-9FD7-2161DF0391B3/Documents/MCDownloadCache/70c41e4f33b732589aed425f005069a7.mp3, NSURL=/var/mobile/Containers/Data/Application/171F1D59-4915-49DA-9FD7-2161DF0391B3/Documents/MCDownloadCache/70c41e4f33b732589aed425f005069a7.mp3, NSUnderlyingError=0x17424fe10 {Error Domain=NSOSStatusErrorDomain Code=-12935 "(null)"}}
    IOSMan:@名字懒得想 这个问题已经修复了,我刚才下载了项目,试了下调节音量没有问题
    骑着蜗牛追流星:我也遇到音量调整的问题了,怎么解决的
  • kinmo:楼主,调节音量没有问题,不过合成之后就有问题了
    简书弧线:我最近也在做这个需求, 感谢楼主给了灵感
    kinmo:@IOSMan 嗯,也找到原因了
    IOSMan:已修复
  • 这个算什么:亲,这段代码写错了吧
    // 设置背景音乐音量
    AVMutableAudioMixInputParameters *BGMparameters = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:BGMTrack];
    [Videoparameters setVolume:BGMVolume atTime:volumeRange];
    kinmo:@这个算什么 这demo下下来我这倒可以跑,就是这个合成功能不起作用。我先去试试,待会多指教:smile:
    这个算什么:@July丶ye Videoparameters应该改成BGMparameters吧,这个demo运行起来就一直不对,看了好久发现应该是这个问题吧,改了之后就能运行了。
    kinmo:请问层主正确的写法是?
  • huangrun:大神,有个bug,就是原音和背景音乐都滑到0,合成后还是有背景音乐啊
    IOSMan:已修复:grin:

本文标题:iOS音频视频的播放、剪辑、合成(仿秒拍给视频添加背景音乐)

本文链接:https://www.haomeiwen.com/subject/fogpittx.html