使用AVFoundation做视频编辑，我们从基础的开始说起，涉及到视频编辑的各个功能模块的单独实现和组合，视频编辑框架的设计。
1、视频编辑必要的基础知识
1.1、AVFoundation介绍
AVFoundation是iOS开发者可以用来播放和创建基于时间的视听媒体的几个框架之一，其提供了检查、创建、编辑或重新编码媒体文件的接口，也使得从设备获取的视频实时数据可操纵。下图是AVFoundation在iOS上的体系结构
视频资源
1.2 AVFoundation类
视频编辑的对象视频资源（AVAsset），包含多条资源轨道（AVAssetTrack），包括视频轨道，音频轨道，字幕等。编辑就是对这些轨道上的资源做处理。
视频资源.png
在用AVFoundation做视频编辑的时候，会用到一个可变的资源组合（AVMutableComposition），它是视频资源的描述，组合工具，基类是AVAsset，可以用来编辑、播放、导出。视频编辑过程中的AVMutableComposition就像下图这样，包含多条轨道，每条轨道的视频又可以来自不同的资源。
视频结构图.png
AVAsset（资源容器）
AVAsset是一个抽象类和不可变类,定义了媒体资源混合呈现的方式.可以让我们开发者在处理时基媒体提供了一种简单统一的方式,它并不是媒体资源,但是它可以作为时基媒体的容器.
从相册和本地导入视频、音频资源的时候一般会用到他的子类AVURLAsset,在初始化AVURLAsset之后，其实系统并没有同步加载数据，所以在调用之前需要先加载，或者在初始化AVURLAsset的时候带上。
从URL初始化的时候可以这样写：
NSDictionary *options = @{AVURLAssetPreferPreciseDurationAndTimingKey:@YES};
self.asset = [AVURLAsset URLAssetWithURL:url options:options];
从相册获取的：
[self.asset loadValuesAsynchronouslyForKeys:@[@"tracks", @"duration", @"commonMetadata"] completionHandler:^{
}]
这样我们的资源就加载好了，后续可以直接使用duration等属性了。
在AVAsset中重要的就是资源轨道，可以获取到视频，音频等轨道
//Provides the array of AVAssetTracks contained by the asset
@property (nonatomic, readonly) NSArray<AVAssetTrack *> *tracks;
AVAssetTrack（资源轨道）
AVAssetTrack是资源轨道，后续都称为资源轨道。可能是视频、音频或者字幕等轨道。可以从AVAsset中获取到资源的各个轨道。
//Provides an array of AVAssetTracks of the asset that present media of the specified media type
- (NSArray<AVAssetTrack *> *)tracksWithMediaType:(AVMediaType)mediaType;
需要注意的是在获取资源轨道的时候需要保证资源的track已经加载好。
资源轨道的的类型有：
AVF_EXPORT AVMediaType const AVMediaTypeVideo
AVF_EXPORT AVMediaType const AVMediaTypeAudio
AVF_EXPORT AVMediaType const AVMediaTypeText
AVF_EXPORT AVMediaType const AVMediaTypeClosedCaption
AVF_EXPORT AVMediaType const AVMediaTypeSubtitle
AVF_EXPORT AVMediaType const AVMediaTypeTimecode
AVF_EXPORT AVMediaType const AVMediaTypeMetadata
AVF_EXPORT AVMediaType const AVMediaTypeMuxed
通常我们需要获取的有AVMediaTypeVideo、AVMediaTypeAudio这两种资源轨道，在一个视频资源中，一般会有一条视频轨道，一条音频轨道，也有可能有多条，主要看视频。大多数从相册获取的视频资源的各类型轨道都是只有一条的。
理解了媒体资源和资源轨道之后，我们开始了解视频编辑组合相关的内容：
AVMutableComposition（资源组合）
下图是AVMutableComposition的继承关系图，可以发现AVMutableComposition继承自AVAsset。其实它也是表示的视频资源，不过我们可以通过它做视频的组合，添加音频轨道、添加转场等，是视频编辑中最重要的类。
AVAsset
资源轨道的类继承图如下：
AVAssetTrack
AVMutableComposition 是一个或多个轨道（AVCompositionTrack）的集合，每个轨道会根据时间线存储源媒体的文件信息，比如音频、视频等。
//AVMutableComposition 创建一个新AVCompositionTrack的API
- (nullable AVMutableCompositionTrack *)addMutableTrackWithMediaType:(AVMediaType)mediaType preferredTrackID:(CMPersistentTrackID)preferredTrackID;
每个轨道由一系列轨道段（track segments）组成，每个轨道段存储源文件的一部分媒体数据，比如 URL、轨道 ID（track identifier）、时间映射（time mapping）等。
我们可以添加个多个AVMutableCompositionTrack，需要指定媒体类型和trackID。
AVMutableComposition合成新视频的流程 如下图
kKUpGU
AVMutableAudioMix（音频混合）
使用AVMutableAudioMix类，你可以在合成中的音轨上执行自定义音频处理
AVMutableAudioMix 可以通过 AVMutableAudioMixInputParameters 指定任意轨道的任意时间段音量。
AVMutableAudioMix
AVMutableVideoComposition
我们还可以使用 AVMutableVideoComposition 来直接处理 composition 中的视频轨道。处理一个单独的 video composition 时，你可以指定它的渲染尺寸、缩放比例、帧率等参数并输出最终的视频文件。通过一些针对 video composition 的指令（AVMutableVideoCompositionInstruction 等），我们可以修改视频的背景颜色、应用 layer instructions。
这些 layer instructions（AVMutableVideoCompositionLayerInstruction 等）可以用来对 composition 中的视频轨道实施图形变换、添加图形渐变、透明度变换、增加透明度渐变。此外，你还能通过设置 video composition 的 animationTool 属性来应用 Core Animation Framework 框架中的动画效果。
AVMutableVideoComposition
AVVideoCompositing（帧处理）
我们可以使用AVVideoCompositing来处理针对视频每一帧做处理，包括添加滤镜、转场等功能，也可以结合GPUImage来做滤镜转场，opengl等来处理每一帧的图片。自由度非常高，我们将在滤镜转场文章中详细介绍
AVAssetExportSession（导出）
导出的步骤比较简单，只需要把上面几步创建的处理对象赋值给导出类对象就可以导出最终的产品。
AVAssetExportSession
2、一些基础知识
CMTime
typedef struct
{
CMTimeValue value;
CMTimeScale timescale;
CMTimeFlags flags;
CMTimeEpoch epoch;
} CMTime
CMTime定义是一个C语言的结构体，CMTime是以分数的形式表示时间，value表示分子，timescale表示分母，value/timescale = seconds，flags是位掩码，表示时间的指定状态。在创建时间的时候timescale我们一般选择600。
CMTimeRange
typedef struct
{
CMTime start;
CMTime duration;
} CMTimeRange
其中start表示时间的起点，duratin表示时间范围的持续时间。
AVAssetImageGenerator
我们可以使用AVAssetImageGenerator来获取视频的缩略图，我们只需要传入指定的时间即可获取到此时间的缩略图。
_imageGenerator = [[AVAssetImageGenerator alloc] initWithAsset:self.asset];
_imageGenerator.maximumSize = CGSizeMake(120, 120); //最大缩略图的大小
[self.imageGenerator generateCGImagesAsynchronouslyForTimes:timeArray
completionHandler:^(CMTime requestedTime, CGImageRef _Nullable image, CMTime actualTime, AVAssetImageGeneratorResult result, NSError *_Nullable error) {
UIImage *videoImage = [UIImage imageWithCGImage:image];
}]
我们可以传入指定时间的数组来批量获取缩略图。
需要注意的是，传入的时间获取到的缩略图不一定是准确的，可能会有误差，如果要获取准确的时间点的缩略图，需要设置下面两个属性的值为：kCMTimeZero
@property (nonatomic) CMTime requestedTimeToleranceBefore;
@property (nonatomic) CMTime requestedTimeToleranceAfter
网友评论