通常我们可以使用AVCaptureVideoPreviewLayer实现摄像头捕捉图像的渲染展示，但学习完Metal后，本文尝试使用Metal实现摄像头预览的渲染。
基本思路
首先需要用AVFoundation采集摄像头数据得到CMSampleBufferRef，然后通过CoreVideo的方法将CMSampleBufferRef转化为Metal的MTLTexture对象，最后用MetalPerformanceShaders的高斯模糊滤镜对图像进行处理，最后渲染到屏幕上。
实现步骤
1.AVCaptureSession配置
- (void)setupCaptureSession {
_captureSession = [[AVCaptureSession alloc] init];
_captureSession.sessionPreset = AVCaptureSessionPreset1920x1080;
self.processQueue = dispatch_queue_create("progress queue", DISPATCH_QUEUE_SERIAL);
AVCaptureDevice *inputDevice = [AVCaptureDevice defaultDeviceWithDeviceType:AVCaptureDeviceTypeBuiltInTelephotoCamera mediaType:AVMediaTypeVideo position:AVCaptureDevicePositionBack];
if (!inputDevice) {
NSLog(@"没有摄像头");
return;
}
_deviceInput = [[AVCaptureDeviceInput alloc] initWithDevice:inputDevice error:nil];
if ([self.captureSession canAddInput:_deviceInput]) {
[self.captureSession addInput:_deviceInput];
}
_videoDataOutput = [[AVCaptureVideoDataOutput alloc] init];
/*设置视频帧延迟到底时是否丢弃数据.
YES: 处理现有帧的调度队列在captureOutput:didOutputSampleBuffer:FromConnection:Delegate方法中被阻止时，对象会立即丢弃捕获的帧。
NO: 在丢弃新帧之前，允许委托有更多的时间处理旧帧，但这样可能会内存增加.
*/
_videoDataOutput.alwaysDiscardsLateVideoFrames = NO;
_videoDataOutput.videoSettings = @{(id)kCVPixelBufferPixelFormatTypeKey: @(kCVPixelFormatType_32BGRA)};
[_videoDataOutput setSampleBufferDelegate:self queue:self.processQueue];
if ([self.captureSession canAddOutput:_videoDataOutput]) {
[self.captureSession addOutput:_videoDataOutput];
}
AVCaptureConnection *connect = [self.videoDataOutput connectionWithMediaType:AVMediaTypeVideo];
[connect setVideoOrientation:AVCaptureVideoOrientationPortrait];
}
这里只是常规的捕捉数据代码，需要注意的是AVCaptureSession添加AVCaptureDeviceInput需要先判断能否添加，避免摄像头被其他进程占用导致添加失败。另外AVCaptureVideoDataOutput的输出颜色格式参数需要与后面的纹理像素格式一致，否则会出现色差。
2.Metal相关设置
- (void)setupMetal:(CGRect)frame {
_mtkView = [[MTKView alloc] initWithFrame:frame device:MTLCreateSystemDefaultDevice()];
if (!_mtkView.device) {
NSLog(@"not metal deivce support");
return;
}
_commandQueue = [_mtkView.device newCommandQueue];
_mtkView.framebufferOnly = NO;
_mtkView.delegate = self;
CVMetalTextureCacheCreate(NULL, NULL, _mtkView.device, NULL, &_textureCacehe);
}
这些只是常规的设置，另外需要将MTKView的drawable设置为可读可写（默认是只读），另外需要创建一个纹理CVMetalTextureCacheRef（来自Core Video框架）
3.处理采集回调
摄像头捕捉数据后回调用代理方法captureOutput:didOutputSampleBuffer:fromConnection:，可以在这里进行数据转化。
- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
size_t width = CVPixelBufferGetWidth(pixelBuffer);
size_t height = CVPixelBufferGetHeight(pixelBuffer);
CVMetalTextureRef tmpTexture = NULL;
/*3. 根据视频像素缓存区 创建 Metal 纹理缓存区
功能: 从现有图像缓冲区创建核心视频Metal纹理缓冲区。
参数1: allocator 内存分配器,默认kCFAllocatorDefault
参数2: textureCache 纹理缓存区对象
参数3: sourceImage 视频图像缓冲区
参数4: textureAttributes 纹理参数字典.默认为NULL
参数5: pixelFormat 图像缓存区数据的Metal 像素格式常量.注意如果MTLPixelFormatBGRA8Unorm和摄像头采集时设置的颜色格式不一致，则会出现图像异常的情况；
参数6: width,纹理图像的宽度（像素）
参数7: height,纹理图像的高度（像素）
参数8: planeIndex.如果图像缓冲区是平面的，则为映射纹理数据的平面索引。对于非平面图像缓冲区忽略。
参数9: textureOut,返回时，返回创建的Metal纹理缓冲区。
*/
CVReturn status = CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault, _textureCacehe, pixelBuffer, NULL, MTLPixelFormatBGRA8Unorm, width, height, 0, &tmpTexture);
if (status == kCVReturnSuccess) {
self.mtkView.drawableSize = CGSizeMake(width, height);
self.texture = CVMetalTextureGetTexture(tmpTexture);
CFRelease(tmpTexture);
}
}
这里首先需要调用CMSampleBufferGetImageBuffer方法将CMSampleBufferRef转化为CVPixelBufferRef，然后调用CVMetalTextureCacheCreateTextureFromImage将CVPixelBufferRef转化为CVMetalTextureRef并保存到纹理缓冲区，再通过CVMetalTextureGetTexture获的MTLTexture对象，这些方法都是由Core Video提供。
4.渲染处理
- (void)drawInMTKView:(MTKView *)view {
if (self.texture) {
id<MTLCommandBuffer> commandBuffer = [self.commandQueue commandBuffer];
id<MTLTexture> drawingTexture = view.currentDrawable.texture;
// 高斯滤镜
MPSImageGaussianBlur *filter = [[MPSImageGaussianBlur alloc] initWithDevice:self.mtkView.device sigma:0];
// 把摄像头返回图像数据的原始数据
[filter encodeToCommandBuffer:commandBuffer sourceTexture:self.texture destinationTexture:drawingTexture];
[commandBuffer presentDrawable:self.mtkView.currentDrawable];
[commandBuffer commit];
self.texture = NULL;
}
}
也可以使用常规的渲染管道一步步渲染，不过为了方便，这里使用了苹果提供的滤镜。
5.开始捕捉
- (void)startRunning {
[self.captureSession startRunning];
}
最终效果
metalCamera.gif
网友评论