相机相关应用一般会用到AVFoundation. 这里简单做个整理。
AVFoundation是基于session(会话)概念的。 一个session用于控制数据从input设备到output设备的流向。
声明一个session:
AVCaptureSession *session = [[AVCaptureSession alloc] init];
session允许定义音频视频录制的质量。
[session setSessionPreset:AVCaptureSessionPresetLow];
2. capture device
定义好session后，就该定义session所使用的设备了。（使用AVMediaTypeVideo 来支持视频和图片）
AVCaptureDevice *captureDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
3. capture device input
有了capture device, 然后就获取其input capture device， 并将该input device加到session上。
AVCaptureDeviceInput *deviceInput = [AVCaptureDeviceInput deviceInputWithDevice:captureDevice error:&error];
if ( [session canAddInput:deviceInput] )
[session addInput:deviceInput];
4. preview
在定义output device之前，我们可以先使用preview layer来显示一下camera buffer中的内容。这也将是相机的“取景器”。
AVCaptureVideoPreviewLayer可以用来快速呈现相机(摄像头)所收集到的原始数据。
我们使用第一步中定义的session来创建preview layer, 并将其添加到main view layer上。
AVCaptureVideoPreviewLayer *previewLayer = [[AVCaptureVideoPreviewLayer alloc] initWithSession:session];
[previewLayer setVideoGravity:AVLayerVideoGravityResizeAspectFill];
CALayer *rootLayer = [[self view] layer];
[rootLayer setMasksToBounds:YES];
[previewLayer setFrame:CGRectMake(-70, 0, rootLayer.bounds.size.height, rootLayer.bounds.size.height)];
[rootLayer insertSublayer:previewLayer atIndex:0];
5. start Run
最后需要start the session.
[session startRunning];
==============以下内容为“对视频进行实时处理”部分================
6. the output buffer
如果向对视频进行实时处理，则需要直接对camera buffer中的视频流进行处理。
首先我们定义一个视频数据输出(AVCaptureVideoDataOutput), 并将其添加到session上。
AVCaptureVideoDataOutput *dataOutput = [AVCaptureVideoDataOutput new];
dataOutput.videoSettings = [NSDictionary dictionaryWithObject:[NSNumber numberWithUnsignedInt:kCVPixelFormatType_420YpCbCr8BiPlanarFullRange] forKey:(NSString *)kCVPixelBufferPixelFormatTypeKey];
[dataOutput setAlwaysDiscardsLateVideoFrames:YES];
if ( [captureSession canAddOutput:dataOutput]
[captureSession addOutput:dataOutput];
7. the destination layer
若要显示实时处理后的视频效果，则需要自己创建一个layer(不能用AVCaptureVideoPreviewLayer)，并将该labor添加到view.layer上。
CALayer *customPreviewLayer = [CALayer layer];
customPreviewLayer.bounds = CGRectMake(0, 0, self.view.frame.size.height, self.view.frame.size.width);
customPreviewLayer.position = CGPointMake(self.view.frame.size.width/2., self.view.frame.size.height/2.);
customPreviewLayer.affineTransform = CGAffineTransformMakeRotation(M_PI/2);
[self.view.layer addSublayer:customPreviewLayer];
8. 设置sampleBuffer的代理
设置我们自己的controller作为视频数据输出缓冲区(sample buffer)的代理
dispatch_queue_t queue = dispatch_queue_create("VideoQueue", DISPATCH_QUEUE_SERIAL);
[dataOutput setSampleBufferDelegate:self queue:queue];
9. 视频显示
因为已经将我们的view controller作为capture video data output的代理，所以需要在view controller中实现其代理方法：
- (void)captureOutput:(AVCaptureOutput *)captureOutput
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer
fromConnection:(AVCaptureConnection *)connection
这样，当数据缓冲区(data buffer)一有数据时，AVFoundation就调用该方法。
在该代理方法中，我们可以获取视频帧、处理视频帧、显示视频帧(在第七步中创建的layer中显示)了。
在该代理方法中，sampleBuffer是一个Core Media对象，可以引入Core Video供使用。
CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
锁住缓冲区基地址：
CVPixelBufferLockBaseAddress(imageBuffer, 0);
然后提取一些有用的图片信息：
size_t width = CVPixelBufferGetWidthOfPlane(imageBuffer, 0);
size_t height = CVPixelBufferGetHeightOfPlane(imageBuffer, 0);
size_t bytesPerRow = CVPixelBufferGetBytesPerRowOfPlane(imageBuffer, 0);
视频缓冲区中是YUV格式的，要从缓冲区中提取luma部分：
Pixel_8 *lumaBuffer = CVPixelBufferGetBaseAddressOfPlane(imageBuffer, 0);
然后我们将该缓冲区的数据显示(渲染)到layer上。（为此需要 创建color space, 创建 graphic context, 使用color space将buffer渲染到graphic context）
CGColorSpaceRef grayColorSpace = CGColorSpaceCreateDeviceGray();
CGContextRef context = CGBitmapContextCreate(lumaBuffer, width, height, 8, bytesPerRow, grayColorSpace, kCGImageAlphaNone);
CGImageRef dstImage = CGBitmapContextCreateImage(context);
这里dstImage是core graphics image, 由captured buffer中创建而来。 最后我们将该image渲染到layer上。
dispatch_sync(dispatch_get_main_queue(), ^{
customPreviewLayer.contents = (__bridge id)dstImage;
});
接下来做一些清理工作就OK了。
CGImageRelease(dstImage);
CGContextRelease(context);
CGColorSpaceRelease(grayColorSpace);
这样取景器上的实时图像就显示出来了。（这里仅仅是对视频做提取与渲染，没有对视频做处理）
有关对imageBuffer进行处理，需要用到GPU相关知识。
网友评论