iOS上的设备的采集篇

前言

如果只是单纯的想快速实现iOS端的采集,编码,推流,美颜,第三方框架或者商业SDK都能够快速实现,并且使用方便,易于上手,如果有什么不懂的地方问客服也基本上能够尽快的给你解决.由于公司需求的奇葩性我没办法使用市场上现有的轮子,只能自己去写.

LFLiveKit

这是我接触的第一个比较方便的框架吧,使用起来也很简单,这是框架在github上的地址:链接

使用步骤

• 1 pod 'LFLiveKit',注意这个框架内部是包含了GPUimage的,所以重复添加可能会产生一些问题,请妥善解决.

• 2 添加以下依赖库

使用范例

我个人感觉作者readme写的还是比较简单的,我这里会详细的写写,我自己写的demo地址:链接,如果文章描述的不清楚大家可以看看具体demo.

• 1首先懒加载一个LFLiveSession,这很重要,音视频的一些参数都是在这里配置的.默认参数都是配置好了的,大家点进去看就好了.

-(LFLiveSession *)session{
        if (nil == _session) {
            /**
             默认音频质量 audio sample rate: 44MHz(默认44.1Hz iphoneg6以上48Hz), audio bitrate: 64Kbps
             分辨率： 540 *960 帧数：30 码率：800Kps
             方向竖屏
             */
            
            // 视频配置(质量 & 是否是横屏)可以点进去看
            _session = [[LFLiveSession alloc] initWithAudioConfiguration:[LFLiveAudioConfiguration defaultConfiguration] videoConfiguration:[LFLiveVideoConfiguration defaultConfigurationForQuality:LFLiveVideoQuality_Medium3 landscape:NO]];
            
            _session.delegate = self;
            _session.showDebugInfo = self;
            _session.preView = self.view;
        }
        return _session;
    }

• 2 设置流信息

这里的url我是这么使用的,使用nginx服务器, Mac上是很好配置的,然后下载VLC,这里的URL就是rtmp://(你的ip):1935/rtmplive/room,将他配置到VLC应该代码完成后就可以正常推流显示了.

        LFLiveStreamInfo * sterm = [LFLiveStreamInfo new];
        
        sterm.url = @"rtmp://192.168.1.42:1935/rtmplive/room";
        
        [self.session startLive:sterm];

• 3 美颜开关一键设置

具体的参数可以自己调,我个人觉得他的美颜效果还是不错的.

设置self.session.beautyFace为Yes或者No

• 4前后镜头反转

     AVCaptureDevicePosition devicePosition = self.session.captureDevicePosition;
    
    self.session.captureDevicePosition = (devicePosition == AVCaptureDevicePositionBack) ? AVCaptureDevicePositionFront : AVCaptureDevicePositionBack; 
  

• 5闪光灯

通过AVCaptureTorchMode这个类对其进行控制.

• 6镜面翻转

  [self.session setMirror:YES];
  

• 7请求授权

iOS10中应该是要在plist文件中再加入一些键值对的.

- (void)requestAccessForVideo {
        @weakify(self);
        AVAuthorizationStatus status = [AVCaptureDevice authorizationStatusForMediaType:AVMediaTypeVideo];
        switch (status) {
            case AVAuthorizationStatusNotDetermined: {
                // 许可对话没有出现，发起授权许可
                [AVCaptureDevice requestAccessForMediaType:AVMediaTypeVideo completionHandler:^(BOOL granted) {
                    if (granted) {
                        dispatch_async(dispatch_get_main_queue(), ^{
                            @strongify(self);
                            [self.session setRunning:YES];
                        });
                    }
                }];
                break;
            }
            case AVAuthorizationStatusAuthorized: {
                // 已经开启授权，可继续
                dispatch_async(dispatch_get_main_queue(), ^{
                    @strongify(self);
                    [self.session setRunning:YES];
                });
                break;
            }
            case AVAuthorizationStatusDenied:
            case AVAuthorizationStatusRestricted:
                // 用户明确地拒绝授权，或者相机设备无法访问
                
                break;
            default:
                break;
        }
    }

    - (void)requestAccessForAudio {
        AVAuthorizationStatus status = [AVCaptureDevice authorizationStatusForMediaType:AVMediaTypeAudio];
        switch (status) {
            case AVAuthorizationStatusNotDetermined: {
                [AVCaptureDevice requestAccessForMediaType:AVMediaTypeAudio completionHandler:^(BOOL granted) {
                }];
                break;
            }
            case AVAuthorizationStatusAuthorized: {
                break;
            }
            case AVAuthorizationStatusDenied:
            case AVAuthorizationStatusRestricted:
                break;
            default:
                break;
        }
    }

• 8 监听推送状态的代理方法

  -(void)liveSession:(LFLiveSession *)session liveStateDidChange:(LFLiveState)state{
        self.liveStateLabel.textColor = [UIColor blackColor];
        switch (state) {
            case LFLiveReady:
                NSLog(@"未连接");
                self.liveStateLabel.text = @"未连接";
                break;
            case LFLivePending:
                NSLog(@"连接中");
                [FYProgressHUD showWithMessage:@"正在连接..."];
                self.liveStateLabel.text = @"正在连接...";
                break;
            case LFLiveStart:
                NSLog(@"已连接");
                [FYProgressHUD showSuccess:@"连接成功"];
                self.liveStateLabel.text = @"正在直播";
                break;
            case LFLiveError:
                NSLog(@"连接错误");
                [FYProgressHUD showError:@"连接错误"];
                self.liveStateLabel.text = @"未连接";
                break;
            case LFLiveStop:
                self.liveStateLabel.text = @"未连接";
                NSLog(@"未连接");
                break;
            default:
                break;
        }
    }
  

至此如果你只是想快速实现推流那么就已经结束了,可以不必看下文了.

使用系统方法获取数据(不带美颜效果)

一般情况下我们是不考虑这种方法的,因为当今直播市场非常火爆,如果你直接做一个不带美颜功能的,我想你这app估计很多主播都不好意思用吧,这里只是以介绍为主.

• 1 创建音视频输入

  /**
     创建音视频输入
     */
    -(void)createCaptureDevice{
        
        //创建摄像头
        NSArray *videoDevices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
        
        //初始化摄像头
        self.frontCamera = [AVCaptureDeviceInput deviceInputWithDevice:videoDevices.lastObject error:nil];
        self.backCamera = [AVCaptureDeviceInput deviceInputWithDevice:videoDevices.firstObject error:nil];
        
        //麦克风
        AVCaptureDevice *audioDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];
        self.audioInputDevice = [AVCaptureDeviceInput deviceInputWithDevice:audioDevice error:nil];
        
        //设置当前视频输入设备
        self.videoInputDevice = self.backCamera;
    }
  

• 2 创建输出

设置代理的时候注意遵守着两个协议

AVCaptureVideoDataOutputSampleBufferDelegate
AVCaptureAudioDataOutputSampleBufferDelegate

这两个协议的代理方法是我们后面获取SampleBuffer的途径

    /**
     创建输出
     */
    -(void)createOutput{
        
        //创建队列
        dispatch_queue_t queue = dispatch_queue_create(DISPATCH_QUEUE_PRIORITY_DEFAULT, NULL);
        
        //创建视频输出数据
        self.videoDataOutput = [[AVCaptureVideoDataOutput alloc]init];
        
        //设置代理和队列
        [self.videoDataOutput setSampleBufferDelegate:self queue:queue];
        
        //抛弃过期帧，保证实时性
        self.videoDataOutput.alwaysDiscardsLateVideoFrames = YES;
        
        //设置参数
        NSDictionary * settings = @{(__bridge id)kCVPixelBufferPixelFormatTypeKey:@(kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange)};
        self.videoDataOutput.videoSettings = settings;
        
        //创建音频输出数据
        self.audioDataOutput = [[AVCaptureAudioDataOutput alloc]init];
        [self.audioDataOutput setSampleBufferDelegate:self queue:queue];
    }

• 3 创建会话

  /**
     创建会话
     */
    -(void)createCaptureSession{
        
        self.captureSession = [[AVCaptureSession alloc]init];
        
        [self.captureSession beginConfiguration];
        
        //添加视频输入
        if ([self.captureSession canAddInput:self.videoInputDevice]) {
            [self.captureSession addInput:self.videoInputDevice];
        }
        
        //添加音频输入
        if ([self.captureSession canAddInput:self.audioInputDevice]) {
            [self.captureSession addInput:self.audioInputDevice];
        }
        
        //添加视频输出
        if([self.captureSession canAddOutput:self.videoDataOutput]){
            [self.captureSession addOutput:self.videoDataOutput];
    //        [self setVideoOutConfig];
        }
        
        //添加音频输出
        if([self.captureSession canAddOutput:self.audioDataOutput]){
            [self.captureSession addOutput:self.audioDataOutput];
        }
        
        //设置预览分辨率
        //这个分辨率有一个值得注意的点：
        //iphone4录制视频时 前置摄像头只能支持 480*640 后置摄像头不支持 540*960 但是支持 720*1280
        //诸如此类的限制，所以需要写一些对分辨率进行管理的代码。
        //目前的处理是，对于不支持的分辨率会抛出一个异常
        //但是这样做是不够、不完整的，最好的方案是，根据设备，提供不同的分辨率。
        //如果必须要用一个不支持的分辨率，那么需要根据需求对数据和预览进行裁剪，缩放。
        //设置采集质量
    //    if (![self.captureSession canSetSessionPreset:self.captureSessionPreset]) {
    //        @throw [NSException exceptionWithName:@"Not supported captureSessionPreset" reason:[NSString stringWithFormat:@"captureSessionPreset is [%@]", self.captureSessionPreset] userInfo:nil];
    //    }
        
        //设置采集质量
        self.captureSession.sessionPreset = AVCaptureSessionPresetHigh;//默认就为高
        
        //提交配置变更
        [self.captureSession commitConfiguration];
  
    }
  

• 4 创建预览

  /**
     创建预览
     */
    -(void)createPreviewLayer{
        
        self.previewLayer = [AVCaptureVideoPreviewLayer layerWithSession:self.captureSession];
        
        self.previewLayer.frame = self.view.frame;
        
        //保留纵横比
        self.previewLayer.videoGravity = AVVideoScalingModeResizeAspectFill;
        
        [self.view.layer addSublayer:self.previewLayer];
        
    }
  

• 5 退出销毁的时候

  if (self.captureSession) {
    [self.captureSession removeInput:self.audioInputDevice];
    [self.captureSession removeInput:self.videoInputDevice];
    [self.captureSession removeOutput:self.self.videoDataOutput];
    [self.captureSession removeOutput:self.self.audioDataOutput];
  }
  
  [self.captureSession stopRunning];
  self.captureSession = nil;
  

• 6 获取数据的地方

在这个代理方法里是获取音视频数据的地方,这里是我们对采集到的原始数据进行编码的地方,后面会讲到如何去编码,这个方法是能够区分音频和视频信息的.

-(void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection;

使用GPUimage

-(void)onInit{
        //摄像头初始化
        // AWGPUImageVideoCamera 继承自 GPUImageVideoCamera。继承是为了获取音频数据，原代码中，默认情况下音频数据发送给了 audioEncodingTarget。
        // 这个东西一看类型是GPUImageMovieWriter，应该是文件写入功能。果断覆盖掉processAudioSampleBuffer方法，拿到音频数据后自己处理。
        // 音频就这样可以了，GPUImage主要工作还是在视频处理这里。
        // 设置预览分辨率 self.captureSessionPreset是根据AWVideoConfig的设置，获取的分辨率。设置前置、后置摄像头。
        _videoCamera = [[AWGPUImageVideoCamera alloc] initWithSessionPreset:AVCaptureSessionPresetHigh cameraPosition:AVCaptureDevicePositionFront];
        
        //开启捕获声音
        [_videoCamera addAudioInputsAndOutputs];
        
        //设置输出图像方向，可用于横屏推流。
        _videoCamera.outputImageOrientation = UIInterfaceOrientationPortrait;
        
        //镜像策略，这里这样设置是最自然的。跟系统相机默认一样。
        _videoCamera.horizontallyMirrorRearFacingCamera = NO;
        _videoCamera.horizontallyMirrorFrontFacingCamera = YES;
        
        //设置预览view
        _gpuImageView = [[GPUImageView alloc] initWithFrame:self.view.bounds];
        [self.view addSubview:_gpuImageView];
        
        //初始化美颜滤镜
        _beautifyFilter = [[GPUImageBeautifyFilter alloc] init];
        
        //相机获取视频数据输出至美颜滤镜
        [_videoCamera addTarget:_beautifyFilter];
        
        //美颜后输出至预览
        [_beautifyFilter addTarget:_gpuImageView];
        
        // 到这里我们已经能够打开相机并预览了。
        // 因为要推流，除了预览之外，我们还要截取到视频数据。这就需要使用GPUImage中的GPUImageRawDataOutput，它能将美颜后的数据输出，便于我们处理后发送出去。
        // AWGPUImageAVCaptureDataHandler继承自GPUImageRawDataOutput，从 newFrameReadyAtTime 方法中就可以获取到美颜后输出的数据。
        // 输出的图片格式为BGRA。
        _dataHandler = [[AWGPUImageAVCaptureDataHandler alloc]initWithImageSize:CGSizeMake(self.view.frame.size.width, self.view.frame.size.height) resultsInBGRAFormat:YES ];
        [_beautifyFilter addTarget:_dataHandler];
        
        // 令AWGPUImageAVCaptureDataHandler实现AWGPUImageVideoCameraDelegate协议，并且让camera的awAudioDelegate指向_dataHandler对象。
        // 将音频数据转到_dataHandler中处理。然后音视频数据就可以都在_dataHandler中处理了。
        _videoCamera.awAudioDelegate = _dataHandler;
        
        //开始捕获视频
        [self.videoCamera startCameraCapture];
        
    }