内存拷贝渲染视频的研究

作者: noark9 | 来源:发表于2016-05-14 03:29 被阅读940次

内存拷贝渲染视频

这里说的视频渲染是指通过 CVPixelBufferRef 获取 CGImageRef 对象在 UI 上进行渲染的过程。

大家都知道视频渲染是一个非常麻烦的过程,一般来说我们会通过将 CVPixelBufferRef 转换为 CIImage 再将 CIImage 对象转换为 CGImageRef 来完成视频的渲染,其中 CIImage 渲染到 CGImageRef 的过程将会需要到 CIContext- render:toBitmap:rowBytes:bounds:format:colorSpace: 方法来实现,但是在实际使用过程中发现,在 iOS 9.0 系统上,使用这个方法渲染视频时会出现内存泄漏的问题(长时间调试发现似乎是系统的问题)于是花了很多时间来找寻如何绕过 CIContext 来进行视频渲染,最终找到了直接内存拷贝进行视频渲染的方法,也是最为快速的方法。

代码解析

下面我们来直接看代码吧

+ (CGImageRef)createImageWithPixelBuffer:(CVPixelBufferRef)pixelBuffer {
    CGImageRef image = NULL;
    size_t width = CVPixelBufferGetWidth(pixelBuffer);
    size_t height = CVPixelBufferGetHeight(pixelBuffer);
    size_t bytePerRow = CVPixelBufferGetBytesPerRow(pixelBuffer);
    size_t bitPerCompoment = 8;
    size_t bitPerPixel = 4 * bitPerCompoment;
    size_t length = CVPixelBufferGetDataSize(pixelBuffer);
    CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault;
    CVPixelBufferLockBaseAddress(pixelBuffer, 0);
    void *baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer);
    unsigned char *imageData = (unsigned char *)malloc(length);
    memcpy(imageData, baseAddress, length);
    CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);
    [self.class convertBGRAtoRGBA:imageData withSize:length];
    CFDataRef data = CFDataCreate(NULL, imageData, length);
    free(imageData);
    CGDataProviderRef provider = CGDataProviderCreateWithCFData(data);
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    image = CGImageCreate(width, height, bitPerCompoment, bitPerPixel, bytePerRow, colorSpace, bitmapInfo, provider, NULL, NULL, kCGRenderingIntentDefault);
    CFRelease(data);
    CGColorSpaceRelease(colorSpace);
    CGDataProviderRelease(provider);
    return image;
}

不管是视频还是图片,每一帧的画面都是通过一个 RGBA 或是 BGRA 的位图来存储的,所以,实现 CVPixelBufferRefCGImageRef 的转换,也就是需要把他们所对应的内存里面保存的位图数据进行拷贝,来实现图像的渲染。

上面代码分为下面部分:

  • 根据 PixelBuffer 中的信息,以及一些我们已知的信息,获取创建 CGImageRef 对象的必要参数
    size_t width = CVPixelBufferGetWidth(pixelBuffer);
    size_t height = CVPixelBufferGetHeight(pixelBuffer);
    size_t bytePerRow = CVPixelBufferGetBytesPerRow(pixelBuffer);
    size_t bitPerCompoment = 8;
    size_t bitPerPixel = 4 * bitPerCompoment;
    size_t length = CVPixelBufferGetDataSize(pixelBuffer);
    CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault;
  • 从 PixelBuffer 中拷贝位图数据,并将位图数据拷贝到一个 CFDataRef 对象中

注意:[self.class convertBGRAtoRGBA:imageData withSize:length]; 这个方法的目的只是将位图中的第一位和第三位进行位置交换,因为 PixelBuffer 中的图像是 BGRA 的,而 CGImage 中的图像是 RGBA 的。

    CVPixelBufferLockBaseAddress(pixelBuffer, 0);
    void *baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer);
    unsigned char *imageData = (unsigned char *)malloc(length);
    memcpy(imageData, baseAddress, length);
    CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);
    [self.class convertBGRAtoRGBA:imageData withSize:length];
    CFDataRef data = CFDataCreate(NULL, imageData, length);
  • 通过 CFDataRef 创建 CGImageRef
    CGDataProviderRef provider = CGDataProviderCreateWithCFData(data);
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    image = CGImageCreate(width, height, bitPerCompoment, bitPerPixel, bytePerRow, colorSpace, bitmapInfo, provider, NULL, NULL, kCGRenderingIntentDefault);
    CFRelease(data);
    CGColorSpaceRelease(colorSpace);
    CGDataProviderRelease(provider);
    return image;

这样就实现了视频的渲染,获取到视频的图像就可以直接渲染到 UI 上了。

相关文章

  • 内存拷贝渲染视频的研究

    内存拷贝渲染视频 这里说的视频渲染是指通过 CVPixelBufferRef 获取 CGImageRef 对象在 ...

  • 深拷贝 浅拷贝研究

    最近工作事情不多,研究哈深拷贝,浅拷贝。浅拷贝:浅拷贝是对object对象的指针拷贝,让指针指向同一块内存地址,“...

  • iOS 关于容器类的浅、深拷贝探究

    引子 浅拷贝:指针拷贝,引用拷贝,指向同一内存地址 深拷贝:内容拷贝,指向不同内存地址,但是内容相同 容器类拷贝的...

  • 浅拷贝与深拷贝

    一、内存 我们都知道数据存放内存中,基本数据在栈内存,引用数据指针在栈内存实体在堆内存 二、深拷贝与浅拷贝 深拷贝...

  • guorenbao iOS笔试题总结(如有错误,请指正)

    1.深拷贝和浅拷贝的区别。 答:浅拷贝只是对对象的简单拷贝,让几个对象共用一片内存,当内存销毁的时候,指向这片内存...

  • 浅拷贝与深拷贝

    写在前面 浅拷贝:指向对象所在内存指针的拷贝,对象所在内存不变 深拷贝:对象所在内存重新拷贝一份 在 iOS 中,...

  • iOS的深浅拷贝

    浅拷贝:指针拷贝,引用拷贝,指向同一内存地址深拷贝:内容拷贝,指向不同内存地址,但内容相同 1、copy和muta...

  • iOS对象的copy与mutableCopy

    概念: 浅拷贝:不拷贝对象本身,仅仅是拷贝指向对象的指针。 深拷贝:是直接拷贝整个对象内存到另一块内存中。 结论:...

  • NSString 为什么用 copy ? Block 为什么用

    copy 深拷贝与浅拷贝的区别, 在于是否开辟新内存,copy 只针对堆内存对象而言。 浅拷贝: 拷贝的是地址,和...

  • iOS关于copy,mutablecopy;深拷贝,浅拷贝的浅见

    首先我们先搞清楚深拷贝和浅拷贝的概念吧: 深拷贝:内存地址的拷贝,重新开辟一块内存区域,和原来的内存区域不相关。 ...

网友评论

  • MccReeee:求个demo
  • 格调main:有demo 吗 convertBGRAtoRGBA 这个找不到, 系统函数还是自己写的转换
    坤坤同学:@noark9 直接写全不就可以了。。。
    学生陈希:@noark9 同求这个转换
    noark9:自己写的转换,等我发给你

本文标题:内存拷贝渲染视频的研究

本文链接:https://www.haomeiwen.com/subject/xhpmrttx.html