GPUImage源码解析 -- GPUImageFilter

作者: Danielhhs | 来源:发表于2018-01-16 17:40 被阅读0次

在前几篇文章中，介绍了GPUImage的一些基础，在这些基础都准备好的情况下，我们就可以开始GPUImage源码的核心--GPUImageFilter了。

作为一个图片处理和滤镜添加的框架，GPUImage最核心的类自然是GPUImageFilter，基本上所有的具体的滤镜都继承于它。GPUImageFilter提供了一个滤镜所需要的基本功能，并且提供了一些hook给子类进行覆盖，来实现具体的图片处理。

GPUImageFilter的主要功能包括了：

GPUImageFilter是一个GPUImageOutput的子类，但是同时它也实现了GPUImageInput协议。因此，它包含了一个Input和Output的所有功能。
渲染过程：所有的Filter进行的渲染效果的区别是因为他们有不同的VertexShader和FragmentShader。但是整个渲染过程是一样的，因此这个过程都被封装到了基类中；
GLProgram的管理和交互。因为不同的Shader自然会对应不同的Attributes和Uniforms，因此Filter需要跟GLProgram进行交互。
提供子类进行初始化或者覆盖的hook。

Initialize

GPUImageFilter实现不同效果的渲染就是基于不同的Shader的，因此初始化过程都需要提供不同的Shader来创建Program。GPUImageFilter一共提供了三个初始化方法：

- (id)initWithVertexShaderFromString:(NSString *)vertexShaderString fragmentShaderFromString:(NSString *)fragmentShaderString;
- (id)initWithFragmentShaderFromString:(NSString *)fragmentShaderString;
- (id)initWithFragmentShaderFromFile:(NSString *)fragmentShaderFilename;

第二个和第三个初始化方法最终都调用了第一个初始化方法，而使用的VertexShader就是上一篇文章中提到的默认VertexShader。在初始化方法中，主要做的事情有：

设置默认属性：

    _preventRendering = NO;
    currentlyReceivingMonochromeInput = NO;
    inputRotation = kGPUImageNoRotation;
    backgroundColorRed = 0.0;
    backgroundColorGreen = 0.0;
    backgroundColorBlue = 0.0;
    backgroundColorAlpha = 0.0;

使用Shader创建Program，并且进行初始化：

filterProgram = [[GPUImageContext sharedImageProcessingContext] programForVertexShaderString:vertexShaderString fragmentShaderString:fragmentShaderString];
        
        if (!filterProgram.initialized)
        {
            [self initializeAttributes];
            
            if (![filterProgram link])
            {
                NSString *progLog = [filterProgram programLog];
                NSLog(@"Program link log: %@", progLog);
                NSString *fragLog = [filterProgram fragmentShaderLog];
                NSLog(@"Fragment shader compile log: %@", fragLog);
                NSString *vertLog = [filterProgram vertexShaderLog];
                NSLog(@"Vertex shader compile log: %@", vertLog);
                filterProgram = nil;
                NSAssert(NO, @"Filter shader link failed");
            }
        }
        
        filterPositionAttribute = [filterProgram attributeIndex:@"position"];
        filterTextureCoordinateAttribute = [filterProgram attributeIndex:@"inputTextureCoordinate"];
        filterInputTextureUniform = [filterProgram uniformIndex:@"inputImageTexture"]; 
        
        [GPUImageContext setActiveShaderProgram:filterProgram];
        
        glEnableVertexAttribArray(filterPositionAttribute);
        glEnableVertexAttribArray(filterTextureCoordinateAttribute);

GPUImage在将OpenGL ES命令面向对象化的过程中，其实是有很多默认的命名的，比如顶点位置的attribute name就是position；顶点纹理坐标的位置的attribute name就是inputTextureCoordinate；而第一个sampler的uniform的位置就是inputImageTexture。

其中initializeAttributes就给子类提供了一个添加更多Attributes的Hook。如果你的shader有更多的属性的话，那么就在覆盖这个方法，并且调用super的实现，然后添加上自己的Attributes。默认的实现是：

- (void)initializeAttributes;
{
    [filterProgram addAttribute:@"position"];
    [filterProgram addAttribute:@"inputTextureCoordinate"];
}

glEnableVertexAttribArray命令是告诉Program我们将会使用这些attribute index的attribute，并给他们传值。

GPUImageOutput

GPUImageFilter中，使用的多数GPUImageOutput的功能都直接继承自父类；有进行覆盖的主要是两个方法：

- (void)useNextFrameForImageCapture;
{
    usingNextFrameForImageCapture = YES;

    // Set the semaphore high, if it isn't already
    if (dispatch_semaphore_wait(imageCaptureSemaphore, DISPATCH_TIME_NOW) != 0)
    {
        return;
    }
}

- (CGImageRef)newCGImageFromCurrentlyProcessedOutput
{
    double timeoutForImageCapture = 3.0;
    dispatch_time_t convertedTimeout = dispatch_time(DISPATCH_TIME_NOW, timeoutForImageCapture * NSEC_PER_SEC);

    if (dispatch_semaphore_wait(imageCaptureSemaphore, convertedTimeout) != 0)
    {
        return NULL;
    }

    GPUImageFramebuffer* framebuffer = [self framebufferForOutput];
    
    usingNextFrameForImageCapture = NO;
    dispatch_semaphore_signal(imageCaptureSemaphore);
    
    CGImageRef image = [framebuffer newCGImageFromFramebufferContents];
    return image;
}

这两个方法主要都用来进行静态图片的处理，并且返回处理的结果。代码实现并不难，useNextFrameForImageCapture方法在之前的GPUImageOutput中已经详细介绍过，主要是为了防止FrameBuffer被过度释放。
newCGImageFromCurrentlyProcessedOutput则是调用了当前Filter的outputFrameBuffer的newCGImageFromFramebufferContents方法获取处理过的图片。

GPUImageInput

GPUImageInput协议是GPUImageFilter实现的重点。理解了这一块的代码对整个FilterChain的渲染流程非常有帮助。因此我们重点看一下这一块的代码：

newFrameReadyAtTime:atIndex:

这个方法会在上一个方法渲染完成后的informTargetsAboutNewFrameAtTime:中被调用。主要由两个部分组成：

渲染
渲染完成后通知target当前filter已经渲染完成。

- (void)newFrameReadyAtTime:(CMTime)frameTime atIndex:(NSInteger)textureIndex;
{
    [self renderToTextureWithVertices:imageVertices textureCoordinates:[[self class] textureCoordinatesForRotation:inputRotation]];

    [self informTargetsAboutNewFrameAtTime:frameTime];
}

具体的渲染过程我们会在接下来单独解析。因此我们首先看一下informTargetsAboutNewFrameAtTime:方法：

- (void)informTargetsAboutNewFrameAtTime:(CMTime)frameTime;
{
    if (self.frameProcessingCompletionBlock != NULL)
    {
        self.frameProcessingCompletionBlock(self, frameTime);
    }
    
    for (id<GPUImageInput> currentTarget in targets)
    {
        if (currentTarget != self.targetToIgnoreForUpdates)
        {
            NSInteger indexOfObject = [targets indexOfObject:currentTarget];
            NSInteger textureIndex = [[targetTextureIndices objectAtIndex:indexOfObject] integerValue];

            [self setInputFramebufferForTarget:currentTarget atIndex:textureIndex];
            [currentTarget setInputSize:[self outputFrameSize] atIndex:textureIndex];
        }
    }
    
    [[self framebufferForOutput] unlock];
    
    if (usingNextFrameForImageCapture){}
    else{
        [self removeOutputFramebuffer];
    }    
    
    for (id<GPUImageInput> currentTarget in targets)
    {
        if (currentTarget != self.targetToIgnoreForUpdates)
        {
            NSInteger indexOfObject = [targets indexOfObject:currentTarget];
            NSInteger textureIndex = [[targetTextureIndices objectAtIndex:indexOfObject] integerValue];
            [currentTarget newFrameReadyAtTime:frameTime atIndex:textureIndex];
        }
    }
}

这个方法分为几个重要功能：

调用frameProcessingCompletionBlock。因为这个时候，一个Frame已经渲染完毕了，因此可以调用Output中的frameProcessingCompletionBlock来进行相应的后续处理；
给所有的target进行内容传递，主要的代码是：

[self setInputFramebufferForTarget:currentTarget atIndex:textureIndex];
[currentTarget setInputSize:[self outputFrameSize] atIndex:textureIndex];

首先是将frameBuffer传递给所有的target以及对应的textureIndex。然后将当前FrameBuffer的size也传递给所有的target。因为target需要根据这个size来从FrameBufferCache中获取FrameBuffer。

将当前的outputFrameBuffer 进行unlock操作。因为每个target在setInputFrameBufferForTarget的时候都会对这个frameBuffer进行一次lock操作，因此在这个时候，当前的output对这个frameBuffer的使用已经结束。如果调用过useNextFrameForImageCapture方法来截图的话，则不能讲这个outputFrameBuffer给remove掉，因为还要进行截图操作。
调用所有target的newFrameReadyAtTime:frameTime :atIndex:方法，告诉所有的target进行他们该做的事情。

nextAvailableTextureIndex

由于默认的Filter只有一个输入的frameBuffer，因此下一个可用的textureIndex为0.

- (NSInteger)nextAvailableTextureIndex;
{
    return 0;
}

setInputFramebuffer:atIndex

在informTargetsAboutNewFrameAtTime中，会对每个target都调用这个方法。这个方法做的最重要的事情就是保留住这个frameBuffer，让它不会被归还到FrameBufferCache中，从而能够使用这个frameBuffer的结果进行渲染。

- (void)setInputFramebuffer:(GPUImageFramebuffer *)newInputFramebuffer atIndex:(NSInteger)textureIndex;
{
    firstInputFramebuffer = newInputFramebuffer;
    [firstInputFramebuffer lock];
}

其他属性的传递：

除了FrameBuffer之外，Filter之间还需要传递其他的属性，包括inputSize以及inputRotation。inputSize是用来从FrameBufferCache中获取frameBuffer的，而inputRotation则是用来计算真正进行渲染的size以及textureCoordinate的。

渲染过程

GPUImageFilter最重要的任务就是进行渲染，因此我们将着重解析一下渲染模块的代码。
在OpenGL ES Program创建好并且link成功了之后，我们就可以使用这个Program进行渲染了。整个渲染的过程发生在- (void)renderToTextureWithVertices:textureCoordinates:中。我们也借着解析这个方法来熟悉一下OpenGL ES的渲染过程：

第一步是将当前program所在的context设置为默认context；
第二步是将当前的program设置为active，然后才能使用：

[GPUImageContext setActiveShaderProgram:filterProgram];

这两部都发生在GPUImageContext中的setActiveShaderProgram:filterProgram方法中：

+ (void)setActiveShaderProgram:(GLProgram *)shaderProgram;
{
    GPUImageContext *sharedContext = [GPUImageContext sharedImageProcessingContext];
    [sharedContext setContextShaderProgram:shaderProgram];
}

第三步是获得一个渲染的标的物，即GPUImageFrameBuffer，并且将其设置为active。根据之前的介绍，我们是从GPUImageFrameBufferCache中获得这个frameBuffer的。如果需要获得当前filter的处理结果的话，那么久需要再次将这个frameBuffer进行lock。

    outputFramebuffer = [[GPUImageContext sharedFramebufferCache] fetchFramebufferForSize:[self sizeOfFBO] textureOptions:self.outputTextureOptions onlyTexture:NO];
    [outputFramebuffer activateFramebuffer];
    if (usingNextFrameForImageCapture)
    {
        [outputFramebuffer lock];
    }

将整个FrameBuffer的数据使用backgroundColor进行清空：

glClearColor(backgroundColorRed, backgroundColorGreen, backgroundColorBlue, backgroundColorAlpha);
glClear(GL_COLOR_BUFFER_BIT);

将上一个Output传递过来的FrameBuffer作为texture用来渲染：

glActiveTexture(GL_TEXTURE2);
glBindTexture(GL_TEXTURE_2D, [firstInputFramebuffer texture]);
glUniform1i(filterInputTextureUniform, 2);

将顶点的位置信息以及顶点的纹理坐标信息作为attribute传递给GPU：

glVertexAttribPointer(filterPositionAttribute, 2, GL_FLOAT, 0, 0, vertices);
glVertexAttribPointer(filterTextureCoordinateAttribute, 2, GL_FLOAT, 0, 0, textureCoordinates);

进行渲染：

glDrawArrays(GL_TRIANGLE_STRIP, 0, 4);

释放上一个output传过来的frameBuffer。因为在当前的Filter中，这个FrameBuffer的任务已经完成，应该让它尽快回到Cache中进行重用。

[firstInputFramebuffer unlock];

至此，整个渲染过程就结束了。

GLProgram的交互

在不同的Filter中，渲染的不同效果主要是在FragmentShader中造成的。因此为了实现不同的效果，FragmentShader中会有很多不一样的uniform。因此，GPUImageFilter提供了一些通用的方法，让子类可以轻松的进行设置。这些方法只是简单的对OpenGL ES命令进行面向对象包装，并且提供了一个恢复机制。以float型的uniform为例：

- (void)setFloat:(GLfloat)floatValue forUniform:(GLint)uniform program:(GLProgram *)shaderProgram;
{
    runAsynchronouslyOnVideoProcessingQueue(^{
        [GPUImageContext setActiveShaderProgram:shaderProgram];
        [self setAndExecuteUniformStateCallbackAtIndex:uniform forProgram:shaderProgram toBlock:^{
            glUniform1f(uniform, floatValue);
        }];
    });
}

其他的所有类型的uniform可以同理而论。

总结

GPUImageFilter是整个框架的核心，它实现了很多的基础功能，也提供了很多可供子类覆盖和调用的方法。作者通过良好的设计，使得整个Filter的使用和继承非常方便，有很多值得学习的设计思路。

GPUImage源码解析 -- GPUImageFilter

Initialize

GPUImageOutput

GPUImageInput

newFrameReadyAtTime:atIndex:

nextAvailableTextureIndex

setInputFramebuffer:atIndex

其他属性的传递：

渲染过程

GLProgram的交互

总结

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读