美文网首页音视频研发待学习
[转载] ANDROID中的EGL扩展

[转载] ANDROID中的EGL扩展

作者: WindsOfDanzon | 来源:发表于2019-05-24 11:24 被阅读31次

    作者:TANGZHIMING
    原文:http://tangzm.com/blog/?p=167

    Google在Android中对egl做了一些扩展,让整个显示渲染的软件体系运行地更加有效率。在我们分析,修改SurfaceFlinger代码的过程中,经常可以看到这些egl扩展相关的代码,比如android native fence, KHR image等等。虽然跳过这些内容对理解SurfaceFlinger本身影响并不大,但是在阅读代码时,每次看到这些”小石头”,心理总不很舒服。因此,稍微花了一些时间,找了一些KHRONOS的文档,结合SurfaceFlinger源代码,大致对这些EGL扩展做了一点点基本的了解。

    BufferQueue的生产者/消费者模型

    在进入讨论这些扩展之前,先简单回顾下Andriod BufferQueue的运行机制。

    在Android (3.0之后),上到application,下到surfaceflinger, 所有的绘制过程都采用OpenGL ES来完成。对于每个绘制者(生产者,内容产生者)来说,步骤大致都是一样的。

    (1)获得一个Surface(一般是通过SurfaceControl)

    (2)以这个Surface为参数,得到egl draw surface 和 read surface. 通常这俩是同一个对象

    (3)配置egl config,然后调用eglMakeCurrent()配置当前的绘图上下文。

    (4)开始画内容,一般通过glDrawArray()或者glDrawElemens()进行绘制

    (5)调用eglSwapBuffers() swap back buffer和front buffer。

    (6)回到第4步,画下一帧。

    我们知道,所有的绘制,最后的结果无非是一块像素内存,内部存放了RGB,或者YUV的值;这块内存,也就是Surface的backend。在Android中,为了让内容生产者和消费者可以并行工作,每个Surface背后都采用了三倍的内存缓冲(MTK是四倍缓冲),这样,当绘制者在绘制的时候,不会影响当前屏幕的显示,而且,绘制者画完一帧之后,一般立即就可以再获得一块新的Buffer进行下一帧的绘制,而无需等待。

    BufferQueue-State-New-Page.jpeg

    在图中,BufferQueue中的buffer被标记成4种状态:

    (1)FREE 表示该Buffer没有被使用,且内容为空

    (2)DEQUEUED 表示该Buffer正在被内容生产者绘制

    (3)QUEUED 表示该Buffer已经被绘制了内容,放入BufferQueue,等待被显示(或者下一步处理)

    (4)ACQUIRED 表示该Buffer正在被消费者拿去做显示(或者下一步处理)

    状态的迁徙总是 FREE=>DEQUEUED=>QUEUED=>ACQUIRED=>FREE。

    生产者做eglMakeCurrent()的时候,它会从BufferQueue中找到一个处于FREE的item,标记为DEQUEUED,并将它作为当前绘制的目标。画完之后,当生产者调用eglSwapBuffers()时,将当前DEQUEUED Buffer置为QUEUED,标记它可以被显示(或者下一步处理),同时再从BufferQueue中寻找另一个状态为FREE的Buffer Item,置为DEQUEUED,继续绘制。

    在另一端,BufferQueue的消费者(一般是SurfaceFlinger,也可能是某些ImageProcessor)从BufferQueue中寻找被标记成QUEUED的item,进行显示或者下一步处理。生产者和消费者类的关系图谱可参考下图:

    Surface-New-Page.jpeg

    EGL_ANDROID_image_native_buffer

    讲完了BufferQueue的机制之后,可以进入正题了。Andriod引入的第一个扩展是EGL_ANDROID_image_native_buffer。由于在OpenGL ES中,上传纹理(glTexImage2D(), glSubTexImage2D())是一个极为耗时的过程,在1080×1920的屏幕尺寸下传一张全屏的texture需要20~60ms。这样的话SurfaceFlinger就不可能在60fps下运行。因此, Android采用了image native buffer,将graphic buffer直接作为纹理(direct texture)进行操作。

    image native buffer在Android上的使用相当方便:

    首先用Graphic Buffer创建一个EGLImageKHR

    然后将该egl image绑定到texture2D OES上

    如果需要在OpenGL ES中引用该纹理,则须在glsl中将类型从sampler2D改为samplerExternalOES,例如

    EGL_ANDROID_native_fence_sync

    在讨论Android native fence sync之前,我们先来考虑下,CPU与GPU如何同步协调的问题。我们知道,OpenGL ES的API call实际上是一系列的command,当用户调用这些API时,这些command会被OpenGL的lib库(或者下层的驱动?)缓存起来。手动调用glFlush()会强制将当前context中的所有命令送入GPU执行,但在这些命令执行结束之前,glFlush()就会返回。glFinish()将所有命令送入GPU,并等待这些命令都执行结束之后才返回。

    看起来,glFinish()是同步CPU和GPU工作一个可行的方式。但是glFinish()的缺陷也很明显,在GPU工作的期间,当前的线程一直处于等待状态,如果没有其他线程有工作要做(被CPU调度执行)的话,这段时间CPU就被白白浪费了。此外,如果是其他线程在等待GPU任务完成的话,还必须手动在glFinish()之后通过Condition进行通知。于是,KHRONOS在此基础上增加了EGL_KHR_fence_sync(fence同步对象)。通过eglCreateSyncKHR(),会在当前的GL context的当前位置(所有之前被调用的command之后)中创建一个类型为EGLSyncKHR的fence对象。之后当前线程或者其他任何线程都可以在这个fence同步对象上通过eglClientWaitSyncKHR()等待,就像等待一个Condition一样。和Condition类似,wait函数还可以接受一个timeout参数,指定超时的条件。下图中演示了egl fence如何同步GPU和多个线程。

    android fence1

    Android native fence在KHR fence更进一步。可以从fence object中得到一个fd(文件描述符),或者从fd生成一个sync object。有了这个功能,Android把同步的范围从多个线程扩展到多个进程!这对Android来说可太重要了,因为我们知道,BufferQueue的生产者和消费者大多不在一个进程内,有了android native fence,就可以在多进程的环境中同步Buffer的使用了。

    也许有人要问,干吗那么麻烦啊,BufferQueue Item不是有状态吗?通过状态判断graphic buffer的使用情况不就行了吗?实际上,Android为了让CPU和GPU更好地并行工作,BufferQueue Item的状态设置并没有等到graphic buffer(在GPU端)的操作完全结束,也就是说,当生产者调用eglSwapBuffers()的时候,BufferQueue Item的状态被立即改写(DEQUEUED=>QUEUED, FREE=>DEQUEUED)而没有用glFinish()等待所有操作结束再设置。这样,生产者和消费者都能尽快进行下一步处理。这样,就带来一个问题,消费者如何知道graphic buffer已经被“真正”写完了,生产者如何知道graphic buffer已经被真正被消费者使用完,释放了。答案当然就是android native fence。

    一方面,生产者在eglSwapBuffers()后插入acquire fence,消费者通过等待这个fence知道graphic buffer被真正写入,然后进行消费(显示…)。另一方面,当消费者处理完成之后,会插入relese fence,当生产者在dequeueBuffer()时,会等待这个fence,但后真正进入可以绘制的状态。

    让我们从代码中看看这些产生和等待fence的具体位置

    Acquire Fence
    1. EGL的驱动(lib)在queueBuffrer时会传入acquire fence. (See code)
    2. Android系统通过Binder调用到位于SurfaceFlinger的BufferQueue::queueBuffer(), 将fence作为参数传入。BufferQueue将fence记录在slot中 (see code)
    3. 当SurfaceTexture(也就是ConsumerBase)acquireBuffer的时候,acquire fence被存入slot (see code)
    4. 如果这个Surface会被SurfaceFlinger拿来做显示,那么分两种情况。加入用GLES做合成,那么在Layer::onDraw()时会在SurfaceTexture的fence上等待(see code), 如果用HWC合成,则SurfaceFlinger将该fence传给HWC(see code)。虽然我们看不到HWC的代码实现,但正确实现的HWC会在内部等待所有的fence被signal以后才进行合成
    5. 如果这个Surface被拿来作为纹理,在另一个GL context中进行绘制的话。由于SurfaceTexture无法知道该纹理在什么时候被真正使用,因此在SurfaceTexture::updateTexImage()中Android会等待fence被trigger,才完成update.(see code)
    Release Fence

    反过来,Release Fence用来通知生产者,消费者什么时候完成对graphic buffer的使用。

    1. 如果Surface被SurfaceFlinger用作Layer合成显示,那么在SurfaceFlinger::postComposition()中,SurfaceFlinger会为每个Surface设置release fence。这个release fence的生成是由HWC或者FrameBuffer的GLES完成的。HWC和FB GLES都应该保证在release fence在合适的位置生成
    2. 如果Surface被用作纹理,那么该graphic buffer的命运有两种。一是在SurfaceTexture::updateTexImage()中旧的graphic buffer被新的graphic buffer替换;二是在SurfaceTexture::detachFromContext()中该graphic buffer被从当前的GL上下文detach。无论哪种情况,SurfaceTexture都会调用syncForReleaseLocked插入release fene
    3. 最后,在BufferQueue::dequeueBuffer()中,BufferQueue会用eglClientWaitSyncKHR()等待release fence被signal;在此之后生产者才能真正dequeue到一个graphic buffer,开始绘制。

    EGL_ANDROID_framebuffer_target

    除了HWC,SurfaceFlinger也会采用GLES方式(FrameBuffer方式)来合成Surface。为了区分普通的EGL上下文(渲染结果被用作HWC输入或者GLES的纹理)和FrameBuffer专用的EGL上下文(渲染结果被输出到FrameBuffer上),Android采用了EGL_FRAMEBUFFER_TARGET_ANDROID CONFIG属性来标记需要一个FrameBuffer的EGL上下文。具体的信息可以参考KHRONOS标准

    EGL_ANDROID_recordable

    参考KHRONOS标准

    EGL_ANDROID_blob_cache

    参考KHRONOS标准

    相关文章

      网友评论

        本文标题:[转载] ANDROID中的EGL扩展

        本文链接:https://www.haomeiwen.com/subject/txibzqtx.html