翻出了4年前实习期间手绘梳理的Android图形框架，其实有些细节都记不清了。 所以这里再文字梳理一边，加深理解也作为一个积淀，接下来希望能梳理清楚Android系统如何进行HDR上屏的。
先笼统来说，我们知道，我们将某个图像在Androids设备上显示涉及下述环节：
1. 我们将要显示的数据交付给Android系统（Canvas、OpenGLES、Vulkan），
2. Android系统将要显示的内容处理成相应的buffer（GUI+芯片），
3. 显示硬件根据buffer数据使显示屏每个像素发出对应的光（LCD、OLED屏幕设备）。
GUI架构处理的就是上述的第二步。
———— ———— ———————————————————————————
推荐相关文章：
从Android的基本View组件解释view hierarchy如何与Android GUI协作：
https://www.zhihu.com/question/25811504
GUI最重要成员Surface、SurfaceFlinger介绍：
Android 卷I-Surface系统，从Android的基本View组件解释view hierarchy如何与Android GUI协作：
https://wiki.jikexueyuan.com/project/deep-android-v1/surface.html
SurfaceFlinger 图形系统：
https://blog.csdn.net/freekiteyu/article/details/79483406
SurfaceFlinger 用于应用程序的典型绘图流程：
https://blog.csdn.net/xuesen_lin/article/details/8954840
SurfaceFlinger如何OpenGLES联动起来：
https://blog.csdn.net/xuesen_lin/article/details/8954553
承载图像信息的Buffer的介绍：
罗神的Android帧缓冲区（Frame Buffer）硬件抽象层（HAL）模块Gralloc的实现原理分析： https://blog.csdn.net/Luoshengyang/article/details/7747932
———— ———— ———————————————————————————
从手绘纸最上面开始说吧，Android 框架提供了各种用于 2D 和 3D 图形渲染的 API，可与制造商的图形驱动程序实现代码交互，
应用开发者可通过三种方式将图像绘制到屏幕上：使用画布、OpenGL ES 或 Vulkan。2D指的没有开启硬件加速的Canvas，但是针对Android 4.0以上的系统，默认开启了硬件加速，所以我们基本上可以理解图像绘制目前市面上Android手机都会用到GPU处理。
不过不管是2D还是3D、Canvas还是gles或是Vulkan，我们都会把绘制数据画到Surface上去。注意这里Surface不等于我们常说SurfaceView。最直接理解，Surface就是作为SurfaceFlinger的代理，SurfaceFlinger作为系统服务，是系统资源，供各个App使用，每个App要去用这个资源就需要代理交接，而这个代理对接什么呢？window，窗口。
Window拥有一个Surface，在Surface里绘制Window里的内容。一个application通过ViewRoot向Windows Manager Service申请创建窗口，WMS也是系统服务负责分配窗口资源，Windows Manager为每一个窗口创建Surface来让application在上面绘制各种物体。我们看到android机上各种图案都是通过一个个win来组织的，win有很多种 比如systemWindow，status bar（电量、wifi、信号那块）、navigation bar（home页，前进，后退）、还有我们开发者最熟悉的Activity对应的win，application window。各种window，z轴叠加，如果布局不好会挡住，这也是为什么各种刘海屏幕、曲面屏幕，手机厂商都有一定的适配工作。
Activity内的各种子view布局就灵活很多，最终布局也会由ViewRoot来管理，管理的结构是一个叫View Hierarchy（视窗继承关系）根据这个关系，View Root把Activity里的各种子View 布局好规划好映射到 Surface里的buffer里去，这样子，当我们一个View内容发生改变的时候，我们不用整个surface里面的buffer更新，只用更新部分区域，这个过程就是下图中的invalidate和draw。
说到这里，可以引出 SurfaceView，它独立于Activity，有自己的线程（当然 生命周期还是需要依附于Activity），有自己独立的window，我们知道window是z轴排列的，所以一般SurfaceView是与Activity是存在“覆盖”关系的，在有的比较低性能的手机上我们切换应用的时候，可以看到activity与surfaceview是分开的，activity的一般会布局上“挖个透明区域”留给SurfaceView显示。由于SurfaceView的独立线程特性，使得它很适合用来做一些相对耗时可能会block的事情，比如视频媒体相关的。
同时媒体展示还有一个常用的控件，叫做TextureView，参考到Google Android Developer：https://developer.android.com/reference/android/view/TextureView，这个控件通过SurfaceTexture可以使用GPU资源，这点跟SurfaceView一样，但是它没有自己独立的window，它跟其他控件一样从属于ViewRoot，对应的是整个Activity的window，在View Hierarchy结构中，也是为什么这个控件可以轻易的“ moved, transformed, animated, etc.”。还有一个东西叫GLSurfaceView，这个是封装好了的SurfaceView，也能够配置HDR色域，而且吧这个控件游戏常用到，也就是说，HDR技术也可以落地到游戏上去。
一个有独立的window，一个从属于ViewRoot的window，所以SurfaceView为什么transform往往需要开发者自行开发，但是ViewRoot早已预设了控件transform的能力，SurfaceTexture沿用就好。
到这里简单描述一下我理解得的 常见的activity、surfaceview如何“承上”（承载App里各种view）了，接下来就是比较难的Android GUI的内容了，我把它概括为启下？把我们期待App的中各个区块的内容填充告诉到Android 系统服务。
启下的起点就从surface开始吧，
上面我们提到了 surface，surface在我看来是两个东西组成，一个是buffer queue，实现一套生产者消费者模式；一个是缓存，buffer queue传送的东西，存储着我们“承上”来的绘制或者素材数据，比如我粗暴地理解成bitmap。
消费者生产者模式，我们的应用、系统应用、各种窗口生产出要上屏的内容，这些内容以surface的形式，交由给SurfaceFlinger进行整合生产出整块屏幕显示内容给Display HAL层去上屏；怎么交由呢？surface中还有一个可以跟SurfaceFlinger系统服务打交道的代理，我们应用的surface当然在我们应用进程，要跟 SurfaceFlinger 打交道需要跨进程，所以不是即时的，我们常常说屏幕的刷新帧率多少，比如120hz屏幕，其实也对应着SurfaceFlinger需要每秒钟整合多少次屏幕内容，或者我们可以理解成每1/120s，SurfaceFlinger就把这段时间，各个进程送来的上屏内容收集，然后一层一层的摞起来，整合成一个整个屏幕的画面数据；SurfaceFlinger与Display HAL之间也有一个 buffer queue， 一个存放当前上屏数据，一个存放着下一个上屏数据，120hz屏幕每1/120s交替一次。
以上就是根据我的理解大致的描述发生在Android系统服务中上屏过程，如若有什么地方说的错误的，望指正；
那么HDR这个能力是怎么在Android的上屏过程中实现的呢？我通过上网查阅资料以及分析Dump下来的SurfaceFlinger的信息，大致脑补出了一个workflow，仅供参考：
首先，我们知道，对于上屏内容处理，SurfaceFlinger处理的单元是Layer，确实每一Layer都有字段标识它是不是HDR以及HDR mode。
所以对于第三方开发，我们需要做的就是把HDR信息配置到window上去，这个信息最终会配置到对应的Layer上。Google Android Developer有介绍一些方法。https://developer.android.com/training/wide-color-gamut
然后我们知道SurfaceFlinger每次要处理很多Layer，一般UI layer的数据是8bit sRGB，而如果有一个layer是 10bit HDR RGB。与此同时平时厂商介绍手机的时候，色域的介绍基本上都是覆盖P3 or DCI-P3色域百分之多少，其实也就是说，即使layer是 10bit HDR，其实就目前的手机屏幕支持的色域能力而言，我们手机也展示不了真实的BT 2020的色域下的表现，是转到了P3色域下的表现。所以在这个屏幕的广色域模式下，任何颜色最终都是映射到P3色域上。
SDR的layer经过一次 Color Gamut转化，将BT709的颜色映射到P3的色域下；而HDR的layer除了需要经历Color Gamut转化，将BT2020的颜色映射到P3的色域下之外还需要color-transfer的转换，比如说PQ模式，由于屏幕硬件设备的Gamma值是固定的，假定是值a，芯片可以通过对PQ模式下Layer的RGB值乘上一个系数，Color-Transfer（PQ）/ a , 最终也实现了对应的Color-Transfer的作用，当然可能因为手机屏幕远达不到HDR标准值的亮度值要求，Color-Transfer（PQ）值可能被优化过,相较之下 iOS的HDR能力反而做的好得多。
接下来谈下HDR跟屏幕之间的关系。
目前常常各大厂商PR稿在介绍屏幕能力的时候会着重强调自己的屏幕是OLED屏幕。其实OLED屏幕之前，主流的手机的屏幕是LCD屏幕。OLED屏幕虽然有很多被人吐槽的点，比如说烧屏、低频PWM调光晃眼睛，但是它的发光特性却非常适合HDR功能。OLED屏幕是屏幕整齐排布的是自行发光体，而LCD屏幕是屏幕排布的只是滤镜元件，亮度通过背光实现，有点像是皮影戏，后面打着大灯控制亮度，前面带有颜色的滤镜片控制颜色，这种背光的模式导致即使屏幕要显示带有黑色的画面，但是黑色区域也不是真正的无光，只是相对的黑，但是OLED屏幕就可以控制黑色区域完全不发光就可以实现“极致的黑”，所以当分母为0，亮度比就可以非常非常大，所以OLED屏幕的亮度比远大于LCD屏幕。而我们知道，HDR技术的目的是让明暗细节都能在同一帧画面中体现出来，OLED的屏幕的特性就与HDR目的非常契合，所以移动端的HDR技术常常和OLED屏幕联系起来。
絮絮叨叨先说到这里了。
网友评论