在日常的图形、音视频开发中，我们都会不可避免的使用到图形API，来实现图形的底层渲染：
- 比如在游戏开发中，对于游戏场景/游戏人物的渲染
- 比如在⾳视频开发中，对于视频解码后的数据渲染
- 比如在地图引擎，对于地图上的数据渲染
- 比如在动画中，实现动画的绘制
- 比如在视频处理中，对于视频加上滤镜效果
常见的OpenGL /OpenGL ES/ Metal/ DirectX技术的本质就是利用GPU芯片来高效的渲染图形图像。
图形渲染的相关技术
-
OpenGL (Open Graphics Library)，翻译为开放图形库或者开放式图形库，是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口(API)。常用于CAD、虚拟现实、科学可视化程序和电子游戏开发。 -
OpenGL ES (OpenGL for Embedded Systems)是OpenGL三维图形API的⼦集，针对手机、PDA和游戏主机等嵌入式设备而设计，去除了许多不必要和性能较低的API接口，比如去除了glBegin/glEnd，四边形(GL_QUADS)、多边形GL_POLYGONS等复杂图元。 -
DirectX (Direct eXtension，简称DX)是由微软公司创建的多媒体编程接口，是一种应用程序接口。DirectX可以让以windows为平台的游戏或多媒体程序获得更高的执行效率，加强3D图形和声音效果，并提供设计人员一个共同的硬件驱动标准，让游戏开发者不必为每一品牌的硬件来写不同的驱动程序，也降低用户安装及设置硬件的复杂度。按照性质分类，可以分为四大部分，显示部分、声音部分、输入部分和网络部分。 -
Metal是Apple为游戏开发者推出了新的平台技术，用于为3D 图像提高渲染性能，它是一种低层次的渲染应用程序编程接口，提供了软件所需的最低层，保证软件可以运行在不同的图形芯片上。
OpenGL专业词汇
context
OpenGL上下文，在应⽤程序调⽤任何OpenGL的指令之前，首先需要创建⼀个OpenGL的上下文。这个上下⽂是⼀个⾮常庞⼤的状态机，保存了OpenGL中的各种状态，这也是OpenGL指令执⾏的基础。
OpenGL的函数不管在哪个语⾔中，都是类似C语⾔一样的面向过程的函数。本质上都是对OpenGL上下⽂这个庞⼤的状态机中的某个状态或者对象进行操作。通过对OpenGL指令的封装，可以将OpenGL的相关调⽤封装成为⼀个⾯向对象的图形API。
由于OpenGL上下⽂是⼀个巨⼤的状态机，切换上下文往往会产生较⼤的开销，但是不同的绘制模块，可能需要使⽤完全独立的状态管理。因此，可以在应⽤程序中分别创建多个不同的上下文，在不同线程中使⽤不同的上下文，上下⽂之间共享纹理、缓冲区等资源。这样的方案，会比反复切换上下⽂，或者⼤量修改渲染状态，更加合理高效。
状态机
OpenGL状态机描述了一个对象在其生命周期内所经历的各种状态，状态间的转变，发生转变的原因，条件及转变中所执⾏的活动。具有以下特点:
- 有记忆功能，能记住当前的状态
- 可以接收输入，根据输入的内容和⾃己的原先状态，修改⾃己当前状态，并且可以有对应输出
- 当进⼊特殊状态(停机状态)的时候，不再接收输入，停⽌工作
render
渲染，将图形/图像数据转换成3D空间图像的操作。
顶点数组&&顶点缓冲区
顶点数据指的是我们在绘制一个图形时，它的顶点位置数据。而这个数据可以直接存储在数组中或者将其缓存到GPU内存中。OpenGL中的图像都是由图元组成，在OpenGL中，有3种类型的图元:点、线、三⻆角形。开发者可以选择设定函数指针，在调⽤用绘制⽅法的时候，直接由内存传入顶点数据，也就是说这部分数据之前是存储在内存当中的，被称为顶点数组。⽽性能更高的做法是，提前分配⼀块显存，将顶点数据预先传⼊到显存当中。这部分的显存，就被称为顶点缓冲区。
管线
管线(pipeline)，可以理解为渲染流水线，实际上指的是一堆原始图形数据途经一个输送管道，期间经过各种变化处理最终出现在屏幕的过程。
固定管线
在渲染图像的过程中，只能固定管线效果实现着色器处理。比如说只包含了光照、坐标变换、裁剪等功能的固定程序。
着⾊器程序Shader
将固定渲染管线架构变为了可编程渲染管线。OpenGL在实际调⽤绘制函数之前，还需要指定⼀个由shader编译成的着色器程序。OpenGL在处理理shader时，和其他编译器一样。通过编译、链接等步骤，⽣成了着⾊器程序(glProgram)，着⾊器程序同时包含了顶点着⾊器和⽚段着⾊器的运算逻辑。在OpenGL进行绘制的时候，⾸先由顶点着⾊器对传⼊的顶点数据进⾏运算。再通过图元装配，将顶点转换为图元。然后进⾏光栅化，将图元这种⽮量图形，转换为栅格化数据。最后，将栅格化数据传入⽚段着⾊器中进⾏运算。⽚段着⾊器会对栅格化数据中的每一个像素进行运算，并决定像素的颜⾊。
常见的着⾊器主要有顶点着⾊器(VertexShader)，⽚段着⾊器(FragmentShader)/像素着⾊器(PixelShader)，几何着⾊器(GeometryShader)，曲⾯细分着⾊器(TessellationShader)。
顶点着⾊器VertexShader
顶点着⾊器是OpenGL中用于计算顶点属性的程序。顶点着⾊器是挨个顶点运算的程序，也就是说每个顶点数据都会执⾏一次顶点着⾊器，当然这是并行的，并且顶点着⾊器运算过程中⽆法访问其他顶点的数据。一般⽤来处理图形每个顶点变换(旋转、平移、投影等)。
⽚段着⾊器(FragmentShader)
片段着⾊器是OpenGL中用于计算片段(像素)颜色的程序。⽚段着⾊器是逐像素运算的程序，也就是说每个像素都会执⾏一次⽚段着⾊器，也是并行的。一般⽤来处理图形中每个像素点颜⾊计算和填充。
GLSL(OpenGL Shading Language)
OpenGL着色语言(OpenGL Shading Language)是用来在OpenGL中着色编程的语言，也即开发人员写的短小的⾃定义程序，他们是在图形卡的GPU (Graphic Processor Unit图形处理单元)上执⾏的，代替了固定的渲染管线的一部分，使渲染管线中不同层次具有可编程性。比如:视图转换、投影转换等。GLSL(GL Shading Language)的着⾊器分成2个部分: 顶点着⾊器(VertexShader)，⽚段着⾊器(FragmentShader)。
光栅化Rasterization
光栅化，就是把顶点数据转换为⽚元的过程，具有将图转化为⼀个个栅格组成的图象的作用，每个元素对应帧缓冲区中一像素。也可以说光栅化，就是⼀种将⼏何图元变为2D图像的过程。
该过程包含了两部分的工作。第一部分工作决定窗口坐标中的哪些整型栅格区域会被基本图元占用；第⼆部分工作分配一个颜⾊色值和一个深度值到各个区域。光栅化过程产生的是片元。
把物体的数学描述以及与物体相关的颜⾊信息转换为屏幕上用于对应位置的像素及⽤于填充像素的颜色，这个过程称为光栅化，这是⼀个将模拟信号转化为离散信号的过程。
纹理(Texture)
OpenGL可以在软件如游戏显示界面里，生成各种物体，并可以赋予材质和对物体进行光照。但物体表面过于光滑和单调，看起来反而不真实。这是因为现实世界中的物体表面往往有各种纹理，即表面细节。所以就使用一张2D图片来添加物体的细节，这张图片就是纹理。
混合(blending)
在测试阶段之后，如果像素依然没有被剔除，那么像素的颜⾊将会和帧缓冲区中颜色附着上的颜色进行混合，混合的算法可以通过OpenGL的函数进行指定。但是OpenGL提供的混合算法是有限的，如果需要更加复杂的混合 算法，一般可以通过像素着色器进⾏实现，当然性能会比原⽣的混合算法差⼀些。
变换矩阵(Transformation)
图形发⽣平移、缩放、旋转等变换所需要使用的矩阵。
投影矩阵(Projection)
⽤于将3D坐标转换为2D屏幕坐标，实际线条也将在二维坐标下进行绘制。
渲染上屏/交换缓冲区(SwapBuffer)
渲染缓冲区⼀般映射的是系统的资源⽐如窗⼝。如果将图像直接渲染到窗口对应的渲染缓冲区，则可以将图像显示到屏幕上。值得注意的是，如果每个窗⼝只有⼀个缓冲区，那么在绘制过程中屏幕进⾏了刷新，窗⼝可能显示出不完整的图像。为了解决这个问题，常规的OpenGL程序⾄少都会有两个缓冲区。显示在屏幕上的称为屏幕缓冲区，没有显示的称为离屏缓冲区。在一个缓冲区渲染完成之后，通过将屏幕缓冲区和离屏缓冲区交换，实现图像在屏幕上显示。
由于显示器的刷新⼀般是逐⾏进⾏的，为了防⽌交换缓冲区的时候屏幕上下区域的图像分属于两个不同的帧，交换一般会等待显示器刷新完成的信号，在显示器器两次刷新的间隔中进⾏交换，这个信号就被称为垂直同步信号，这个技术被称为垂直同步。
使用了双缓冲区和垂直同步技术之后，由于总是要等待缓冲区交换之后再进⾏下⼀帧的渲染，使得帧率无法完全达到硬件允许的最⾼⽔平。为了解决这个问题，引⼊了三缓冲区技术。在等待垂直同步时，来回交替渲染两个离屏的缓冲区，⽽垂直同步发生时，屏幕缓冲区和最近渲染完成的离屏缓冲区交换，实现充分利利⽤硬件性能的⽬的。
网友评论