常见的图形API

• OpenGL(Open Graphics Library)是一个跨编程语言、跨平台的编程图形程序接口，它将计算机的资源抽象成为一个个OpenGL的对象，对这些资源的操作抽象成为一个个的OpenGL指令

• OpenCV(Open Source Computer Vision Library)OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。主要应用于识别

• OpenGL ES(OpenGL for Embedded Systems)是OpenGL三维图形API的子集，针对手机、PDA（Personal Digital Assistant）和游戏主机等嵌入式设备而设计，去除了许多不必要和性能较低的API接口

• DirectX是由很多API组成，DirectX并不是单纯的图形API。DirectX是属于Windows上的一个多媒体处理框架，不支持Windows以外的平台，不属于跨平台框架。DirectX可分为四大部分：显示部分、声音部分、输入部分和网络部分

• Metal是Apple为游戏开发者推出的新的平台技术，Metal能够为3D图像提高10倍的渲染性能。Metal是Apple为了解决3D渲染而推出的框架

图形API对比理解

• OpenGL VS OpenGL ES
OpenGL：往往用于PC图形图像渲染处理
  OpenGL ES：移动端（安卓，iOS）
• OpenGL VS OpenCV
OpenGL：渲染（以位图显示）
  OpenCV：识别（人脸识别/身份识别/物体识别）
• OpenGL ES VS Metal
  2018年之前Apple移动端的渲染（CoreAnimation）是基于OpenGL ES封装的框架，2018开始底层的渲染迁移到Metal，目前Metal是无法完成跨平台。对于Apple来说OpenGL ES是一个第三方框架，核心渲染处理肯定会被Metal逐步取代。Metal是调用GPU来进行运行（GPU并发运算，编码解码，识别，大量并发运算，开发更多的自定义入口，更多的利用GPU）

OpenGL上下文（context）

• 在应用程序调用任何OpenGL的指令之前，需要安排首先创建一个OpenGL的context。这个context是一个非常庞大的状态机，保存了OpenGL的各种状态，这也是OpenGL指令执行的基础
• OpenGL的函数不管在哪个语言中，都是类似C语言一样的面向过程函数，本事上都是对OpenGLcontext这个庞大的状态机中的某个状态或者对象进行操作，你得首先把这个对象设置为当前对象。因此，通过对OpenGL指令的封装，是可以将OpenGL的相关调用封装成一个面向对象的图形API
• 由于OpenGLcontext是一个巨大的状态机，切换context往往会产生江大的开销，但是不同的绘制模板，可能需要使用完全的状态管理。因此，可以在应用程序中分别创建多个不同的context，在不同的线程中使用不同的context，context之间共享纹理、缓冲区等资源。这样的方案，会比反复切换context，或者大量修改渲染状态，更加合适高效。

OpenGL状态机

• 状态机理论上是一个机器。状态机秒速了一个对象在其生命周期内经理的各种状态，状态的庄边的动因、条件及转变中所执行的活动。
  • 有记忆功能
  • 可以接受输入，根据输入的内容和自己的原先状态，修改自己当前状态，并可以有对应输出
  • 当进入特殊状态（停机）的时候，便不再接收输入，并停止工作

渲染

• Rendering将图形/图像数据转换成2D空间图像操作叫做渲染

顶点数组和顶点缓冲区

• VertexArray和Vertexbuffer
  • 绘图的时候需要先确定图形显示的区域，而确定这些区域所构成的顶点数据集合在内存中被称为VertexArray。OpenGL中的图像都是由土元组成，在OpenGL ES中，有三种类型的图元：点、线、三角形;
  • 高效的做法是我们可以提前分配一块显存将VertexArray传入其中。这部分显存我们称为Vertexbuffer

位图

• JPG/PNG 都是压缩图片
• 位图是压缩图片解压之后通过像素点显示

管线

• 在OpenGL下渲染图形，就会经历⼀个⼀个的节点。而这样的操作可以理理解管线。管线是⼀个抽象的概念，之所以称之为管线是因为显卡在处理数据的时候是按照一个固定的顺序来的，而且严格按照这个顺序。
  • 固定管线：不可以进行自定义操作，只能用现有的
  • 可编程管线：自定义造轮子

着色器

• Shader给GPU使用的代码段
  • 固定Shader：（存储着色器）苹果提供的API代码段，调用参数OpenGL提供
  • 固定着色器：自定义代码段（基于GLSL）
• 可编辑着色器
  • 顶点着色器VertexShader：
    • 确定位置
    • 缩放/平移/旋转位置换算
    • 手机端显示3D效果
  • 片元着色器片段着色器FragmentShader 像素着色器PixelShader
    • 处理一个一个的像素点，将一个个像素点映射到屏幕上

GLSL（OpenGL Shading Language）

• 自定义着色器->代码（语言）OpenGL标准调用GPU来做计算

光栅化（Rasterization）

• Rasterization就是把顶点数据转换为片元的过程。具有将图转化为⼀个个栅格组成的图象 的作⽤，特点是每个元素对应帧缓冲区中的⼀像素。
• Rasterization其实是⼀种将⼏何图元变为二维图像的过程。该过程包含了两部分的⼯作。
  • 第⼀部分工作：决定窗⼝坐标中的哪些整型栅格区域被基本图元占⽤；
  • 第⼆部分⼯作：分配一个颜⾊值和⼀个深度值到各个区域
• 把物体的数学描述以及与物体相关的颜色信息转换为屏幕上用于对应位置的像素及⽤于填充像素的颜⾊，这个过程称为光栅化。这是⼀个将模拟信号转化为离散信号的过程。

纹理

• 纹理可以理解为图片。渲染图形式需要在其编码填充图片，为了是场景更加逼真，而这里使用的图片，就是常说的的纹理

混合（Blending）

• 在测试阶段之后，如果像素依然没有被剔除，那么像素的颜⾊将会和帧缓冲区中颜⾊附着上的颜色进⾏混合，混合的算法可以通过OpenGL的函数进行指定。但是OpenGL提供的混合算法有限。如果需要更加复杂的混合算法，一般可以通过片段着⾊器进⾏实现，当然性能会⽐原⽣的混合算法差⼀些。(像素叠加的算法)

变幻矩阵（Transformation）

• 图形仅为位置变幻（平移、缩放、旋转）需要使用Transformation

投影矩阵（Prejection）

• 用于将3D坐标转换成为二维屏幕坐标，实际线条也将在二维坐标下进行绘制