1.概述
Android自带camera API有两种，Camera1和Camera2。其中，Camera1始于Android最初版本，仅为java层实现。
Camera2则有两种实现。
Java层Camera2始于andorid 5.0。
Native Camera2则开始于android7.0（API level24）。
本文将对Native Camera2的使用（仅预览功能）进行总结。总结将针对于如何使用和逻辑流程，不纠结于代码，示例可参照google ndk samples（可从github查找）。
2.使用流程
通过Camera2实现预览，需要三步。
第一步，开启设备。
第二步，发送请求。
第三步，接收视频数据，并转换为图像格式显示。
本文的讲解基于UML Component图，描述Camera2核心对象及API的调用生成关系。
Component图中，模块为函数，节点为对象。横向（左或右）箭头为资源释放操作调用。调用过程与顺序/时机无关。
2.1开启设备
该阶段目的，在于获取设备指针，以及获取设备相应的信息，例如分别率，旋转角度等。
通过系统所提供的ACameraManager_create方法，可获得ACameraManager指针。
进而通过ACameraManager_getCameraIdList方法，可从ACameraManager中获取所有Camera的ID。
获取ID后，辅助以属性TAG，可以通过ACameraMetadata_getConstEntry方法获取对应Camera的属性。
例如，传入ACAMERA_SENSOR_ORIENTATION的TAG，可以获取Camera的旋转角度；ACAMERA_LENS_FACING，可以判断是前置（ACAMERA_LENS_FACING_FRONT）或后置（ACAMERA_LENS_FACING_BACK）摄像头；而ACAMERA_SCALER_AVAILABLE_STREAM_CONFIGURATIONS，可以获得摄像头的分辨率。
其它TAG，可参照NdkCameraMetadataTags.h。
此处需要注意的是，
（1）ACameraMetadata_getConstEntry方法返回的是一个ACameraMetadata_const_entry结构体，需根据type的值读取data。
typedef struct ACameraMetadata_const_entry {
/**
* The tag identifying the entry.
* See {@link NdkCameraMetadataTags.h} for more details. </p>
*/
uint32_t tag;
/**
* The data type of this metadata entry.
*/
uint8_t type;
/**
* Count of elements (NOT count of bytes) in this metadata entry.
*/
uint32_t count;
/**
* Pointer to the data held in this metadata entry.
*/
union {
const uint8_t *u8;
const int32_t *i32;
const float *f;
const int64_t *i64;
const double *d;
const ACameraMetadata_rational* r;
} data;
} ACameraMetadata_const_entry;
（2）不是所有API LEVEL>=24的android os都支持Camera2，所以有时通过ACameraManager_getCameraIdList方法获取都ID数量可能为0。
在获取到Camera ID之后，通过ACameraManager_openCamera方法，可以开启Camera，获得一个ACameraDevice对象指针。
该指针将在发送请求阶段使用。在调用ACameraManager_openCamera方法时，ACameraDevice_StateCallbacks可以为null。
2.2发送请求
在获取设备（指针）后，需要通过不断的发送请求（ACaptureRequest），以得到图像信息。没有请求，便没有数据。没有数据，便无法生成之后的预览图像。因此，该步骤是最关键的一步，也是最为复杂的一步。
对于整个发送请求（ACaptureRequest）过程，可以理解为，
（1）生成一个向ACameraDevice发送的，类型为ACameraDevice_request_template的ACaptureRequest。
（2）该ACaptureRequest被不断重复发送。
（3）ACaptureRequest所返回的响应数据，由ACaptureSessionOutputContainer中的ACaptureSessionOutput接收。
（4）ACaptureRequest通过ACameraOutputTarget，将ACaptureSessionOutput与AImageReader绑定。
在预览阶段，AImageReader将用于数据的读取。
不断的发送请求，是如何完成的？
只需要调用ACameraCaptureSession_setRepeatingRequest方法即可。
camera_status_t ACameraCaptureSession_setRepeatingRequest(
ACameraCaptureSession* session,
/*optional*/ACameraCaptureSession_captureCallbacks* callbacks,
int numRequests, ACaptureRequest** requests,
/*optional*/int* captureSequenceId);
而当需要停止发送请求时，调用ACameraCaptureSession_stopRepeating方法即可。
camera_status_t ACameraCaptureSession_stopRepeating(ACameraCaptureSession* session);
ACameraCaptureSession_setRepeatingRequest方法中核心的传参有三个，ACameraCaptureSession，ACaptureRequest和numRequests。接下来，开始详细讲述发送请求的过程。
2.2.1创建请求
requests，是一个ACaptureRequest列表，numRequests当然指的是ACaptureRequest的数量了。可见，可以同时发送多个请求。但对于单一的预览，一个请求足已。
那么，ACaptureRequest是向谁发出的请求？
camera_status_t ACameraDevice_createCaptureRequest(
const ACameraDevice* device, ACameraDevice_request_template templateId,
/*out*/ACaptureRequest** request);
ACaptureRequest由ACameraDevice生成，因此，是向ACameraDevice发送的请求。ACameraDevice在开启设备阶段已被获取。
请求的类型，由枚举ACameraDevice_request_template决定。参见NdkCameraDevice.h。对于预览，需选择TEMPLATE_PREVIEW。
因此，创建请求的过程，可以理解为：
生成一个向ACameraDevice发送的，类型为ACameraDevice_request_template的请求。
2.2.2建立会话
ACameraCaptureSession是一个会话。它也是由ACameraDevice生成，同时还绑定来一个ACaptureSessionOutputContainer。
camera_status_t ACameraDevice_createCaptureSession(
ACameraDevice* device,
const ACaptureSessionOutputContainer* outputs,
const ACameraCaptureSession_stateCallbacks* callbacks,
/*out*/ACameraCaptureSession** session);
ACaptureSessionOutputContainer，通过ACaptureSessionOutputContainer_create方法创建。
camera_status_t ACaptureSessionOutputContainer_create(
/*out*/ACaptureSessionOutputContainer** container);
ACaptureSessionOutputContainer是一个可以容纳多个ACaptureSessionOutput的集合。
ACaptureSessionOutput是一个输出流，用于接收预览所用的图像数据。该对象由AImageReader间接创建。关于AImageReader，见图片读取章节。间接创建步骤如下
（1）AImageReader通过AImageReader_getWindow方法，获得一个ANativeWindow对象（注意，该ANativeWindow对象与此后预览图像章节所述的ANativeWindow对象，并非同一对象）。
（2）ANativeWindow对象通过ACaptureSessionOutput_create方法，获得一个ACaptureSessionOutput对象。
因此，一个ACameraCaptureSession包含了以下信息：
（1）与哪个ACameraDevice进行会话。
（2）用哪些ACaptureSessionOutput来接收数据。
而ACameraCaptureSession又通过ACameraCaptureSession_setRepeatingRequest方法，与ACaptureRequest建立关联。
因此，ACaptureRequest与ACaptureSessionOutput，ACameraDevice都是有关联的。
那么ACaptureRequest如何确定数据格式，大小？AImageReader即为关键。
ACaptureRequest需要与AImageReader建立关联。
2.2.3接收图片数据
在创建AImageReader时，需要提供四个参数：图像宽度，高度，图像格式，最大图片存储量。
media_status_t AImageReader_new(
int32_t width, int32_t height, int32_t format, int32_t maxImages,
/*out*/AImageReader** reader);
其中，图像宽度和高度的单位为像素。
图像格式，可参见枚举类型AIMAGE_FORMATS（NdkImage.h）。由于预览时，前端为视频格式，此处应使用AIMAGE_FORMAT_YUV_420_888。
最大图片存储量maxImages，需要特别注意。若数量少（例如1，2），则会在预览时，产生卡顿。而数量多，则会引起延时。例如 数量40，宽高为640*480时，将引起3至4秒的延时。
AImageReader如何与ACaptureRequest建立关联呢？也是通过间接的途径。
（1）AImageReader通过AImageReader_getWindow方法，获得一个ANativeWindow对象（注意，该ANativeWindow对象与此后预览图像章节所述的ANativeWindow对象，并非同一对象）。
（2）ANativeWindow对象通过ACameraOutputTarget_create方法，创建一个ACameraOutputTarget对象。
（3）通过ACaptureRequest_addTarget方法，将ACameraOutputTarget与AImageReader建立关联。
至此，ACaptureRequest可以通过AImageReader确定数据格式，高宽，及最大数量，并将图像数据写入AImageReader所对应的ACaptureSessionOutput中。
接下来，只剩下如何显示的问题了。
2.3预览图像
2.3.1关键因素
AImageReader，ANativeWindow和ANativeWindow_Buffer是预览阶段的关键因素。
其中AImageReader起到一个承上启下的作用。
在发送请求阶段，绑定请求（ACaptureRequest）和输出（ACaptureSessionOutput），以获取实时视频数据。
在预览阶段，作为数据源，用于数据转换（YUV数据转ARGB等图像数据类型）。
ANativeWindow做为画布（由外部传入，并非由AImageReader，与发送请求阶段的ANativeWindow对象不同），用于显示预览图像。
ANativeWindow_Buffer则可以看作是画布（ANativeWindow）的显存。当数据以某一图片格式写入ANativeWindow_Buffer时，图像便呈现在画布（ANativeWindow）上。
2.3.2获取图片
在ACaptureRequest被发出后，将会有AImage不断的存入AImageReader对应的缓冲区。缓冲区内存储的图片数量上限，在创建AImageReader时已被设定。
题外话：
对于性能较低的设备，当缓冲区内的图片上限过大，则会出现预览延时。因为有太多的旧图片在排队等待处理。
而缓冲区内图片上限过小，不论设备的性能好坏，则都会出现预览卡顿，因为没有连续的图片可以被连续的画到画布上。
AImageReader通过AImageReader_acquireNextImage方法，获得最早进入缓冲区的AImage。
在获取到AImage后，可以通过AImage_getPlaneRowStride和AImage_getPlaneData方法，获取YUV格式的视频数据。。
2.3.3初始化ANativeWindow_Buffer
在获取ANativeWindow_Buffer前，需要通过ANativeWindow_setBuffersGeometry方法，对其属性进行初始化。
int32_t ANativeWindow_setBuffersGeometry(ANativeWindow* window,
int32_t width, int32_t height, int32_t format);
其中，width和height为ANativeWindow_Buffer的宽高。
ANativeWindow_Buffer的宽高不同于画布View的宽高。例如画布View宽高为10802018，ANativeWindow_Buffer宽高为480640，ANativeWindow_Buffer会自动被映射到画布View上，由硬件或底层完成，无需干预。
ANativeWindow_Buffer的宽高也不同于AImage的宽高。AImage带有ACameraDevice的偏转角度，需要调整为自然0度（会造成宽高的数值交换）后，再做格式转换。
format为YUV转换后的图片格式（例如WINDOW_FORMAT_RGBA_8888等，可参见Native_Window.h）。
2.3.4获取ANativeWindow_Buffer
获取过程相对程序化。需要依次调用ANativeWindow_acquire和ANativeWindow_lock方法。ANativeWindow_acquire及其对应的ANativeWindow_release方法，可以理解为安全策略，为技术层次，无业务逻辑解释。可参见其官方注解。
/**
* Acquire a reference on the given {@link ANativeWindow} object. This prevents the object
* from being deleted until the reference is removed.
*/
void ANativeWindow_acquire(ANativeWindow* window);
/**
* Remove a reference that was previously acquired with {@link ANativeWindow_acquire()}.
*/
void ANativeWindow_release(ANativeWindow* window);
而ANativeWindow_lock方法将返回一个ANativeWindow_Buffer。
该ANativeWindow_Buffer，即为ANativeWindow需要显示的下一个画面所对应的显存。
2.3.5写入ANativeWindow_Buffer
通过实现自定义方法TODO_YUV_2_ImageFormat，将数据进行转换，并映射到上一步所获得的ANativeWindow_Buffer中。
TODO_YUV_2_ImageFormat方法，至少应包含三个功能，
（1）角度的修正。将图像由翻转角度，矫正为自然0度。
（2）格式转换。YUV转ImageFormat。其中ImageFormat为ANativeWindow_Buffer初始化时，所设置的格式。例如ARGB_8888。
（3）坐标映射。将宽高为AB的AImage，映射到宽高为CD的ANativeWindow_Buffer中。
2.3.6释放ANativeWindow_Buffer
在每次写入完成后，需要释放ANativeWindow_Buffer。步骤十分简单，与获取时相反，依次调用
（1）ANativeWindow_unlockAndPost
（2）ANativeWindow_release
在释放完ANativeWindow_Buffer后，一定要通过AImage_delete方法，将AImage移除缓冲区。
至此，整个预览完成。
2.4关闭Camera
关闭Camera，有一点需要强调。
ACameraDevice_close较为耗时，在MI 8和Samsung SM G9500上测试，需要约200ms左右。而Activity onPause/onStop/onDestory的单个超时上限为500ms。若有其它耗时操作与ACameraDevice_close一起进行，将有可能引起Timeout。
其它不再详细描述，只需要调用相关的free,delete,close方法即可。
3.结束语
相对于Camera1而言，NDK Camera2的逻辑较为复杂。但随着API Level的提升，Camera1终将被替换。Google最新提出的CameraX其实也是对Camera2的封装。因此，Camera2在未来还会存在一段很长的时间。
网友评论