Android Camera之常用接口(人脸追踪源码)简介

作者: 晓涵说 | 来源:发表于2019-10-07 16:04 被阅读0次

1.CameraInfo

用于描述camera的内部类，主要包括以下参数：

facing：代表相机的朝向，只能取CameraInfo中的两个静态值，源码说明如下：

    /**
         * The facing of the camera is opposite to that of the screen.
         */
        public static final int CAMERA_FACING_BACK = 0;//背对屏幕方向，后置相机

        /**
         * The facing of the camera is the same as that of the screen.
         */
        public static final int CAMERA_FACING_FRONT = 1;//和屏幕一个方向，前置相机

一般我们在使用相机初始化时，需要确定是开启前置还是后置相机。如果没有增加其他外置相机的条件下，后置和前置相机的ID分别为0和1，如果包含其他的外置相机，则相应的为2或其他值。为便于编程理解，一般直接使用以上两个值作为开启相机的ID。

mCamera = Camera.open(Camera.CameraInfo.CAMERA_FACING_BACK);//开启后置相机

orientation ：表示相机采集图片的角度，该值是相机采集图片时需要顺时针旋转的角度，且旋转值固定为0、90、180、270中的一个。可以从源码说明中看出：

 /**
         * <p>The orientation of the camera image. The value is the angle that the
         * camera image needs to be rotated clockwise so it shows correctly on
         * the display in its natural orientation. It should be 0, 90, 180, or 270.</p>
         *
         * <p>For example, suppose a device has a naturally tall screen. The
         * back-facing camera sensor is mounted in landscape. You are looking at
         * the screen. If the top side of the camera sensor is aligned with the
         * right edge of the screen in natural orientation, the value should be
         * 90. If the top side of a front-facing camera sensor is aligned with
         * the right of the screen, the value should be 270.</p>

上一部分的翻译在上面的定义中已经说明，下面一段是针对该定义举例，翻译如下：

举例，假设设备处于自然竖直状态，后置相机的传感器是水平方向，你面对手机，如果传感器的顶部在手机屏幕的右边，那么这个值为90；如果前置摄像头的传感器顶部在手机右边，那么该值就是270。

setDisplayOrientation:该方法是用于设置相机的预览的方向，是对上文提及的Orientation的参数设置。在使用手机相机采用竖直预览时，该方法的就起到了很重要的作用，因为后置(前置)相机默认的预览方向是水平的，需要将其顺时针旋转90度，由下面的源码解释也可以看出。

Set the clockwise rotation of preview display in degrees. This affects
     * the preview frames and the picture displayed after snapshot. This method
     * is useful for portrait mode applications. Note that preview display of
     * front-facing cameras is flipped horizontally before the rotation, that
     * is, the image is reflected along the central vertical axis of the camera
     * sensor. So the users can see themselves as looking into a mirror.
    
    <p>This does not affect the order of byte array passed in {@link
     * PreviewCallback#onPreviewFrame}, JPEG pictures, or recorded videos. This
     * method is not allowed to be called during preview.

在相机预览时，通过设置该参数的顺时针的角度，来影响预览和拍照的图片效果，尤其在竖直使用相机时。但需要注意前置相机使用时，显示的效果会水平翻转，预览的效果如图照镜子。
注意，该参数的设置仅仅是影响预览的界面效果，不影响真实的相机采集的数据，因此在PreviewCallback和onPreviewFrame中获取的数据转为图像后，仍然呈现图像传感器方向的图片效果。在预览时，不可调用该参数。
提到上面的方向问题，需要结合安卓的坐标特点分析：

屏幕坐标：安卓中的屏幕坐标是指左上角为圆点(0,0)，以原点向屏幕的右延伸为X轴正方向，向下延伸为Y轴正方向。
自然方向：自然方向是指安卓设备正常使用时的方向，比如手机是竖直的方向，平板是水平的方向。

在这里插入图片描述
图像传感器方向：该方向是由手机的摄像机硬件传感器决定，该方向用于拍摄时的取景方向，上文提及的方向就是指图像的传感器方向。

在这里插入图片描述
相机采集的方向：通过setDisplayOrientation()该方法仅仅是修改相机的预览方向，实际上并未改变获取的相机图像，在onPreviewFrame()中获取的数据转为图像后，显示的图像方向仍然与相机的图像传感器方向一致，可通过对获取的图片旋转，获取需要的图片，一般情况下，后置相机需顺时针旋转90度，前置相机顺时针旋转270度。
小结：
1.默认情况下手机的传感器方向是横向的，且是由传感器硬件决定，软件无法修改；
2.通过setDisplayOrientation()可设置相机的预览方向，一般该值为顺时针90，修改后前置相机会出现水平镜像翻转；
3.调用setDisplayOrientation()仅是改变预览方向，在onPreviewFrame()回调中获取的图像，一般后置相机需顺时针旋转90度，前置相机顺时针旋转270度。

2 .Parameters

该参数是用于对相机的参数的设置，使相机捕获的效果符合我们的要求，但是源码中的注解我们可以看出，对于该参的设置我们不能随意设置，因为不同的相机具体的性能，例如图片大小和闪光模式等。因此在设置该参数前，需要先查询一下相机支持参数，例如在设置setColorEffect(String)参数前，先调用getSupportedColorEffects()，查看支持参数，如果不支持该参数的设置，则反回为空。

默认情况下对于尺寸的获取和设置，其单位均是像素。一般在调用尺寸或格式的getXX时，默认会返回包含至少一组的有效元素集合。

Different devices may have different camera capabilities, such as
     * picture size or flash modes. The application should query the camera
     * capabilities before setting parameters. For example, the application
     * should call {@link Camera.Parameters#getSupportedColorEffects()} before
     * calling {@link Camera.Parameters#setColorEffect(String)}. If the
     * camera does not support color effects,
     * {@link Camera.Parameters#getSupportedColorEffects()} will return null.

一般在调用setXX前建议先调用对应的getXX方法，否则会显示如下异常：

java.lang.RuntimeException: setParameters failed
        at android.hardware.Camera.native_setParameters(Native Method)

预览尺寸
A： getSupportedPreviewSizes()：返回相机支持的预览尺寸的集合。
B:setPreviewSize(int width, int height)：设置相机的预览尺寸，注意该尺寸不是最终获取的图片尺寸。
预览格式
A: getSupportedPreviewFormats()：获取相机支持的预览格式，包括ImageFormat.NV21、ImageFormat.NV16和ImageFormat.YV21等，默认情况下，所有相机均支持NV21格式。
B: setPreviewFormat(int pixel_format)：设置预览的数据格式

采集图片尺寸
A: getSupportedPictureSizes()：获取相机支持的采集图像的尺寸。
B: setPictureSize(int width, int height)：设置采集图片的尺寸，该尺寸是指图片保存后的真实尺寸大小。

采集图片格式

A: getSupportedPictureFormats()：设置相机支持的输出图片格式。
B: setPictureFormat(int pixel_format)：设置相机保存的图片格式。
对焦模式

A: getSupportedFocusModes()：获取相机支持的对焦模式。
setFocusMode(String value)：设置相机的对焦模式。
B: getMaxZoom()：获取相机支持的最大焦距。
C: setZoom(int zoom):设置焦距，该值的设置需要参照获取到的最大焦距值。

最大检测人脸数
A:getMaxNumDetectedFaces()：返回当前相机支持的最大的人脸检测数，如果调用B:FaceDetectionListener后，该返回值始终为0，说明不支持该种检测类型。

小结：

在调用相机前需要根据需要对相机的参数进行设置，但是在设置时为避免设置的参数，该相机不支持，因此在设置前，建议调用对应的get方法，查看相机支持的对应参数。

3. Face

其实安卓系统从SDK 1.0开始就支持简单的人脸识别接口，在调用相机前，添加检测的监听(setFaceDetectionListener)在回调的onFaceDetection(Camera.Face[] faces, Camera camera)就可以获取Face信息，包括以下。

rect：检测到的人脸矩形的坐标参数(该坐标与相机坐标不同，需要转换后才可以使用)。
score：检测到人脸的可信度（范围1-100），取决于设备的不同，即使可信度值很低，也会将其回调出来，因此需要我们根据需求，过滤一下。

leftEye：左眼的坐标参数

rightEye：右眼的坐标参数

mouth：嘴的坐标参数

注意：并不是所有的相机都支持左眼、右眼和嘴的坐标参数回调，如果不支持则返回为null，并且该参数的坐标系与rect相同，因此需要我们手动转换为相机参数坐标系。

FaceDetectionListener：相机检测人脸的回到接口，并重写onFaceDetection(Face[] faces, Camera camera)方法，获取相机检测的人脸回调。

4. Camera类中的方法

设备相机个数
getNumberOfCameras()：返回设备中支持的相机个数，默认为2（前后置相机），如果不支持或没有相机则返回0。

开启相机

A:open()：使用后置相机创建相机对象，如果没有后置相机，则返回null。
B: open(int cameraId)：使用相机ID来创建相机对象，在同一时间，只能调用一个相机ID来创建相机对象，否则会报异常。获取的参数值为0至相机个数(getNumberOfCameras())减一。默认后置相机ID为0，前置为1。

获取指定相机参数信息

getCameraInfo(int cameraId, CameraInfo cameraInfo)：返回指定相机的参数信息。

预览

A:方向 setDisplayOrientation(int degrees)：设置相机的预览方向，前文已多次提及。

B : 载体: setPreviewDisplay(SurfaceHolder holder)：设置相机的预览载体，通过一个SurfaceHolder 实现实时预览的效果。

C: 回调 setPreviewCallback(PreviewCallback cb)：设置相机预览的回调监听，重写

onPreviewFrame(byte[] data, Camera camera)方法，获取每一帧的相机预览数据。

开始
startPreview()：开始预览，在调用该方法前，必须先调用setPreviewDisplay()设置预览载体，否则没有效果。

结束

stopPreview()：结束预览，在调用该参数前，建议先将setPreviewCallback和setPreviewDisplay设置为null。

相机参数

A:getParameters()：获取当前相机的Parameters参数对象。
B:setParameters(Parameters params):设置当前相机的参数对象。

人脸检测

A: startFaceDetection()：开始人脸监听，在添加FaceDetectionListener前，需要先调用该参数。
B stopFaceDetection()：停止人脸检测监听。

关闭相机

release(）：释放相机资源。

小结：

以上方法中介绍了相机使用的关键方法，分类总结如下：

1.开启/关闭：通过open()开启后置相机，或通过open(int cameraId)开启指定相机，在结束相机使用时，需要调用release()释放相机资源。

2.预览的设置：需要根据需要设置预览的方向，设置预览的载体，在开始预览前需要先设置载体，否则预览并未真正开始，结束预览后需要先将回调置为null然后调用release方法。

3.人脸检测：在添加FaceDetectionListener前，需要先调用startFaceDetection()方法，在检测结束时，调用stopFaceDetection()。

5.录像

相机录像的操作，主要通过MediaRecorder实现，通过对该类中参数的设置，实现相机录像的效果，下面主要讲解常用的接口，具体的实现在下面系列文章中会讲解，并附有github的Demo路径。

设置相机
setCamera(mCamera)：设置指定的相机用于录制视频。
音频源格式
setAudioSource():定义的音频的物理资源和录制配置，该参数可查看AudioSource类，主要是包括各种对于麦克风优化后的各种参数设置。

视频资源
setVideoSource():设置视频资源，包括camera、surface两种，默认是采用来自camera。

视频编码格式
setVideoEncoder()：设置视频的编码格式，包括默认、AAC(有损压缩)和AMR(压缩较大，质量较差)等

视频帧率
setVideoEncodingBitRate(): 在调用该参数前，先调用prepare()检测，以确保设置的帧率适用。

分辨率
setVideoSize():设置录制的分辨率，该参数的设置，必须放在设置编码和格式后面，否则报错。

输出路径
setOutputFile()：设置存储录像的文件路径。

最大录制时长
setMaxDuration():设置最大的录制时间，单位为ms，也可不指定该参数。

预览载体
setPreviewDisplay(）：该参数的设置与相机预览类似，需要通过surface展示实时录像内容。

准备预览
prepare()：调用该方法前，必须要设置音频、视频源、编码格式和帧率等参数，但必须在start()方法前。

开始预览
start():调用该方法时，必须拥有相机资源(锁定），如果调用该方法失败，需要重新获取相机资源。

重置
reset()：调用该方法后，需要重置MediaRecorder的资源。

结束
stop():如果在start()后立即调用该方法，则会抛出Runtimeexception异常，原因时结束时未收到有效的音视频资源，导致清除导出目录下的文件资源。

释放
release():释放除了必要的MediaRecorder资源。

小结：
本部分主要讲解了关于视频录制(MediaRecorder)相关的接口，在录制视频前需要必须设置相机、音频格式、视频格式、帧率、分辨率和输出路径等，在调用prepare()前必须要设置好该参数。

6.总结

本文介绍了相机相关的接口参数，包括以下内容：

1.CameraInfo相关的角度、角度设置以及安卓的坐标；

2.Parameters相关的预览尺寸、格式、对焦模式和灯光等；

3.Face：相关的矩形框、人脸中眼睛和嘴的坐标等；

4.Camera类中相关的方法，包括相机参数、回调和人脸检测等；

5.录像中MediaRecorder类的主要参数的讲解等。

Android Camera之常用接口(人脸追踪源码)简介

1.CameraInfo

2 .Parameters

3. Face

4. Camera类中的方法

5.录像

6.总结

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读