在疫情爆发的2020年，公司的Android项目要求支持外置摄像头，即要求支持USB摄像头；一脸懵逼的我从来没听过Android设备能支持USB摄像头的，只知道Android大机器能接外置的摄像头，但插口是接在Android机器上的前置和后置接口，也就是说可以通过Android自带的Camera类或Camera2类中API直接调用的；然而项目要的是在包含前置和后置摄像头之后，还要有USB摄像头，懵逼的我立马上网找这方面的资料，找到了UVCCamera和openCV，但下了openCV的demo之后并没有任何关于USB摄像头的玩意，转战UVCCamera；了解了UVCCamera之后，还要实现通过UVCCamera取流并给到webrtc
注：阅读本篇需要简单了解webrtc如何通过**Capturer类产生视频流并转化
一、UVCCamera下拉与编译
1、UVCCamra下拉
UVCCamera的github地址为：https://github.com/saki4510t/UVCCamera.git
2、UVCCamera编译和demo测试
首先，下载了UVCCamera并且通过AS打开之后，你一定非常的迫不及待的想要看看USB摄像头使用起来是怎么样的；但问题却来了
2.1、一直在sync不好
原因：网络问题
解决：将distributionUrl地址改成本机已有的版本，或者通过浏览器下载并放到系统android/.gradle文件夹中，具体文件夹地址可另外自行百度存放
2.2、Process 'command '.......\Android\sdk\ndk-bundle/ndk-build.cmd'' finished with non-zero exit value 2
原因：ndk版本不兼容，这项目感觉有点老，作者又不更新，无奈自己能力也没那么强，也不会改，那么只能将ndk版本降低，降低到ndk r16b或者ndk r14b，下载地址为：https://developer.android.google.cn/ndk/downloads/older_releases；无奈这个官网地址上已无法下载太旧的ndk了，那么只能选择从AS中获取，好在AS最低有支持到ndk16的，要是以后AS也把ndk16给过滤掉，那我也暂时不知道怎么办了
下载好ndk之后，将UVCCamera的NDK版本改成16的这个:
2.3、无法出画面
若出现所有的test demo都能够打开，但无法出现画面，Logcat日志有：[2495*UVCCamera.cpp:172:connect]:could not open camera:err=-1。之类的，则将libuvccamera/src/main/jni/Application.mk中的
NDK_TOOLCHAIN_VERSION := 4.9
注释打开
2.4、运行调试过程当中出现[5050*UVCPreview.cpp:507:prepare_preview]:could not negotiate with camera:err=-51
可能是uvcCamera.setPreviewSize的预览格式不正确，更改预览格式
二、VideoCapturer的子类
在使用webrtc视频通话时，其中有一步是需要通过Camera1Capturer或Camera2Capturer来打开手机摄像头，并调用startCapturer方法开始录制并返回本地流数据，先来看下VideoCapturer和Camera1Capturer/Camera2Capturer的关系
可以看到Camera1Capturer和Camera2Capturer的曾祖父类是VideoCapturer类，该类是一个接口，定义了一些方法
可以看到，该类的方法依次为初始化、开始录像、暂停录像、改变录像规格（分辨率）、释放和返回是否截屏的方法，那么从这里可以知道，子类Camera1Capturer(以下都只以Camera1Capturer做讨论)也会继承这些方法，那么我们研究的重点在于初始化和开始录像，接着我们看CameraVideoCapturer类做了什么；CameraVideoCapturer这个类当中有两个过时的方法（不讨论），还有一个静态内部类CameraStatistics，直接翻译一下就是相机统计，通过源码得知，该类只是开了个线程，通过surfaceTextureHelper对象每两秒执行一次，判断相机是否可用，并且记录帧的数量。
2.1、CameraCapturer
看完CameraVideoCapturer之后，发现该类并没有对VideoCapturer接口中的方法进行实现，那么进而看子类CameraCapturer，首先是初始化方法initialze
该方法很简单，只是对上层传入的参数进行复制，但值得我们留意的是capturerObserver对象，根据webrtc视频通话流程，我们知道有个VideoSource对象，在创建VideoCapturer时候需要将videoSource.capturerObserver对象传进来；接着再看startCapture方法
可以看到startCapture方法当中调用了createSessionInternal方法，该方法又执行了createCameraSession方法，跟踪发现，createCameraSession是一个抽象的方法，而抽象方法被实现的地方正是Camera1Capturer类。
2.2、Camera1Session相机会话
该类主要实现对相机的开启和采集
通过源码得知，实例化Camera1Session之后就立马打开了相机，并且调用的是camera.startPreview方法，该方法是开启预览的方法，预览的返回接口则执行了listenForTextureFrames方法
到这里逐渐清晰，原来Camera开启预览，产生的帧数据是可以被采集到的，并且通过events.onFrameCaptured将帧数据传递出去；webrtc压根不是通过录像采集相机的流，而只是简单的开启预览就行；在此可能有人就会问，events是什么东西，别急，看Camera1Session的创建流程
而在前文我们看到的createSessionInternal方法中执行的createCameraSession方法传入的第二个参数，到这里我们可以知道，events应该是个接口或者是个抽象类，这样才能把采集到的数据传递到上层
而在CameraCapturer类当中，执行createCameraSession方法时传进的就是Events的一个实现对象，我们主要看onFrameCaptured实现
到此，我们知道最终的帧数据通过初始化initilaze方法传入的capturerObserver对象回调给videoSource对象，接着就是webrtc更底层的操作，最终得到流并传给对方或者本地显示。
三、UsbCapturer
分析完原有webrtc如何采集数据之后，我们可以发现关键点；第一、采集数据是直接通过startPreview就可以，那么UVCCamera也能对Usb摄像头进行打开预览关闭预览等操作；第二、采集到的数据最终通过videoSource.capturerObserver对象传出即可；
public class UsbCapturer implements VideoCapturer, USBMonitor.OnDeviceConnectListener, IFrameCallback { private static final String TAG = "UsbCapturer"; private USBMonitor monitor; private SurfaceViewRenderer svVideoRender; private CapturerObserver capturerObserver; private int mFps; private UVCCamera mCamera; private final Object mSync = new Object(); private boolean isRegister; private USBMonitor.UsbControlBlock ctrlBlock; public UsbCapturer(Context context, SurfaceViewRenderer svVideoRender) { this.svVideoRender = svVideoRender; monitor = new USBMonitor(context, this); } @Override public void initialize(SurfaceTextureHelper surfaceTextureHelper, Context context, CapturerObserver capturerObserver) { this.capturerObserver = capturerObserver; } @Override public void startCapture(int width, int height, int fps) { this.mFps = fps; if (!isRegister) { isRegister = true; monitor.register(); } else if (ctrlBlock != null) { startPreview(); } } @Override public void stopCapture() { if (mCamera != null) { mCamera.destroy(); mCamera = null; } } @Override public void changeCaptureFormat(int i, int i1, int i2) { } @Override public void dispose() { monitor.unregister(); monitor.destroy(); monitor = null; } @Override public boolean isScreencast() { return false; } @Override public void onAttach(UsbDevice device) { LogKt.Loges(TAG, "onAttach:"); monitor.requestPermission(device); } @Override public void onDettach(UsbDevice device) { LogKt.Loges(TAG, "onDettach:"); if (mCamera != null) { mCamera.close(); } } @Override public void onConnect(UsbDevice device, USBMonitor.UsbControlBlock ctrlBlock, boolean createNew) { LogKt.Loges(TAG, "onConnect:"); UsbCapturer.this.ctrlBlock = ctrlBlock; startPreview(); } @Override public void onDisconnect(UsbDevice device, USBMonitor.UsbControlBlock ctrlBlock) { LogKt.Loges(TAG, "onDisconnect:"); if (mCamera != null) { mCamera.close(); } } @Override public void onCancel(UsbDevice device) { LogKt.Loges(TAG, "onCancel:"); } private ReentrantLock imageArrayLock = new ReentrantLock(); @Override public void onFrame(ByteBuffer frame) { if (frame != null) { imageArrayLock.lock(); byte[] imageArray = new byte[frame.remaining()]; frame.get(imageArray); //关键 long imageTime = TimeUnit.MILLISECONDS.toNanos(SystemClock.elapsedRealtime()); VideoFrame.Buffer mNV21Buffer = new NV21Buffer(imageArray , UVCCamera.DEFAULT_PREVIEW_WIDTH, UVCCamera.DEFAULT_PREVIEW_HEIGHT , null); VideoFrame mVideoFrame = new VideoFrame(mNV21Buffer, 0, imageTime); capturerObserver.onFrameCaptured(mVideoFrame); mVideoFrame.release(); imageArrayLock.unlock(); } } public USBMonitor getMonitor() { return this.monitor; } private void startPreview() { synchronized (mSync) { if (mCamera != null) { mCamera.destroy(); } } UVCCamera camera = new UVCCamera(); camera.setAutoFocus(true); camera.setAutoWhiteBlance(true); try { camera.open(ctrlBlock); // camera.setPreviewSize(UVCCamera.DEFAULT_PREVIEW_WIDTH, UVCCamera.DEFAULT_PREVIEW_HEIGHT, UVCCamera.PIXEL_FORMAT_RAW); camera.setPreviewSize(UVCCamera.DEFAULT_PREVIEW_WIDTH, UVCCamera.DEFAULT_PREVIEW_HEIGHT, FpsType.FPS_15, mFps, UVCCamera.PIXEL_FORMAT_RAW, 1.0f); } catch (Exception e) { try { // camera.setPreviewSize(UVCCamera.DEFAULT_PREVIEW_WIDTH, UVCCamera.DEFAULT_PREVIEW_HEIGHT, UVCCamera.DEFAULT_PREVIEW_MODE); camera.setPreviewSize(UVCCamera.DEFAULT_PREVIEW_WIDTH, UVCCamera.DEFAULT_PREVIEW_HEIGHT, FpsType.FPS_15, mFps, UVCCamera.DEFAULT_PREVIEW_MODE, 1.0f); } catch (Exception e1) { camera.destroy(); camera = null; } } if (camera != null) { if (svVideoRender != null) { camera.setPreviewDisplay(svVideoRender.getHolder().getSurface()); } camera.setFrameCallback(UsbCapturer.this, UVCCamera.PIXEL_FORMAT_YUV420SP); camera.startPreview(); } synchronized (mSync) { mCamera = camera; } } public void setSvVideoRender(YQRTCSurfaceViewRenderer svVideoRender) { this.svVideoRender = svVideoRender; } }
注：使用UsbCapturer需要传入预览View。
后序：其实一开始我分析完上述的流程之后，并不知道该如何着手设计UsbCapturer，直到在github上看到这个之后https://github.com/sutogan4ik/android-webrtc-usb-camera，才一下子恍然大悟，非常感谢这位大佬，虽然他的代码在我项目中运行无效，但修改一下之后也就完美了，另外当中里面使用的方法 capturerObserver.onByteBufferFrameCaptured在新版的webrtc中已经不存在了
网友评论