1.引入OpenCV
https://opencv.org/releases.html 选择android版本下载
在Android Studio 选择File->Import Module，找到OpenCV解压的路径，选择sdk/java文件夹。
修改build.gradle文件，让各版本号与主module的版本号保持一致。
添加依赖（右键宿主module，选择Open Module Settings）:
image.png
2.引入Tensorflow
api 'org.tensorflow:tensorflow-android:1.12.0'
3.显示摄像头预览画面
<org.opencv.android.JavaCameraView
android:id="@+id/cameraView"
android:layout_width="match_parent"
android:layout_height="match_parent" />
class CameraActivity : AppCompatActivity(), CameraBridgeViewBase.CvCameraViewListener {
private var grayscaleImage: Mat? = null
private var absoluteFaceSize: Int = 0
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_camera)
cameraView.setCameraIndex(0) // 0:后置 1:前置
cameraView.enableFpsMeter() //显示FPS
cameraView.setCvCameraViewListener(this)
cameraView.enableView()
}
override fun onCameraViewStarted(width: Int, height: Int) {
grayscaleImage = Mat(height, width, CvType.CV_8UC4)
absoluteFaceSize = (height * 0.2).toInt()
}
override fun onCameraViewStopped() {
grayscaleImage?.release()
}
override fun onCameraFrame(inputFrame: Mat): Mat {
Imgproc.cvtColor(inputFrame, grayscaleImage, Imgproc.COLOR_RGBA2RGB)
/*val random = Math.random() * 100 + 1
Imgproc.rectangle(inputFrame, Point(random, random), Point(random + 30, random + 30), Scalar(0.0, 255.0, 0.0, 255.0))*/
return inputFrame
}
}
看到画面的时候不要惊讶，它就是左旋转了90度的，把当前activity设置成横屏就ok了。
还有网上的其他方法是修改opencv库的CameraBridgeViewBase，让画面旋转90度恢复正常，但是尝试后发现画面会被放大且有卡顿，然后我还是选择了设置横屏。
4.添加模型
下载tensorflow的识别模型，解压添加到main/assets/model文件夹中，如下图所示。
image.png
5.运行算法
private val INPUT_SIZE = 224
private val IMAGE_MEAN = 117
private val IMAGE_STD = 1f
private val INPUT_NAME = "input"
private val OUTPUT_NAME = "output"
private val MODEL_FILE = "file:///android_asset/model/tensorflow_inception_graph.pb"
private val LABEL_FILE = "file:///android_asset/model/imagenet_comp_graph_label_strings.txt"
// 创建 Classifier------------------------------------------------------------------------------------------------------------
classifier = TensorFlowImageClassifier.create(this@CameraActivity.assets,
MODEL_FILE, LABEL_FILE, INPUT_SIZE, IMAGE_MEAN, IMAGE_STD, INPUT_NAME, OUTPUT_NAME)
在上面显示画面的onCameraFrame()方法中，把opencv提供的mat对象转换成bitmap图像，交给tensorflow分析。
val bmpCanny = Bitmap.createBitmap(inputFrame.cols(), inputFrame.rows(), Bitmap.Config.ARGB_8888)
Utils.matToBitmap(inputFrame, bmpCanny)
val croppedBitmap = getScaleBitmap(bmpCanny, INPUT_SIZE)
val results = classifier?.recognizeImage(croppedBitmap)
tensorflow模型分析结果就在results数组中，可以直接toString()显示。
分析的结果也可以直接在预览画面中显示，使用opencv提供的方式可以实现，只是这样画面会有卡顿。而我选择在JavaCameraView上多写一个TextView显示分析结果。
Imgproc.putText(inputFrame, results.toString(), Point(0.0, 30.0), Core.FONT_HERSHEY_COMPLEX, 1.0, Scalar(255.0))
最后的效果图如下，虽然识别结果不咋滴~
image.png
最后，附上Demo地址：
https://github.com/leeroGG/android-image-analysis
网友评论