人工智能当今最流行的词语没有之一。在 WWDC 2017 中，Apple 发表许多令开发者们为之振奋的新框架(Framework) 及API 。 在这之中，最引注的莫过于 Core ML和Vision 。
这篇文章我只是介绍一下CoreML，借由 Core ML，你可以为你的 App 添 增机器学习(Machine Learning)的能 。最棒的是你不需要深入的解关于神经网络(Neural Network)以及机器学习(Machine Learning)的相关知识。
素材开始准备
苹果给封装好的模型下载地址：https://developer.apple.com/machine-learning
大家根据需求去下载不同的模型，苹果给的模型能够识别1000种，包的大小不同是计算的精度不同。
| 名字 | 大小 | 介绍 | 使用场景 |
|---|---|---|---|
| MobileNet | 17.1 MB | MobileNets基于一个流线型的架构，它有深度的可分离的卷积来构建轻量级的、深度的神经网络。从一组1000个类别中检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人等等。 | 检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人 |
| SqueezeNet | 5 MB | 从一组1000个类别中检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人等等。虽然只有5 MB的内存空间，但是，压缩zenet与alex net的精度相同，但其参数却少了50倍。 | 检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人。包小适用在项目中适用 |
| Places205-GoogLeNet | 24.8 MB | 侦测到一个来自205个类别的图像的场景，如机场终端、卧室、森林、海岸等。 | 检测场景 |
| ResNet50 | 102.6 MB | 从一组1000个类别中检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人等等。 | 同MobileNet |
| Inception v3 | 94.7 MB | 从一组1000个类别中检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人等等。 | 同MobileNet ，包越大计算精度越大 |
| VGG16 | 553.5 MB | 从一组1000个类别中检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人等等。 | 同MobileNet ，包越大计算精度越大 |
创建项目
我们创建一个AR项目，这次使用苹果提供的Resnet50.mlmodel模型
-
讲模型拖入项目，成功之后就是这个样子的。。。
WX20171116-170330.png
-
引入需要的框架Vison
Vison 与 Core ML 的关系
Vision 是 Apple 在 WWDC 2017 推出的图像识别框架。
Core ML 是 Apple 在 WWDC 2017 推出的机器学习框架。 -
代码
- 实现思路
- 添加一个点击手势，每次点击的时候截取屏幕中的画面。
- 将图片转换成像素，喂给CoreML识别，返回结果
- 创建AR文字以及底座放到指定位置
- 拿到模型
// 拿到模型
var resentModel = Resnet50()
- 创建点击手势
//创建点击手势
func regiterGestureRecognizers(){
let tapGes = UITapGestureRecognizer(target: self, action: #selector(tapped))
self.sceneView.addGestureRecognizer(tapGes)
}
//手势的点击方法,方法前面添加@objc
@objc func tapped(recognizer: UITapGestureRecognizer) {
//拿到当前的屏幕的画面===截图
let sceneView = recognizer.view as! ARSCNView
//拿到图片的中心位置,以作为点击的位置
let touchLoaction = self.sceneView.center
//判別当前是否有像素
guard let currentFrame = sceneView.session.currentFrame else {return}
//识别物件的特征点
let hitTestResults = sceneView.hitTest(touchLoaction, types: .featurePoint)
//判断点击结果是否为空
if hitTestResults.isEmpty {return}
// 拿到第一个结果，判断是否为空
guard let hitTestResult = hitTestResults.first else { return }
//记录拿到点击的结果
self.hitTestResult = hitTestResult
// 拿到的图片转换成像素
let pixelBuffer = currentFrame.capturedImage
//识别图片像素
perfomVisionRequest(pixelBuffer: pixelBuffer)
}
- 识别图片像素
//识别图片像素
func perfomVisionRequest(pixelBuffer: CVPixelBuffer) {
// 拿出mlmodel
let visionModel = try! VNCoreMLModel(for: self.resentModel.model)
//创建CoreMLRequest
let request = VNCoreMLRequest(model: visionModel) { (request, error) in
//处理识别结果，如果存在error直接返回
if error != nil {return}
//判断结果是否为空
guard let observations = request.results else {return}
//把结果中的第一位拿出來分析
let observation = observations.first as! VNClassificationObservation
print("Name \(observation.identifier) and confidence is \(observation.confidence)")
//回到主线程更新UI
DispatchQueue.main.async {
self.displayPredictions(text: observation.identifier)
}
}
//进行喂食，设置请求识别图片的样式
request.imageCropAndScaleOption = .centerCrop
//记录请求数组
self.visionRequests = [request]
//创建图片请求
let imageRequestHandler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, orientation: .upMirrored, options: [:])
//异步处理所有请求
DispatchQueue.global().async {
try! imageRequestHandler.perform(self.visionRequests)
}
}
- 展示结果
//展示預測的結果
func displayPredictions(text: String) {
//创建node
let node = createText(text: text)
//设置位置，// 把模型展示在我們点击位置（中央）
node.position = SCNVector3(self.hitTestResult.worldTransform.columns.3.x,
self.hitTestResult.worldTransform.columns.3.y,
self.hitTestResult.worldTransform.columns.3.z)
//将父节点放到sceneView上
self.sceneView.scene.rootNode.addChildNode(node) // 把ＡＲ结果展示出來
}
//根据传入的文字创建AR展示文字以及底座
func createText(text: String) -> SCNNode {
//创建父节点
let parentNode = SCNNode()
//创建底座圆球，1 cm 的小球幾何形狀
let sphere = SCNSphere(radius: 0.01)
//创建渲染器
let sphereMaterial = SCNMaterial()
sphereMaterial.diffuse.contents = UIColor.red
sphere.firstMaterial = sphereMaterial
//创建底座节点
let sphereNode = SCNNode(geometry: sphere)
//创建文字
let textGeo = SCNText(string: text, extrusionDepth: 0)
textGeo.alignmentMode = kCAAlignmentCenter
textGeo.firstMaterial?.diffuse.contents = UIColor.red
textGeo.firstMaterial?.specular.contents = UIColor.white
textGeo.firstMaterial?.isDoubleSided = true
textGeo.font = UIFont(name: "Futura", size: 0.15)
//创建节点
let textNode = SCNNode(geometry: textGeo)
textNode.scale = SCNVector3Make(0.2, 0.2, 0.2)
//将底座以及文字添加父节点
parentNode.addChildNode(sphereNode)
parentNode.addChildNode(textNode)
return parentNode;
}
效果图
coreML2.gif
小编送上Dome地址：https://github.com/dongdongca/CoreML
网友评论