机器学习笔记-001

刚开始学习机器学习记录一下过程，这是第一篇，通过下载苹果给的模型来建一个工程测试一下效果

image

1. 首先从官网下载所需要的模型

https://developer.apple.com/machine-learning/
此处可以找到很多常用的模型，我以这个模型为例，看描述这个模型可以检测出1000中事物，比如树，动物，食物，车辆，人等。

image 下载完之后直接拖入工程中，如下所示
image

2.示例代码

本利需要使用真机测试，通过点击屏幕获取到当前屏幕截图的特征点，在通过特征点来判断当时物体是什么

//创建模型
var resentModel = Resnet50()
// 点击之后的结果
    var hitTestResult: ARHitTestResult!
    //分析的结果
    var visionRequests = [VNRequest]()

点击手势响应事件

@objc func tapped(recognizer: UITapGestureRecognizer){
        let sceneView = recognizer.view as! ARSCNView //当前画面的 sceneView = 截图
        let touchLocation = self.sceneView.center
        
        guard let currentFrame = sceneView.session.currentFrame else { return } // 判别当前有像素
        let hitTestResults = sceneView.hitTest(touchLocation, types: .featurePoint) //识别物件的特征点
        if hitTestResults.isEmpty { return }
        
        //可能会因为手抖连续点击多次，只取第一次点击的结果
        guard let hitTestResult = hitTestResults.first else { return } 
        
        self.hitTestResult = hitTestResult  //拿到点击结果
        
        // 拿到的图片转成像素，因为模型要输入的图片是pixelBuffer格式的
        let pixelBuffer = currentFrame.capturedImage
       
        performVisionRequest(pixelBuffer: pixelBuffer)
    }

下面这个方法就是模型对图片进行处理给出分析结果，训练次数越多，模型会越准确

func performVisionRequest(pixelBuffer: CVPixelBuffer){
        // 请 ML Model 做事情
        let visionModel = try! VNCoreMLModel(for: self.resentModel.model)
        
        let request = VNCoreMLRequest(model: visionModel) { (request, error) in
            // TO DO
            if error != nil { return }
            
            guard let observations = request.results else { return } // 把结果拿出来
            
            // 把结果中的第一位拿出来进行分析，类似模型里面的黑盒子，用来处理
            let observation = observations.first as! VNClassificationObservation
            
            print("Name: \(observation.identifier) and confidence is \(observation.confidence)")
            // 把获取的结果展示出来，需要刷新UI，在主线程进行
            DispatchQueue.main.async {
                self.displayPredictions(text: observation.identifier)
            }
        }
        
        request.imageCropAndScaleOption = .centerCrop  //进行输入
        
        self.visionRequests = [request] // 拿到结果
        
        let imageRequestHandler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, orientation: .upMirrored, options: [:]) // 将拿到的结果左右反转
       // 处理所有的结果，可能时间比较长，需在异步中开启新线程执行 
        DispatchQueue.global().async {
            try! imageRequestHandler.perform(self.visionRequests) 
        }
    }

// 展示预测的结果
    func displayPredictions(text: String){
        let node = createText(text: text)
        
        // 把现实世界的坐标 转到手机对应的坐标，展示在屏幕中央
        node.position = SCNVector3(self.hitTestResult.worldTransform.columns.3.x,
                                   self.hitTestResult.worldTransform.columns.3.y,
                                   self.hitTestResult.worldTransform.columns.3.z)
        
        self.sceneView.scene.rootNode.addChildNode(node) // 把AR结果展示出来
    }

把结果用AR图标展示出来，所有的物体都是以节点形式存在

// 制作结果的AR图标跟底座
    func createText(text: String) -> SCNNode {
        // 创建父节点
        let parentNode = SCNNode()
        
        //创建底座
        // 创建一个 1cm 的小球形状
        let sphere = SCNSphere(radius: 0.01)
        let sphereMaterial = SCNMaterial()
        // 设置小球为橘色
        sphereMaterial.diffuse.contents = UIColor.orange
        sphere.firstMaterial = sphereMaterial
        // 生成小球的节点
        let sphereNode = SCNNode(geometry: sphere)
        
        //生成AR文字形状
        let textGeo = SCNText(string: text, extrusionDepth: 0)
        // 设置文字的属性
        textGeo.alignmentMode = kCAAlignmentCenter
        textGeo.firstMaterial?.diffuse.contents = UIColor.orange
        textGeo.firstMaterial?.specular.contents = UIColor.white
        textGeo.firstMaterial?.isDoubleSided = true
        textGeo.font = UIFont(name: "Futura", size: 0.15)
        
        // 生成文字节点
        let textNode = SCNNode(geometry: textGeo)
        // 设置文字大小
        textNode.scale = SCNVector3Make(0.2, 0.2, 0.2)

        // 把文字和底座都添加到父节点上
        parentNode.addChildNode(sphereNode)
        parentNode.addChildNode(textNode)
        
        return parentNode
    }