前几天WWDC上，苹果发布了机器学习框架Core ML。根据文档，Core ML是基于Metal和Accelerate开发的，在性能效率上有很高的保证。但Core ML只能使用已经训练好的模型，相比谷歌和Facebook，可以明显感受到苹果的态度：“苹果内部的重点是打造伟大的产品，而不是发表论文”。
db81e861-1e06-4d14-8915-90707d9b114c.png
基于苹果提供的环境模型，本文将构建一个环境识别的Demo。
一、下载Xcode9.0beta、Places205-GoogLeNet模型
使用Core ML需要最新的Xcode9.0beta，而系统最低版本需要10.12.4。
下载地址：https://developer.apple.com/download/
而模型则使用苹果提供的模型Places205-GoogLeNet。
下载地址：https://docs-assets.developer.apple.com/coreml/models/GoogLeNetPlaces.mlmodel
二、code
新建一个工程把Places205-GoogLeNet模型拖进工程，可以看到模型的一些参数。
image.png
func prediction(sceneImage: CVPixelBuffer) throws -> GoogLeNetPlacesOutput {
let input_ = GoogLeNetPlacesInput(sceneImage: sceneImage)
return try self.prediction(input: input_)
}
要进行识别需要输入一张图片，进一步点进Model Class发现直接使用Core ML进行预测需要的图片类为CVPixelBuffer，这个类是可以通过UIImage进行一系列转换得到的，但是实际上这里我们可以基于比Core ML 更高一层的Vision 实现。(Vision文档：https://developer.apple.com/documentation/vision)
在使用系统的UIImagePickerController选择一张场景图片后取得图片的UIImagePickerControllerImageURL，使用Vision框架进行预测并设置好结果处理函数就可以了
do {
let model = try VNCoreMLModel(for: GoogLeNetPlaces().model)
let request = VNCoreMLRequest(model: model, completionHandler: resultsHandler)
let handler = VNImageRequestHandler(url: imageURL)
try handler.perform([request])
} catch {
print(error)
}
处理预测结果，展示。
func resultsHandler(request: VNRequest, error: Error?) {
guard let results = request.results as? [VNClassificationObservation]
else { fatalError("error") }
guard let best = results.first
else { fatalError("error") }
sence.text = best.identifier
confidence.text = "\(best.confidence)"
for classification in results {
print(classification.identifier,
classification.confidence)
}
}
Untitled1.gif
最后总结一下，虽然都是新的api，但是在基于已有模型的基础上确实如苹果所描述，只是使用的话还是比较简便的。
Core ML delivers blazingly fast performance with easy integration of machine learning models enabling you to build apps with intelligent new features using just a few lines of code.
附上demo(模型较大没有上传到github需另外下载导入)：https://github.com/tion126/MLDemo
网友评论