最近在做三维姿态估计的东西，用到了 iPhoneX 上的深度摄像头 (TruthDepth Camera)，我们都知道深度摄像头可以获得某个点的三维信息（基于此可以做很多有趣的东西，譬如三维重建，三维关键点跟踪与检测，后续有空慢慢填坑），但具体如何获得网上能找到的资料也不多，我在这里整理了一下我最近搜集到的资料并提供了基于 Swift 的示例代码，该文章分成下面几小节来阐述。
-
深度摄像头大致的工作流程。
-
凸透镜成像中的焦距和光心。
-
相机成像中所用到的世界，相机，图像，像素坐标系。
-
在 Swift 中根据像素点计算出它基于相机的三维坐标。
-
参考链接
其实最后计算获得三维坐标系的方法很简单，但要了解为什么要这样计算需要清楚相机成像的原理。
TruthDepth 相机大致工作原理
iPhone X 采用的是结构光的方案，这里以 FaceID 的工作流程来解释下它是如何获取深度值的：
-
当脸部靠近相机时，首先会启动接近感应器，若接近发出信号通知泛光照明器
-
泛光照明器会发出非结构化的红外线光投射到物体表面上，然后红外相机接收这些光后检测是否为人脸
-
若为人脸，则会让点阵投影器将 3 万多个肉眼看不见的结构光图案投影到物体上
-
红外镜头接收反射回来的点阵图案，通关计算图案的变形情况来获得脸部不同位置的距离
点阵投影器和泛光照明器都可以投射红外线光点，不同之处在于前者功耗高后者功耗低，且前者投射结构光，后者投射非结构光。
这里并不对原理展开讲，感兴起的可以移步阅读尾部的参考链接
凸透镜成像中的焦距和光心
不同角度出发的光线经过透镜，跟透镜表面形成不同的夹角，产生不同程度的折射。
从一个真实世界 w 的一点出发的光，经过透镜，又重新汇集到一点，最终形成了点对点的成像关系，从上图我们可以得出以下几个名词的定义。
光心：凸透镜的中心
焦点：一束光以凸透镜的主轴穿过凸透镜时，在凸透镜的另外一侧会被凸透镜汇聚成一点，这一点叫做焦点。
焦距：焦点到凸透镜光心的距离就叫做这个凸透镜的焦距，一个凸透镜的两侧各自有一个焦点。
清楚这几个基本概念后理解下面几个坐标系就更加容易了。
相机成像中所用到的世界，相机，图像，像素坐标系
我们换一张成像的原理图
成像过程中需要经过几个坐标系的转换，最后显示在我们的屏幕上。
一般来说，需要经过四个坐标系的转换。
世界坐标系
描述现实世界中物体所处的三维坐标。
相机坐标系
以相机的光心为坐标原点，x 轴和 y 轴分别平行于图像坐标系的 x 轴和 y 轴，相机的光轴为 z 轴。
图像坐标系
以图像平面（一般指传感器）的中心为坐标原点，x 轴和 y 轴分别平行于图像平面的两条垂直边，用 (x, y) 表示其坐标值，图像坐标系是用物理单位（例如毫米）表示像素在图像中的位置。
像素坐标系
以图像平面左上角的顶点为原点，x 轴和 y 轴分别平行于图像坐标的 x 轴和 y 轴，用 (u, v) 表示其坐标值。这个坐标系也就是最终在我们手机上显示的坐标系。
所以，如果我们如果我们想获得像素点对应的三维坐标的话，就要根据像素坐标系反推回相机坐标系中。而如何反推就涉及到几个坐标系之间的转换方法。
已知一个现实世界中的物体点在世界坐标系中的坐标为 (X, Y, Z)，相机坐标系为 (Xc, Yc, Zc)，图像坐标系中的坐标为 (x, y)，像素坐标系上的坐标为 (u, v)
像素坐标系与图像坐标系之间的转换为：
其中 u0, v0 是图像坐标系原点在像素坐标系中的坐标，dx 和 dy 分别是每个像素在图像平面上 x 和 y 方向上的尺寸，这些值也被称为图像的内参矩阵，是可以通过 API 拿到的。
图像坐标系与相机坐标系之间的转换为：
其中 f 为焦距，为什么这么转换是根据相似三角形定理得到的，如下图所示：
最后则是相机坐标系与世界坐标系的转换关系：
其中 R 为 3x3 的正交旋转矩阵，t 为三维平移向量，这几个参数也被称为相机的外参矩阵，也是可以拿到的。
在一般的应用中，我们只需要从像素坐标系转换到相机坐标系就够用了。
基本知识都准备完毕，接下来看如何在 iPhoneX 上获取像素点的三维坐标。
在 Swift 根据像素点计算出它基于相机的三维坐标
在 Swift 中启动 TrueDepth 相机主要有以下三个步骤
// 1. 发现 TruthDepth 相机
let videoDeviceDiscoverySession = AVCaptureDevice.DiscoverySession(deviceTypes: [.builtInTrueDepthCamera], mediaType: .video, position: .front)
// 2. 初始化输入和输出
let videoDeviceInput = try AVCaptureDeviceInput(device: videoDeviceDiscoverySession.devices.first!)
// 3. 给 session 添加输出
let depthDataOutput = AVCaptureDepthDataOutput() session.addOutput(depthDataOutput) depthDataOutput.setDelegate(self, callbackQueue: dataOutputQueue)
因为我们设置了 Delegate，所以相机只要捕捉到一帧深度图就会回调下面这个函数
func dataOutputSynchronizer(_ synchronizer: AVCaptureDataOutputSynchronizer, didOutput synchronizedDataCollection: AVCaptureSynchronizedDataCollection) {
...
// 获得相机内参数和对应的分辨率
let intrinsicMartix = syncedDepthData.depthData.cameraCalibrationData?.intrinsicMatrix
let refenceDimension = syncedDepthData.depthData.cameraCalibrationData?.intrinsicMatrixReferenceDimensions
self.camFx = intrinsicMartix![0][0]
self.camFy = intrinsicMartix![1][1]
self.camOx = intrinsicMartix![0][2]
self.camOy = intrinsicMartix![1][2]
self.refWidth = Float(refenceDimension!.width)
self.refHeight = Float(refenceDimension!.height)
...
}
在这个回调函数里，我们可以获得摄像头的内参数，示例的程序中，只要触摸预览图中某一个像素点，程序会调用下面代码块输出该像素点在相机坐标系下的 X, Y 和 Z 的值。
override func touchesBegan(_ touches: Set<UITouch>, with event: UIEvent?) {
let touchPoint = (touches as NSSet).allObjects[0] as! UITouch
// 获得像素坐标系的坐标
let coord = touchPoint.location(in: self.preview)
let viewContent = self.preview.bounds
let xRatio = Float(coord.x / viewContent.size.width)
let yRatio = Float(coord.y / viewContent.size.height)
// 获得触摸像素点的深度值 Z，单位为 cm
let realZ = getDepth(from: depthPixelBuffer!, atXRatio: xRatio, atYRatio: yRatio)
// 获得对应的 X 和 Y 值，计算公式其实就是两个坐标转换矩阵之间相乘后的结果
// 像素 -> 图像 -> 相机坐标系
let realX = (xRatio * refWidth! - camOx!) * realZ / camFx!
let realY = (yRatio * refHeight! - camOy!) * realZ / camFy!
DispatchQueue.main.async {
self.touchCoord.text = String.localizedStringWithFormat("X = %.2f cm, Y = %.2f cm, Z = %.2f cm", realX, realY, realZ)
}
}
示例程序的效果图如下：
image.png
这里输出的是红色点对应的 X, Y, Z 值，完整代码戳这里。
参考链接
[1] iPhoneX 脸部识别技术解析 http://technews.tw/2017/09/19/iphone-x-face-id-truedepth-vcsel/
[2] Quoar: What is the flood illuminator in iPhone X for? https://www.quora.com/What-is-the-flood-illuminator-in-iPhone-X-for
[3] 世界，相机，图像，像素坐标系之间的关系 https://blog.csdn.net/u011574296/article/details/73658560
[4] AVFoundation Programming Guide - Apple Developer https://developer.apple.com/library/archive/documentation/AudioVideo/Conceptual/AVFoundationPG/Articles/00_Introduction.html
[5] Creating Photo and Video Effects Using Depth https://developer.apple.com/videos/play/wwdc2018/503/
网友评论