[AR/MR 基础] 利用 iPhone X 的深度相机(TruthDepth Camera)获得像素点的三维坐标

最近在做三维姿态估计的东西，用到了 iPhoneX 上的深度摄像头 (TruthDepth Camera)，我们都知道深度摄像头可以获得某个点的三维信息（基于此可以做很多有趣的东西，譬如三维重建，三维关键点跟踪与检测，后续有空慢慢填坑），但具体如何获得网上能找到的资料也不多，我在这里整理了一下我最近搜集到的资料并提供了基于 Swift 的示例代码，该文章分成下面几小节来阐述。

深度摄像头大致的工作流程。
凸透镜成像中的焦距和光心。
相机成像中所用到的世界，相机，图像，像素坐标系。
在 Swift 中根据像素点计算出它基于相机的三维坐标。
参考链接

其实最后计算获得三维坐标系的方法很简单，但要了解为什么要这样计算需要清楚相机成像的原理。

TruthDepth 相机大致工作原理

iPhone X 采用的是结构光的方案，这里以 FaceID 的工作流程来解释下它是如何获取深度值的：

当脸部靠近相机时，首先会启动接近感应器，若接近发出信号通知泛光照明器
泛光照明器会发出非结构化的红外线光投射到物体表面上，然后红外相机接收这些光后检测是否为人脸
若为人脸，则会让点阵投影器将 3 万多个肉眼看不见的结构光图案投影到物体上
红外镜头接收反射回来的点阵图案，通关计算图案的变形情况来获得脸部不同位置的距离

点阵投影器和泛光照明器都可以投射红外线光点，不同之处在于前者功耗高后者功耗低，且前者投射结构光，后者投射非结构光。

这里并不对原理展开讲，感兴起的可以移步阅读尾部的参考链接

凸透镜成像中的焦距和光心

不同角度出发的光线经过透镜，跟透镜表面形成不同的夹角，产生不同程度的折射。

从一个真实世界 w 的一点出发的光，经过透镜，又重新汇集到一点，最终形成了点对点的成像关系，从上图我们可以得出以下几个名词的定义。

光心：凸透镜的中心

焦点：一束光以凸透镜的主轴穿过凸透镜时，在凸透镜的另外一侧会被凸透镜汇聚成一点，这一点叫做焦点。

焦距：焦点到凸透镜光心的距离就叫做这个凸透镜的焦距，一个凸透镜的两侧各自有一个焦点。

清楚这几个基本概念后理解下面几个坐标系就更加容易了。

相机成像中所用到的世界，相机，图像，像素坐标系

我们换一张成像的原理图

成像过程中需要经过几个坐标系的转换，最后显示在我们的屏幕上。

一般来说，需要经过四个坐标系的转换。

世界坐标系

描述现实世界中物体所处的三维坐标。

相机坐标系

以相机的光心为坐标原点，x 轴和 y 轴分别平行于图像坐标系的 x 轴和 y 轴，相机的光轴为 z 轴。

图像坐标系

以图像平面（一般指传感器）的中心为坐标原点，x 轴和 y 轴分别平行于图像平面的两条垂直边，用 (x, y) 表示其坐标值，图像坐标系是用物理单位（例如毫米）表示像素在图像中的位置。

像素坐标系

以图像平面左上角的顶点为原点，x 轴和 y 轴分别平行于图像坐标的 x 轴和 y 轴，用 (u, v) 表示其坐标值。这个坐标系也就是最终在我们手机上显示的坐标系。

所以，如果我们如果我们想获得像素点对应的三维坐标的话，就要根据像素坐标系反推回相机坐标系中。而如何反推就涉及到几个坐标系之间的转换方法。

已知一个现实世界中的物体点在世界坐标系中的坐标为 (X, Y, Z)，相机坐标系为 (Xc, Yc, Zc)，图像坐标系中的坐标为 (x, y)，像素坐标系上的坐标为 (u, v)

像素坐标系与图像坐标系之间的转换为：

其中 u0, v0 是图像坐标系原点在像素坐标系中的坐标，dx 和 dy 分别是每个像素在图像平面上 x 和 y 方向上的尺寸，这些值也被称为图像的内参矩阵，是可以通过 API 拿到的。

图像坐标系与相机坐标系之间的转换为：

其中 f 为焦距，为什么这么转换是根据相似三角形定理得到的，如下图所示：

最后则是相机坐标系与世界坐标系的转换关系：

其中 R 为 3x3 的正交旋转矩阵，t 为三维平移向量，这几个参数也被称为相机的外参矩阵，也是可以拿到的。

在一般的应用中，我们只需要从像素坐标系转换到相机坐标系就够用了。

基本知识都准备完毕，接下来看如何在 iPhoneX 上获取像素点的三维坐标。

在 Swift 根据像素点计算出它基于相机的三维坐标

在 Swift 中启动 TrueDepth 相机主要有以下三个步骤

// 1. 发现 TruthDepth 相机
let videoDeviceDiscoverySession = AVCaptureDevice.DiscoverySession(deviceTypes: [.builtInTrueDepthCamera], mediaType: .video, position: .front)

// 2. 初始化输入和输出
let videoDeviceInput = try AVCaptureDeviceInput(device: videoDeviceDiscoverySession.devices.first!)

// 3. 给 session 添加输出
let depthDataOutput = AVCaptureDepthDataOutput() session.addOutput(depthDataOutput) depthDataOutput.setDelegate(self, callbackQueue: dataOutputQueue)

因为我们设置了 Delegate，所以相机只要捕捉到一帧深度图就会回调下面这个函数

func dataOutputSynchronizer(_ synchronizer: AVCaptureDataOutputSynchronizer, didOutput synchronizedDataCollection: AVCaptureSynchronizedDataCollection) {
        ...
        // 获得相机内参数和对应的分辨率
        let intrinsicMartix = syncedDepthData.depthData.cameraCalibrationData?.intrinsicMatrix
        let refenceDimension = syncedDepthData.depthData.cameraCalibrationData?.intrinsicMatrixReferenceDimensions
        self.camFx = intrinsicMartix![0][0]
        self.camFy = intrinsicMartix![1][1]
        self.camOx = intrinsicMartix![0][2]
        self.camOy = intrinsicMartix![1][2]
        self.refWidth = Float(refenceDimension!.width)
        self.refHeight = Float(refenceDimension!.height)
        ...
}

在这个回调函数里，我们可以获得摄像头的内参数，示例的程序中，只要触摸预览图中某一个像素点，程序会调用下面代码块输出该像素点在相机坐标系下的 X, Y 和 Z 的值。

    override func touchesBegan(_ touches: Set<UITouch>, with event: UIEvent?) {
        let touchPoint = (touches as NSSet).allObjects[0] as! UITouch
        // 获得像素坐标系的坐标
        let coord = touchPoint.location(in: self.preview)
        let viewContent = self.preview.bounds
        let xRatio = Float(coord.x / viewContent.size.width)
        let yRatio = Float(coord.y / viewContent.size.height)
        // 获得触摸像素点的深度值 Z，单位为 cm
        let realZ = getDepth(from: depthPixelBuffer!, atXRatio: xRatio, atYRatio: yRatio)
        // 获得对应的 X 和 Y 值，计算公式其实就是两个坐标转换矩阵之间相乘后的结果
        // 像素 -> 图像 -> 相机坐标系
        let realX = (xRatio * refWidth! - camOx!) * realZ / camFx!
        let realY = (yRatio * refHeight! - camOy!) * realZ / camFy!
        DispatchQueue.main.async {
            self.touchCoord.text = String.localizedStringWithFormat("X = %.2f cm, Y = %.2f cm, Z = %.2f cm", realX, realY, realZ)
        }
    }

示例程序的效果图如下：

image.png

这里输出的是红色点对应的 X, Y, Z 值，完整代码戳这里。

参考链接

[1] iPhoneX 脸部识别技术解析 http://technews.tw/2017/09/19/iphone-x-face-id-truedepth-vcsel/

[2] Quoar: What is the flood illuminator in iPhone X for? https://www.quora.com/What-is-the-flood-illuminator-in-iPhone-X-for

[3] 世界，相机，图像，像素坐标系之间的关系 https://blog.csdn.net/u011574296/article/details/73658560

[4] AVFoundation Programming Guide - Apple Developer https://developer.apple.com/library/archive/documentation/AudioVideo/Conceptual/AVFoundationPG/Articles/00_Introduction.html

[5] Creating Photo and Video Effects Using Depth https://developer.apple.com/videos/play/wwdc2018/503/