学习ARKit(二)

前言

前面一节学习ARKit(一)简单的介绍了AR与ARKit的相关概念,下面将深入到ARKit中来了解一下ARKit的工作原理与流程。

在介绍ARKit之前,先了解一下SpriteKitSceneKit

SpriteKit

SpriteKit——使用优化的动画系统,物理模拟和事件处理支持创建基于2D游戏。

SpriteKit是一种图形渲染和动画的框架,你可以使用它将任意纹理图像动画化。 SpriteKit提供了一个传统的渲染循环,可以在确定内容和渲染帧之间进行交替。你可以决定框架的内容以及这些内容如何更改。 SpriteKit会使用图形硬件有效地渲染该框架。 SpriteKit针对你的内容使用任意动画或更改内容进行了优化。这种设计使SpriteKit更适合需要灵活处理动画的游戏和应用程序。

SceneKit

SceneKit——使用高级场景描述创建3D游戏并向应用添加3D内容。轻松地添加动画、物理模拟、粒子效果和逼真的物理渲染。

SceneKit将高性能渲染引擎与用于导入、处理和渲染3D素材的描述性API相结合。与Metal和OpenGL的低级API不同,他们需要你精确地实现显示场景的渲染算法,而SceneKit只需要描述场景内容以及你希望执行的动作或动画即可。

两者特点

SpriteKit使用主机设备提供的图形硬件来高帧速率合成2D图片,同时还支持很多不同的内容,比如文本、视频等。SpriteKit支持丰富的渲染结构并接管了所有向OpenGL发出绘画指令的的底层工作,所以你可以将你的重心放在解决高层次的设计问题以及伟大的游戏交互设计上。

SceneKit是用来构建3D场景的框架,且可以与Core Animation和SpriteKit无缝交互。在SceneKit中可以直接引入COLLADA行业标准文件制作好的3D模型或场景。与SpriteKit一样,SceneKit通过场景来显示物体,场景包含在SCNView。场景内同样是以节点的结构来呈现物体。

ARKit框架

ARKit框架提供了两种AR技术,一种是基于3D场景(SceneKit)实现的增强现实,一种是基于2D场景(SpriktKit)实现的增强现实。
我们主要介绍一下3D场景的AR的框架与实现。
通俗的讲,AR就是我们摄像头捕捉到现实世界中的图像后,在图像上显示虚拟的3D模型,这就是最简单的增强现实。其过程就是上面的两步:

  1. 摄像头捕捉现实世界的图像(ARKit实现)
  2. 在图像上现实虚拟的3D模型(SceneKit实现)

下面展示一下ARKit框架关系图(摘自ARKit从入门到精通(2)-ARKit工作原理及流程介绍

ARKit框架图.png

注释:
图中我们可以看到,ARKit是通过ARScnView来展示3D场景的,这个3D场景是摄像头通过拍摄将现实世界的图像与虚拟的3D模型结合所构成的。ARScnView继承自SceneKit中的SCNView,而SCNView则继承自我们非常熟悉的UIView。
在AR中,ARKit负责将现实世界转换成3D场景,而SceneKit则是在3D场景中添加自己的场景与虚拟3D模型。

ARKit的工作原理

在上图中,我们可以看到ARKit中比较重要的几个类:ARSCNView、ARSession、ARCamera,此外还有ARConfiguration、ARFrame等。

  1. ARCamera是通过相机来捕捉真实世界的图像,ARScnView则是展示将相机捕捉的画面作为3D场景,它们两个之前是通过ARSession来建立联系的。
  2. ARSession与iOS中其他的session一样,就是会话的意思。创建一个AR的场景,首先要创建一个AR会话。一个ARSession对象协调ARKit来代表执行的主要过程,这些过程包括从设备的运动感测硬件读取数据,控制设备的内置相机,以及对捕获的相机图像执行图像分析。会话综合了所有这些结果,以建立设备所在的真实世界空间与模拟AR内容的虚拟空间之间的对应关系。
  3. 运行会话需要会话配置:ARConfiguration类的实例或其子类。
    这些类确定ARKit如何跟踪设备相对于现实世界的位置和运动,从而影响您可以创建的AR体验的种类。
    ARConfiguration的子类主要有以下三种:
    ARWorldTrackingConfiguration:提供高品质的AR体验,使用后置摄像头精确跟踪设备的位置和方向,并允许平面检测和点击测试。
    AROrientationTrackingConfiguration:提供使用后置摄像头并仅跟踪设备方向的基本AR体验。
    ARFaceTrackingConfiguration:提供使用前置摄像头并跟踪用户脸部的移动和表情的AR体验。
  4. ARFrame作为ARSession的一部分用来捕获视频图像和位置跟踪信息。ARCamera会连续地捕获视频帧,传到ARSession。对于每一帧,ARKit将图像与设备运动感应硬件所得的数据(数据由ARConfiguration中封装了复杂的算法来计算得出的)一起进行分析,以估计设备在现实世界的位置。ARKit传输跟踪信息和图像参数就是以ARFrame为对象来传输的。
大概的工作流程是这样的:
  1. 打开应用,开启摄像头,通过ARSCNView来加载AR 3D场景SCNScene
  2. SCNScene通过ARCamera捕捉场景
  3. 捕捉场景后,ARCamera会将视频帧传到ARSession,然后再传到ARSCNView展示场景。
  4. ARSCNView将场景数据交给ARSession。
  5. ARSession通过管理ARConfiguration实现场景的追踪并返回一个ARFrame。
  6. 再ARSCNView的场景中添加3D模型(即ARSCNNode)

ARConfiguration捕捉相机3D位置的意义就在于能够在添加3D物体模型的时候计算出3D物体模型相对于相机的真实的矩阵位置。
在3D坐标系统中,有一个世界坐标系和一个本地坐标系。类似于UIView的Frame和Bounds的区别,这种坐标之间的转换可以说是ARKit中最难的部分。

流程图如下:(摘自ARKit从入门到精通(2)-ARKit工作原理及流程介绍

ARKit流程图.png

下一节学习ARKit(三)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,392评论 5 470
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,258评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,417评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,992评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,930评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,199评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,652评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,327评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,463评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,382评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,432评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,118评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,704评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,787评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,999评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,476评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,057评论 2 341

推荐阅读更多精彩内容