去年9月,我们首次发布了 Cocos CreatorXR,正式支持 XR 内容开发,集成 OpenXR 标准协议,兼容各大主流 XR 设备。Cocos 也由此成为首个支持 XR 设备的全功能国产引擎,帮助内容创作者低成本参与元宇宙创作。
Cocos CreatorXR 发布后,许多开发者使用它创作出了自己的 XR 作品,并发布到 Rokid Air 等平台上。同时,我们也收到了大家的意见和建议,这些反馈也成为我们不断完善工具、迭代版本的重要参考依据,在此向各位开发者表示感谢!
随着 Cocos Creator 3.7.1 的发布,全新升级的 Cocos CreatorXR v1.1.0 也于今日正式上线。该版本完善了 VR 创作中常用的视频组件和串流调试功能,并首次通过集成的 Cocos ARModule 加入了对 ARKit / ARCore / AREngine / Spaces 等四个主流 AR SDK 的支持,开发者可进行 Spaces XR 眼镜设备和手持 AR 设备的 AR 内容开发。
v1.1.0 重点特性
支持骁龙 Spaces XR 内容生态
由高通推出的头戴式 AR 开发套件骁龙 Spaces XR 开发者平台,基于 OpenXR 规范实现了应用程序的可移植性,是首个符合 OpenXR runtime 并针对“连接智能手机使用”这一形式进行优化的头戴式 AR 平台,这也有助于降低开发者利用骁龙 Spaces 进行编程的门槛。
在硬件平台、XR 底层技术以及 5G 网络技术方面的优势,以及在个人智能设备行业的影响力,让高通有更大的机会基于骁龙 Spaces 平台打造统一的 XR 基底,打破生态孤岛。Cocos 第一时间推出对 Spaces 平台的支持,带动 Spaces XR 的内容开发走向更低门槛、更轻量化的时代。
支持华为 AREngine 的内容创作
AREngine 是华为推出的一款用于在 HarmonyOS / Android 上构建增强现实应用的 SDK,在国产品牌手持设备里有着最高的预装覆盖率。
Cocos CreatorXR v1.1.0 通过 ARModule 对 AREngine 的二次封装,正式支持 AREngine 的内容创作,是目前唯一官方支持 AREngine 的全功能可视化编辑器,也造就了完整的全流程国产化 AR 内容生态闭环。
跨 AR SDK 的智能化内容构建
目前市面上能够实现 AR 能力的 SDK 种类繁多,其中比较主流的设备端(即需要软硬件联合标定的)AR SDK 主要有 ARKit / ARCore / AREngine / Spaces 等,它们都有自己独立的开发环境,给开发者跨平台发布内容带来了学习门槛和重复工作量。
Cocos CreatorXR v1.1.0 通过集成的 Cocos ARModule,对上述四个主流 SDK 进行了二次封装,抹平不同 SDK 之间的差异,让开发者无需去学习和区分底层 SDK,能够更专注于内容创作,实现高效率的跨平台内容研发。
AR 创作工作流 Factor-Action
AR 内容与传统数字内容的区别在于,AR 面对的是未知的实体世界,而不是既定的虚拟场景。因此,在开发中,如果能够清晰方便地描述现实实体的条件特征、并针对此种条件执行匹配的行为,则可以大大简化开发者处理复杂 AR 功能特性的工作流程,让开发者更专注于编写项目核心逻辑。
Cocos CreatorXR v1.1.0 提供的 Factor-Action 组件,将常用的特征和行为抽象成为“元素”供开发者自由搭配,图形化的操作极大程度降低了 AR 应用的开发成本和开发门槛。
预先封装好的触摸屏交互组件
对于手持设备(手机/平板)的 AR 体验来说,仅能够进行虚实叠加的内容呈现是不够的,多样的交互方式对 AR 体验来说至关重要。其中,触摸屏手势交互是手持 AR 最主要的交互手段之一。
Cocos CreatorXR v1.1.0 特此定制了一套触屏手势交互组件,将经典的手势行为进行了组件化封装。开发者只需通过菜单选择不同操作的对应手势,即可完成交互的设定,简化开发工作量的同时,也确保了交互体验的可预测性。
XR 视频播放器组件
如今,对元宇宙会展、文旅党建等众多 XR 应用来说,“在虚拟场景里的特定区域播放视频”已经成为刚需。
Cocos CreatorXR v1.1.0 提供了通用化的 XR 视频播放器,支持常规或180/360全景视频。该组件直接调用硬件解码后通过 GPU 渲染到内部纹理,并支持切换展示多种风格的视频。同时,播放器还提供了交互功能辅助进行播放控制,开发者只需添加或替换视频资源即可实现简易的视频播放功能,简化开发步骤。
XR 设备信号的无线串流调试
内容验证是项目开发过程中极其耗时的一环。由于 XR 设备的终端独立性和串流工具的封闭性,在编辑器中进行 XR 项目验证和调试,与传统移动端 / PC 端的项目内容验证相比更为困难。
为了响应众多开发者的需求,Cocos CreatorXR v1.1.0 推出了无线串流调试功能,支持直接在 Web 浏览器中预览 XR 项目并同步所有来自 XR 设备的信号,正确渲染实时画面并反馈各种控制器信号触发逻辑。开发者无需打包应用至设备即可快速完整地体验所有 XR 项目内容,既能保证功能的完整性,又能提高调试效率。
接入方法
Cocos CreatorXR v1.1.0 是基于 Cocos Creator 3.7.1 的官方插件,建议在 3.7.1 或以后版本的 Cocos Creator 中使用,以获得最完整的功能体验。开发者可前往 Cocos Store 下载安装,或通过 Dashboard 的模板/案例来启用。
若您将 Cocos CreatorXR v1.1.0 插件安装在 Cocos Creator 3.6.1/3.6.2/3.6.3/3.7.0 版本上,则能够实现的 XR 功能与 Cocos CreatorXR v1.0.1 一致,而新增的功能将无法使用。
v1.1.0 只是 Cocos CreatorXR 演进中的一小步,希望我们能承载众多开发者朋友的期待,共创 XR 生态的美好未来!