1

Cocos x Rokid XR 技术开放日之见闻

 1 year ago
source link: https://danthought.com/metaverse/2022/09/25/cocos-rokid-xr-salon/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

Cocos x Rokid XR 技术开放日之见闻

昨天下午在科兴科学园参加了由 Rokid 与 Cocos 携手举办的 XR 技术开放日,主要体验了 Rokid Air 眼镜,以及 Cocos Creator 对 XR 开发的支持,此文主要讲述我的见闻,官方文章会附在最后。

VR

Rokid Air

先来看一下设备的实拍:

Rokid Air
Rokid Air
Rokid Air
Rokid Air
Rokid Air

Rokid Air 是一款 2C 的 AR 眼镜,整体重量很轻质,我有戴近视眼镜,也可以再佩戴上 Rokid Air,就能在面前的一块矩形区域看到显示的内容,手机上需要使用 Rokid Air App,充当交互器,手指滑动手机屏幕就可以控制 Rokid Air 上看到射线,通过射线去选择 2D/3D 场景的内容。

Rokid Air 采用的是一种分体式的设计,需要通过有线和手机相连,手机上处理渲染,再将渲染的图像传输到 Rokid Air 进行显示,这也是 Rokid Air 重量可以比较轻质的原因,Rokid 工作人员说此款产品的目的是为了替代大屏显示,从便携性上与大屏显示器形成差异化,我认为这个产品思路是可行的,先从解决一个点的问题开始,推出一款产品,接收市场反馈,再迭代改进,Rokid Air 大概是在 2021 年底上市,累计销量有 10 万台。

我在 Rokid Air 上体验了一款汤姆猫跑酷游戏,就是控制汤姆猫左右移动,跳跃,没什么特别大感受;一款寻宝之类游戏,名字记不清了,做了一个特别的交互,通过做类似啄木鸟啄木的动作来互动,一是现场做这个动作比较尴尬,二是动作识别不是很灵敏;还有一款祖玛龙珠游戏,龙珠是放在一个 3D 场景中,通过射线发射龙珠,几个颜色相同就消失,上手很快,沉浸感比手机上有提升,是我体验到最好的一款。

最后,具体怎么上手开发 Rokid Air 的应用,我听的比较一知半解,从下面这个宣传册入手应该可行:

Rokid AR Platform

Cocos Creator XR

Cocos 是国产的开源游戏引擎,是伴随移动互联网发展而成长起来的,我早有耳闻。

因为之前没有缘分,我从来没有用其开发过产品,所以很匆忙地按照官宣的文章,下载了 Cocos Dashboard,摸索着安装了编辑器,再安装 XR 插件,后来一直没找到 XR 示例工程创建入口,在现场同 Cocos 工程师请教后,先要切换到中文语言,才有如下 XR 案例:

Cocos Creator XR

然后需要找到 scene 目录下的场景,打开就可以了:

Cocos Creator XR

还可以在浏览器里面预览:

Cocos Creator XR

因为我有 Pico Neo 3,这个示例工程可以 Build 出来在上面运行,我自己 Build 时,因为遇到一些 Android SDK 和 Java SDK 配置相关的问题,没有能够成功,应该不难解决,后面有时间尝试了再来分享。

在现场,我有在 Pico Neo 3 上体验用 Cocos Creator XR 制作的两个应用,一个应用类似线上展会,可以通过射线移动,虚拟左手上有个 UI 绘制的菜单界面,可以做些场景切换的事情,有基本的沉浸感和交互,另一个应用就是上面的示例工程,主要想体验一下和物体的直接交互,但是还是通过射线将那个白色立方体移动到面前,尝试抛出去几次但是没有成功,后来会议开始了就匆匆结束了体验。

Cocos 的下层引擎部分由 C++ 编写,上层的 TypeScript 引擎处理开发者编写的游戏逻辑的脚本,如果你会前端,没有什么语言转换的成本,前段时间火爆的游戏《羊了个羊》是一个 9 人团队使用 Cocos 开发的。

Cocos 在 XR 方向选择的也是 OpenXR 来适配不同的 XR 设备,几乎也是业界的共识,Cocos Creator XR 制作的《幽灵射手》听说体验很好,可惜我没有体验到,这块游戏 XR 版说是后面会开源。

下面说一下 VR 开发,引擎应该提供的基础功能或者框架,Cocos 在现场也有分享,和 Untiy XR Interaction Toolkit 提供的功能几乎一致,但是实际效果如何还是需要实际开发过才有体会,我有用 Untiy XR Interaction Toolkit 开发过相关 Demo,后面也会分享,所以这里只是写一个列表:

  • 化身
    • 左右手映射
  • 交互
    • UI 交互,自然也要提供 UI 组件

最后,说一下 Cocos 在 AR 上规划,在手机平台上,会支持苹果 ARKit,谷歌 ARCore,华为 AREngine,目前 AR 在 2C 上应用场景基本上就是手机,比较典型的就是 AR 营销,在技术上,如果要在多个手机系统上实现,一般都会借助商业的 AR SDK,我还没有见过开源的解决方案,所以比较期待,后续也会分享这方面的内容。

虽然 XR 在很多方面还有各种各样的问题,但是我的体会是,每过一段时间再去看,就会发现有很多新的进步,这样也是我会把 20% 的时间投入到元宇宙上的原因。

官方文章:


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK