Meta展示可用于AR眼镜的AI场景重建技术
source link: https://www.vrtuoluo.cn/539495.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Meta展示可用于AR眼镜的AI场景重建技术_VR陀螺
编译/VR陀螺
近日，Meta AI发布了一段视频，演示了AR眼镜如何基于Reality Labs Research的SceneScript模型识别现实世界对象并生成场景布局。
据悉，SceneScript可以使用端到端机器学习直接推断房间的几何形状，而不是使用硬编码规则将原始视觉数据转换为房间建筑元素的近似值。SceneScript的一个优势是它的可扩展性。只需向环境数据集中表示门的场景语言添加一些附加参数，就可以训练网络准确预测物理环境中门打开或关闭的程度。
此外，SceneScript可以准确预测对象的位置，并进一步将这些对象分解为其组成部分。例如，沙发可以在SceneScript语言中表示为一组几何形状，包括垫子、腿和扶手。设计师可以使用这种细节级别来创建真正适合各种物理环境的AR内容。
.gif)
图源：Meta
该方法可以生成类似于矢量图形的完整、清晰的几何形状，并使得物理场景表示的内存需求减少到只有几个字节，这意味着用户在AR眼镜上也可以轻松编辑生成的场景物体。
虽然用户目前还无法在Quest 3或Ray-Ban Meta智能眼镜上使用SceneScript，但Meta的研究为即将推出的AR眼镜提供了新的视角。对于AR眼镜来说，深度传感器会增加重量，因此基于视觉处理的点云技术更适合轻量级产品，可交互的分级识别也将带来更加身临其境的AR体验。
图源：Meta
Meta相信SceneScript代表了真正的AR眼镜之路上的一个重要里程碑：连接物理世界和数字世界。具体看来，SceneScript可以解锁MR头显和未来AR眼镜的关键用例，例如生成为视障人士提供逐步导航所需的地图。
同时，由于SceneScript还提供了LLMs 推理物理空间所需的能力，这使得其有成为下一代数字助理的潜力。用户可以向数字助理提出问题，例如“这张桌子适合我的卧室吗？”或者，“粉刷这个房间需要多少罐油漆？”，无需通过实际测量便可以在1秒内得到答案。
元宇宙数字产业服务平台
下载「陀螺科技」APP，获取前沿深度元宇宙讯息
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK