Meta AI 研究人员演示新模型 AGRoL：有望让虚拟化身“长出”双腿
source link: http://vr.sina.com.cn/news/yx/2023-05-12/doc-imytnyka6725850.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
新浪VR >
正文页
Meta AI 研究人员演示新模型 AGRoL：有望让虚拟化身“长出”双腿
Meta AI 研究人员正趋向于呈现逼真化身腿部显示，而无需额外的追踪硬件。
开箱即用，目前的 VR 系统只追踪用户的头部和手部位置。用户的肘部、躯干和腿部的位置可以使用一类称为反向运动学（IK）的算法来估计，但这有时只对肘部准确，很少对腿部进行校正。对于每组给定的头部和手部位置，都有太多潜在的解决方案。
鉴于 IK 的局限性，如今的一些 VR 应用程序只显示用户手部，许多应用只示用户的上半身。使用 SteamVR 追踪支持的 PCVR 追踪器，例如 HTC Vive Tracker，但购买足够追踪器的用于身体追踪需要花费数百美元，且大多数游戏都不支持。
去年 9 月，Meta AI 研究人员展示了一个名为 QuestSim 的强化学习神经网络，该网络仅使用 Quest 2 及其手柄的追踪数据即可估计合理的全身姿势。但 QuestSim 的延迟为 160 毫秒，在在 72 Hz下超过 11 帧。它只适合在看别人的腿部化身，而不是自己，也没有提到系统的运行时性能或运行在什么 GPU 上。
在一篇名为《Avatars Grow Legs（ AGRoL ）》的新论文中，其他 Meta AI 研究人员和实习生 Yuming Du 展示了一种新方法，他们声称该方法“实现了最先进的性能”，计算要求低于以前的 AI 方法。AGRoL 是一种扩散模型，就像最近的 AI 图像生成系统，如 Stable Diffusion 和 OpenAI DALL·E 2。
与其他扩散模型和大多数 AI 研究论文不同，研究人员表示，AGRoL“可以在 NVIDIA V100 上实时运行”，运行速度约为 41 FPS。虽然 NVIDIA V100 是一个 15000 美元的 GPU，但相信经过几年优化，最终将能在智能手机上运行。例如，Google Assistant 和 Siri 中使用的语音识别和合成模型就是这种情况。
尽管如此，没有迹象表明 AGRoL 身体姿势将很快出现在 Meta Quest 产品中。Meta 确实宣布虚拟化身将在今年获得腿部支持，但它可能会由技术上不那么先进的算法提供支持，并且仅适用于其他人的化身，而不是自己的化身。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK