Meta 展示 AI 驱动的身体姿势系统最新成果
source link: http://vr.sina.com.cn/news/yx/2023-06-27/doc-imyysxhx0456680.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
新浪VR >
正文页
Meta 展示 AI 驱动的身体姿势系统最新成果
Meta 研究人员展示了基于人工智能驱动的身体姿势系统最新成果。
目前的 VR 系统开箱即用，只能追踪用户头部和手部位置。用户肘部、躯干和腿部的位置可以使用一类称为逆运动学 （IK） 的算法来估计，但这有时只对肘部准确，而对腿部则很少正确。对于每组给定的头部和手部位置，都有太多潜在的解决方案。鉴于 IK 的局限性，一些 VR 应用程序只显示手部，许多应用只显示一个上半身。
智能手机应用现在可以使用计算机视觉进行 VR 身体追踪，但这需要将手机安装在角落里，并且只有在面对它时才可以正常工作。使用 SteamVR 追踪的 PCVR 头显通过佩戴额外追踪器（如 HTC Vive Tracker）支持更高质量的身体追踪，但购买足够的身体追踪设备需要花费数百美元。
去年，三名 Meta 研究人员展示了 Quest Sim，这是一种强化学习模型，仅通过 Quest 2 及其控制器的追踪数据就可以估计合理的全身姿势，无需额外的追踪器或外部传感器。生成的化身运动与用户的真实运动非常接近。研究人员甚至声称，由此产生的精度和抖动优于佩戴的 IMU 追踪器，这些设备只有加速度计和陀螺仪，如索尼的 Mocopi。
但是 Quest Sim 失败的一个极端情况是当用户与现实世界交互时，例如坐在椅子或沙发上时。处理这个问题，尤其是坐着和站着之间的过渡，对于社交 VR 中的逼真完整身体至关重要。
在一篇名为 Quest Env Sim 的新论文中，同样的三名研究人员和另外两名研究人员提出了一个更新的模型，仍然使用相同的强化学习方法，该方法考虑了环境中的家具和其他物体：
研究结果相当令人印象深刻。但是，不要指望 Quest Env Sim 会很快在 Quest 2 上运行。与原始的 Quest Sim 一样，这里有几个重要的注意事项。
首先，本文没有提到所描述系统的运行时性能。机器学习研究论文倾向于以相对较低的帧速率在强大的 PC GPU 上运行，因此可能需要数年时间才能实时运行。
其次，在虚拟环境中手动扫描和定位所使用的家具和物体。虽然 Quest 3 可能能够通过其深度传感器自动扫描家具，但 Quest 2 和 Quest Pro 没有那么关键的传感器数据。
最后，这些系统旨在产生合理的整体全身姿势，而不是与手部确切位置相匹配。系统的延迟也相当于 VR 中的许多帧，因此，这些方法对于在 VR 中俯视自己的身体来说效果不佳，即使它们可以实时运行。
但是，假设系统最终可以优化，看到其他人化身的全身运动将比 Meta 当前无腿上半身化身要好得多。
Recommend
-
86
悟空卫星可能首次看到暗物质 暗物质粒子探测卫星“悟空”（DAMPE）发布探测成果，获得了目前世界上最精确的高能电子宇宙线能谱，数据中可能发现人们长期以来寻找的暗物质！
-
88
相关新闻：专题汇总：14点直播-专家给你讲讲悟空卫星的大发现和暗物质那点事《科学大家》|悟空卫星重磅成果究竟“看”到了什么？“悟空”卫星获得世界最精确高能电子宇宙线能谱“悟空”火眼金睛洞察宇宙奥秘文章来源：中国科普博览北京时间2017年11
-
90
-
58
来源：科学大院2018年5月26日，自然资源部中国地质调查局对社会公布了“向地球深部进军”——松辽盆地大陆深部科学钻探工程的重大成果。“松科二井”目前的完钻深度，已经让它成为亚洲国家实施的最深大陆科学钻井。当然，这次发布的重大成果不只有“深
-
29
来源：生物探索华人科学家顾臻教授长期致力于智能递药体系的创新研发，已先后开发出包括“智能胰岛素贴片”、“癌症免疫疗法贴片”、“减肥贴片”在内的多项新技术！近日，其团队再发新成果，首次提出了一种“细胞联合递药”技术！动物试验表明，该技术可将抗
-
34
按：本文译自CornellUniversityLibrary，作者为AlbertHaque, MichelleGuo, AdamSMiner和LiFei-Fei。文章主要介绍了李飞飞团队的最新研究成果：一种基于机器学习的抑郁症症状严重程度测量方法，该方法使用了视频、音频和文本数
-
11
超300+厂商加入生态！华为鸿蒙系统的最新成果都有啥？ - IT业界_CIO时代网 - CIO时代—新技术、新商业、新管理超300+厂商加入生态！华为鸿蒙系统的最新成果都有啥？ 2021-04-20 12:20:43 来源：慧聪网 摘要...
-
4
在 360Netlab 的旧文 《“双枪”木马的基础设施更新及相应传播方式的分析》 中，提到了 双枪 木马传播过程中的一个恶意驱动程序 kemon.sys ，其中有经过自定...
-
3
你怎样看? 文章来源：Vista氢商业 ID：Qingshangye666 作者：橘总 编辑：卝生 由于疫情被迫取消两次之后，米兰设计周终于在2022年6月7日至12日回归。今年同样是米兰家具展的第60周年，几十年来...
-
7
新浪VR > 正文页 Meta 全身追踪 API 或只是无腿的身体姿势估计...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK