苹果新专利：未来HMD或将使用手势与UI进行交互

苹果新专利：未来HMD或将使用手势与UI进行交互

发布时间：2022-04-22 12:30  |  标签： 苹果 HMD 专利 眼动追踪

编译/VR陀螺

近日，美国专利商标局公布了苹果公司的一项专利申请，该专利涉及系统、方法和图形用户界面，旨在为电子设备与三维环境中的物体进行交互和操作提供改进的方法，特别是在使用未来的混合现实头显的背景下。

苹果公司指出，在一些实施方案中，一个电子设备，如混合现实（MR）头显，促进了与可选择的用户界面元素的互动。在一些实施方案中，该设备在一个三维环境中呈现一个或多个可选择的用户界面元素。响应于检测到用户指向各自可选用户界面元素的目光，电子设备会更新可选用户界面元素的外观。

在一些实施方案中，MR头显选择一个用户界面元素，并响应用户的输入执行相关的动作，该输入包括检测用户的注视点和空中手势中。以这种方式加强与可选择的用户界面元素的互动，为使用电子设备进行选择和执行操作提供了高效和直观的方式。

在一些实施例中，MR头显增强了与虚拟滑块用户界面元素的互动。在一些实施例中，滑块用户界面元素包括该用户界面的当前输入状态的指示。在一些实施例中，响应于检测到用户对滑块用户界面元素的注视，电子设备更新滑块用户界面元素以包括该用户界面元素的多个可用输入状态的指示。

在一些实施例中，HMD头显在三维环境中移动虚拟物体，并为访问与虚拟物体相关的操作提供便利。在一些实施例中，该设备显示与虚拟环境中的虚拟物体相关的用户界面元素。

在一些实施例中，响应于检测到针对用户界面元素的第一输入，电子设备启动了在虚拟环境中移动相关虚拟对象的过程。

图源：patentlyapple

苹果公司的专利图5是一个框图，说明计算机系统的眼动追踪单元，该单元被配置为捕捉用户的注视输入；图7A说明电子设备检测用户的注视点，并通过动画显示注视点在用户界面上选择激活、移动或删除什么。

如图5所示的注视追踪系统的实施方案，例如，可用于计算机生成的现实、虚拟现实和/或混合现实应用，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强的虚拟体验。

在一些实施方案中，眼动追踪装置是头戴式设备的一部分，该设备包括一个显示器（例如，显示器#510）、两个眼睛镜片（例如，眼睛镜片#520）、眼动追踪相机（例如，眼动追踪相机#540）和光源（例如，由红外或近红外LED产生的光源#530），安装在一个可穿戴的壳体中。

图源：patentlyapple

如苹果公司的专利图6所示，说明了闪烁辅助的注视追踪管道。

苹果公司的专利图9A-9D说明了HMD如何利用空中手势+注视点或眼动追踪来增强与滑块用户界面元素互动的例子。

图源：patentlyapple

在苹果公司的专利图11A中，我们看到戴着HMD的用户将能够通过使用各种空中手势，如捏和其他手势，抓住GUI上呈现的物体并移动它们。

图源：patentlyapple

虽然苹果公司的专利肯定说明了他们的一些空中手势的例子适用于iPad或iPhone，但空中手势更适用于混合现实头显设备，因为用户无法使用鼠标或Magic Trackpad来操纵屏幕上的物体。

空中手势将使用下一代眼动注视和/或眼动追踪技术来协助用户浏览一种新的用户界面，苹果在这项专利中对细节进行了深入描述。想了解更多详情，可查看苹果专利20220121344。考虑到这是一项专利申请，目前还不知道这种产品的上市时间。

来源：patentlyapple

元宇宙数字产业服务平台

下载「陀螺科技」APP，获取前沿深度元宇宙讯息