VR社区近日，美国专利商标局公布了苹果公司的一项专利申请，涉及在 XR 头显、未来 Mac 和 iDevices（特别是 iPad）上使用眼睛和手部追踪手势在 3D 环境中移动物体的方法。
苹果在专利背景中指出，与至少包含一些虚拟元素（例如应用程序、AR 环境、MR 环境和 VR 环境）进行交互的方法和界面繁琐、低效且有限。例如，为执行与虚拟对象相关的操作提供足够反馈的系统，需要一系列输入才能在 AR 环境中实现预期结果，以及虚拟对象的操作复杂、乏味且容易出错的系统，会给用户带来重大的认知负担，并减损 AR/VR 环境的体验。此外，这些方法花费的时间超过必要的时间，从而浪费能源，后一种考虑因素在电池供电设备中尤为重要。
因此，需要具有改进方法和界面的计算机系统，以便向用户提供计算机生成的体验，使用户与计算机系统的交互更加有效和直观。这些方法和界面任选地补充或取代用于向用户提供计算机生成的现实体验的传统方法。这些方法和界面通过帮助用户了解提供的输入与设备对输入的响应之间的联系来减少用户输入的数量、范围和/或性质，从而创建更高效的人机界面。
尽管苹果的专利可以应用于未来的 Mac、Apple Watch、XR 头显，但根据苹果的说法，他们的专利申请侧重于用户使用应用于 iPad 的眼睛和手部追踪来操纵 3D 环境。
苹果注意到，在一些实施例中，计算机系统与应用程序的用户界面同时显示虚拟环境。在一些实施例中，应用程序的用户界面能够被移动到虚拟环境中并被视为存在于虚拟环境中的虚拟对象。
在一些实施例中，用户界面在移动到虚拟环境时基于移动到虚拟环境时用户界面的距离自动调整大小。
在一些实施例中，在显示虚拟环境和用户界面两者的同时，用户能够请求将用户界面显示为沉浸式环境。
在本发明的另一方面，苹果公司指出，输入设备的示例包括触摸屏、鼠标、触控板（可选集成或外部）、触摸板（可选集成或外部）、远程控制设备、另一移动设备（例如，与电子设备分开）、手持设备、控制器、摄像头、深度传感器、 眼动追踪装置和/或运动传感器（例如手部追踪装置、手部运动传感器）等。
在一些实施例中，电子设备与手部追踪设备（例如，一个或多个摄像头、深度传感器、接近传感器、触摸传感器）进行通信。在一些实施例中，手部追踪设备是可穿戴设备，例如智能手套。在一些实施例中，手跟踪装置是手持式输入装置，例如遥控器或手写笔。
苹果的专利图 15A-15D 说明了使用 iPad 上的眼睛和手部追踪技术在三维环境中促进移动和/或放置多个虚拟对象的电子设备示例。
