VR社区Quest 的“全身追踪”API 与它之前所宣传的可能有所不同。
全身追踪 API 将作为运动 SDK 的一部分发布，其中还包括眼动追踪 API 和面部追踪 API。
官方 Oculus 开发人员在 Twitter 宣布了该版本，其中包含文档中的插图，显示了正在跟踪用户的全身姿势。这被大量转发。导致许多人认为 Quest 刚刚获得了全身跟踪支持，但 API 的名称和插图都具有误导性。
Meta 的手部跟踪 API 提供手和手指的实际位置，由朝外的摄像头跟踪。其眼动追踪 API 和面部追踪 API 提供用户的实际注视方向和面部肌肉运动，由 Quest Pro 的内向摄像头跟踪。但全身追踪 API 只提供一个基于用户头部和手部位置的“模拟上半身骨架”。Meta发言人证实，这不是真正的追踪，也不包括用户的腿。
全身追踪 API 更合适的名称是身体姿势估计。该发言人将该技术描述为反向运动学（IK）和机器学习（ML）的组合。IK 指的是一类方程，用于根据已知位置估计骨架（或机器人）部分的未知位置。这些方程式为当今应用程序中的所有全身 VR 化身提供动力。开发人员不需要实现（甚至理解）IK 背后的数学原理，因为像 Unity 和 Unreal 等游戏引擎内置了 IK，而像流行的 Final IK 这样的软件包以不到 100 美元的价格提供了完全充实的实现。
除非用户使用 HTC Vive 追踪器等身体追踪硬件，否则 IK for VR 往往不准确。对于每组给定的头部和手部位置，都有很多潜在的解决方案。Meta 在这里的主张是，其机器学习模型可以免费产生更准确的身体姿势。演示视频似乎支持这一说法，尽管没有下半身，并且支持仅限于 Quest 头显，大多数开发人员可能不会接受此提议。
然而，在 Meta Connect 2022 活动中给出的暗示，以及该公司的研究表明未来将增加腿部追踪支持。
在为开发人员进行的一次演讲中，全身追踪产品经理 Vibhor Saxena 表示：“未来几年，身体追踪的新改进将通过相同的 API 提供，因此您可以确保将继续从 Meta 获得最佳的身体跟踪技术，而无需切换到其他界面。我们很高兴能将这些功能带给您，并努力在未来几年内使身体跟踪变得更好。”
在主要主题演讲中，马克·扎克伯格宣布 Meta Avatars 正在通过一个同样具有误导性的演示来获得支持。Legs 将在今年晚些时候到达 Horizon Worlds，然后在明年的其他应用程序的 SDK 中推出。Saxena 证实全身跟踪 API 利用了为 Meta Avatars 提供动力的相同底层技术，这似乎表明 API 也将获得腿部支持。
您可能想知道：如果全身跟踪 API 只是基于头部和手部位置的估计，它怎么可能包含腿部？上个月，Meta 利用机器学习的最新进展展示了这方面的研究。不过，显示的系统并不完全准确，并且具有 160ms 的延迟，在 72Hz 下超过 11 帧。这个计时速度太慢，输出也不完美，所以你不能指望低头看到自己的腿在期望的位置。Meta 首席技术官的评论表明，该公司可能会使用这样的技术来展示其他人虚拟化身的腿部。
