VR社区根据 Meta 产品经理 Sarthak Ray 的说法，通过 MR 看到周围的世界并与之互动的能力为 VR 开辟了新的机会。“你可以和朋友在同一个物理房间中玩，将巨大的虚拟显示器与物理工具相结合，这是我们朝着 AR 的长期愿景迈出的一步。”
Meta 在近日发表的一篇博客文章中表示，与普遍的看法相反，如果 VR/AR 设备能够令人信服地融合物理世界和虚拟世界，那么 MR 体验是最有效的，这意味着头显必须做的不仅仅是提供 2D 视频馈送。
为了进一步致力于开发尖端的 VR 技术，Meta 宣布推出 Meta Reality，这是一个新的 MR 系统，可以深入了解创造卓越体验的过程。
用于空间感知的立体彩色透视
Meta 认识到彩色透视和立体 3D 技术在提供舒适和身临其境的 MR 体验方面的重要性。
Meta 计算机视觉工程经理 Ricardo Silveira Cabral 解释道：“Meta Quest Pro 结合了两个摄像头视图来重建逼真的深度，这确保了使用彩色透视构建的 MR 体验对人们来说很舒适。而且立体纹理线索允许用户的大脑做剩下的事情并推断深度，即使深度重建不完美或超出系统范围。”
例如，在使用透视时，用户的大脑会了解到咖啡杯离手的距离与旁边笔的距离一样远。
Oculus Insight 只能捕获 100 个兴趣点来确定头显在房间中的位置，这是一项为消费者 VR 设备提供第一个独立追踪系统的技术。此后，它已升级以实现深度传感。相比之下，Meta Quest Pro 在不同的照明条件下每秒可以产生多达 10000 个兴趣点，让用户可以实时创建物理空间的改进 3D 表示。
通过这个过程，Meta 能够创建一个不断更新的物理世界的 3D 模型。然后，用户可以使用此数据创建可生成真实环境图像的预测呈现框架。为了补偿渲染的延迟，重建通过异步时间扭曲算法根据用户的左眼和右眼视图进行调整。
根据 Silveira Cabral 的说法，使用彩色立体摄像机使团队能够对现实世界进行更真实的解释。
用于将虚拟内容融入物理世界的场景理解
在线状态平台的场景理解组件是在 Connect 2021 活动期间引入的。此技术使开发人员能够创建复杂且可感知场景的 MR 体验。根据 Meta Quest Pro 产品经理 Wei Lyu 的说法，该公司的场景理解组件旨在帮助开发人员专注于构建他们的业务和体验。
场景理解分为三个区域：
- 场景模型：由几何和语义信息组成的单一、全面、最新和系统管理的环境表示形式。场景模型的基本元素是锚点，每个锚点都可以附加到各种组件。
- 场景捕获：系统引导的流程，允许用户四处走动并捕获他们的房间建筑和家具，以生成场景模型。在未来，目标将是提供场景捕获的自动化版本，不需要人们手动捕获周围环境。
- 场景 API：应用程序可用于访问场景模型中各种用例的空间信息接口，包括内容放置、物理、导航等。借助场景 API，开发人员可以使用场景模型让虚拟球从实际房间的物理表面上反弹，或者使用可以缩放物理墙壁的虚拟机器人。
Ray 表示：“场景理解降低了开发人员的摩擦，使他们能够通过实时遮挡和碰撞效果构建尽可能可信和身临其境的 MR 体验。”
用于虚拟对象放置的空间锚点
开发人员可以使用空间锚点轻松创建一流的 MR 体验，这是 Meta Quest Pro 平台的核心功能。例如，产品设计师可以使用 Gravity Sketch 等平台轻松地在整个物理空间中锚定多个 3D 模型，为其产品创建无缝环境。
Meta 产品经理 Laura Onu 表示：“如果立体彩色透视和场景理解能够让 MR 体验融合物理和虚拟世界，那么我们的锚定功能则提供了将它们结合在一起的结缔组织。”
与场景模型一起，空间锚点可用于为各种体验和情况创建丰富的自动环境。例如，用户可以创建一个连接到物理墙的虚拟门。对于在数字孪生、仓库自动化甚至机器人技术方面的企业解决方案中寻求 XR 技术的公司来说，这将是一个巨大的进步。
就目前而言，Meta 似乎更专注于社交体验。Onu 补充道：“通过将场景理解与空间锚点相结合，您可以根据用户的环境融合和调整自己的 MR 体验，以创建一个充满可能性的新世界。您可以在自己的客厅里成为秘密特工，在您的房间里放置虚拟家具或在家中绘制扩展草图， 创建物理游戏等等。”
用于共存体验的共享空间锚点
此外，Meta 还在在线状态平台中添加了共享空间锚点功能。这允许用户通过与同一空间中的其他用户共享定位点来创建本地多人游戏体验。这将允许用户和其他朋友在实体桌子上玩 VR 棋盘游戏，就像 Tilt Five 提供他们的游戏体验一样。
空间锚点、透视和场景理解的组合可以帮助创建一个丰富的交互式环境，其外观和感觉都像现实世界。Meta Quest Pro 产品经理 Avinav Pashine 指出，为用户创建一个伟大而舒适的 MR 环境涉及许多权衡。
Meta Reality 的未来仍在不断发展，因为该公司通过软件更新和将在下一代产品中提供的硬件创新不断改进平台。Meta Quest Pro 产品经理 Silveira Cabral 指出，该公司的第一款产品是 Meta Reality 发展的重要一步。
