苹果头戴式显示器专利申请抢先看

近日，美国专利商标局发布了苹果公司的一项延续专利申请，该申请涉及用于将用户沉浸在由头戴式显示器（hmd）生成的虚拟现实（vr）或增强/混合现实（mr）环境中。
沉浸质量受几个重要因素的影响。例如显示器的特性、图像质量、帧速率、像素分辨率、高动态范围（hdr）、持久性和纱窗效应（即屏幕上像素之间的可见线条）。
现在业内普遍认为，追踪各种元素是实现高端vr和mr应用程序体验的基本前提。在这些元素中，头部位置追踪、用户身体追踪和环境追踪在实现出色的沉浸感方面起着关键作用。
旨在估计环境中hmd位置和方向的头部位置追踪（此后称为位置追踪）必须延迟低又准确。原因是渲染的图形必须与用户的头部动作紧密匹配，才能在vr中产生沉浸感，并且需要在mr的真实世界中正确对齐虚拟内容。
用户身体追踪用于估计用户身体（特别是但不限于手和手指）相对于hmd的位置和方向。它可以在vr和mr中提供一种用户输入方式（例如手势），从而可以与虚拟元素进行交互。虽然某些位置追踪方法也可以用于手部追踪（例如，手持控制器上带有led阵列的ir摄像机），但其他方法则利用较小的分析空间（通常距hmd 1米以内）来增加手和手指追踪算法的鲁棒性。
例如，近距离飞行时间（tof）摄像机可以与hmd集成在一起。这些摄像机可以产生手的深度图，从中可以构建手的骨骼模型。另一种方法是将ir led泛光灯与相机一起使用，以分割出并估计手和手指上的3d点。
苹果的专利图1是具有多个摄像机和红外（ir）发射器的用户头戴式显示器（hmd）的示意图。图2a是用于实现虚拟现实和混合现实的光学器件、显示器和照相机的示例性实施例的俯视图。
苹果的专利图4a示出了hmd设备的第一示例性实施例的正视图，其中具有为pass-through目的（mr）而优化的两个rgb相机和为追踪提供可视数据的两个ir相机；图5是通过位置和用户身体追踪来实现vr处理步骤的流程图；图8是实现用户身体追踪的示例性过程的流程图，它还包括手势识别。
作为一项延续专利，苹果在发明中增加了新的专利权利要求。以下是近日发布的一些主要新增功能，重点放在使用红外（ir）投影仪上。
专利权利要求＃1：一种方法，包括：在包括非暂时性存储器的头戴式设备（hmd）处，有一个或多个处理器，以及用于与第一和第二rgb立体相机进行通信的通信接口、红外（ir）投影仪、一个或多个红外传感器和一个显示器；通过第一rgb立体摄像机获取物理环境的第一立体图像；通过第二rgb立体摄像机获取物理环境的第二立体图像；通过红外投影仪将红外电磁辐射的红外图样投射到物理环境上；通过一个或多个ir传感器，获取与ir图案的反射相关联的物理环境的纹理信息；通过至少部分地基于纹理信息将第一立体图像中的每个像素与第二立体图像中的不同像素进行匹配来生成密集深度图；通过基于密集深度图将虚拟内容与第一和第二立体图像进行合成来生成显示图像，并通过显示器显示图像。
专利权利要求3：根据权利要求1所述的方法，还包括：经由所述ir投影仪根据随机或伪随机算法之一生成所述ir图案。
专利权利要求＃8：根据权利要求1所述的方法，其中，所述hmd的通信接口还与一个或多个ir泛光灯通信，并且所述方法还包括：根据时间来操作所述ir投影仪和所述一个或多个ir泛光灯。
专利权利要求＃9：根据权利要求8所述的方法，还包括：实时地调制红外投影仪和所述一个或多个红外泛光灯的曝光时间、传感器增益和强度中的至少一项，以降低图像饱和度并改善动态性能。
专利权利要求11：头戴式设备（hmd），其包括：用于与第一和第二rgb立体相机进行通信的通信接口、红外（ir）投影仪、一个或多个ir传感器以及显示器；以及一个或多个处理器；非暂时性存储器，其存储一个或多个程序，当由一个或多个处理器执行该程序时，该程序使hmd通过第一rgb立体照相机获得物理环境的第一立体图像；以及通过第二rgb立体摄像机获取物理环境的第二立体图像；通过红外投影仪将红外电磁辐射的红外图样投射到物理环境上；通过一个或多个ir传感器，获取与ir图案的反射相关联的物理环境的纹理信息；通过至少部分地基于纹理信息将第一立体图像中的每个像素与第二立体图像中的不同像素进行匹配来生成密集深度图；通过基于密集深度图将虚拟内容与第一和第二立体图像进行合成来生成显示图像；并通过显示器显示图像。