苹果公司宣布了工业增强现实摄像机系统的第一个专利

2021-03-17 15:23

据外媒报道，近日，美国专利商标局授予苹果一项新专利：工业增强现实摄像系统。该系统涉及在真实环境中将数字信息投影到真实物体上的方法和系统。

(来源：patentlyapple.com)

苹果在该专利的背景中指出，增强现实(AR)系统可以通过计算机生成的数字信息，直接直观地增强真实环境。例如，这种数字信息是虚拟信息，可以增强真实环境中的视觉印象。典型应用有基于投影仪的ar、投影AR或空间AR。

数字信息可以是任何类型的视觉数据，如真实对象、文本、图形、视频或上述对象的组合。通过使用投影仪将计算机产生的数字信息投影到真实环境的全部或部分真实对象的表面上，可以直接增强真实环境。投影增强现实有许多应用场景，如建筑设计原型、汽车制造、普适计算和信息显示，用于开发新型计算机用户界面。但是苹果公司还没有宣布是否会在泰坦项目中使用这项发明。在工业领域，投影AR也被称为“投影或空间增强现实”。

为了将投影视觉数字信息与真实环境中增强的真实物体对齐，有必要了解真实物体和投影仪之间的空间转换。因此，系统需要频繁地执行校准过程来评估基于2D-2D、2D-3D或3D-3D对应的空间变换，这对于投影增强现实系统的构建是非常具有挑战性的。这种校准过程通常需要使用摄像机。

为了计算投影仪和真实物体之间的空间变换，已经提出并发展了许多校准方法。其中一种方法是用照相机和投影仪在汽车仪表板上显示视觉数据。为了实现校准，摄像机和投影仪应牢固连接。摄像机获得的视觉数据可以进行处理，粗略判断投影仪车的外部特征(如相对空间位置和方向)。

摄像机还可以检测汽车上的标记，从而评价摄像机与汽车之间的空间变换，确定投影仪与汽车之间的空间变换。但是，这种方法的问题是，标记相对于汽车坐标系的位置和方向必须事先测量。商用投影增强现实系统Extend3D可以基于与投影仪牢固连接的摄像机传感器来跟踪一组数据标记。

真实环境中在真实物体上投影数字信息系统

苹果的发明提供了一个在真实环境中把数字信息投射到真实物体上的系统。该系统包括：可见光投影仪，适用于在真实环境中将数字信息投影到真实物体或其一部分上；照相机，能够使用投影的数字信息捕获至少一个真实对象的图像；内置于照相机中的深度传感器，其可以捕获真实物体或其部分的深度数据；处理组件可用于基于一个以上的图像和深度数据来计算可见光投影仪和真实物体之间的空间转换。

根据特定的安装模式，在优选实施例中，该方法包括基于真实对象的已知3D模型评估RGB-D相机系统和真实对象之间的空间变换，计算投影仪的固有参数以及投影仪和真实对象之间的空间变换(基于使用投影仪在真实对象或其一部分的一个或多个表面上投影一个或多个视觉图像)，以及使用RGB-D相机捕获投影的视觉图案的深度图。

下面的图1A示出了根据本发明的一个方面的示例性系统设置，其中RGB-D相机系统没有连接到可见光投影仪；图3示出了根据本发明示例的方法流程图。