苹果新专利:用眼睛与HMD互动;谷歌和三星AR眼镜新专利曝光

最近我看到美国专利商标局公布了苹果的一项授权专利,其中涉及一个用户界面,可以与他们未来的混合现实头戴显示器(HMD)进行交互。用户只能通过使用眼睛凝视(技术)进行交互。是否使用了眼动技术?成熟度有待观察。

苹果的授权专利描述了使用眼睛凝视与HMD互动的技术。根据一些实施例,用户可以用眼睛选择显示在HMD显示屏上的文本输入栏。

该技术提供了更自然和有效的界面,并且在一些示例性实施例中,允许用户主要通过使用眼睛注视来识别要输入的文本。

这些技术有利于虚拟现实、增强现实和混合现实设备和应用。这些技术也可以应用于传统的用户界面,如台式电脑、笔记本电脑、平板电脑和智能手机。

苹果专利的图2描述了一个用户(#200)的俯视图,他的眼睛聚焦在一个物体上(#210)。用户的视线由用户每只眼睛的视轴定义(如光线201A和201B所示)。视轴的方向定义了用户的凝视方向,而轴会聚的距离定义了凝视深度。

凝视方向也可以称为凝视矢量或视线。在图2中,注视方向是物体的方向,并且注视深度是相对于用户的距离d。凝视方向和/或凝视深度是用于确定凝视位置的特征。

在一些实施例中,用户角膜的中心、瞳孔的中心和/或眼球的旋转中心用于确定用户眼睛视轴的位置。因此,这些数据也可以用于确定用户的注视方向和/或注视深度。

在一些实施例中,根据用户眼睛的视轴的交汇点(或者用户眼睛的视轴之间的最小距离的位置)或者用户眼睛的焦点的一些其他测量数据来确定凝视深度。或者,凝视深度用于估计用户眼睛聚焦的距离。

苹果专利的图4说明了一种内置凝视传感器的头戴式显示设备(HMD)。用户将能够在VR世界或现实世界环境中查看一张桌子,并将他们的文本输入引导到桌子的特定区域,因为凝视传感器可以检测用户的焦点。这项技术非常精准,从“姓名”输入槽到下一个方框“姓氏”的微小凝视间隙都能被精确检测到,让用户不用鼠标就能填写方框。

苹果指出,凝视传感器(#410)面向用户,在操作过程中捕捉用户眼睛凝视的特征,例如用户眼睛的图像数据。

在一些实施例中,凝视传感器包括事件相机,该事件相机根据检测到的光强随时间的变化来检测来自用户(例如,用户的眼睛)的事件数据,并使用事件数据来确定凝视方向和/或凝视深度。

HMD使用图像数据和事件数据来确定注视方向和/或注视深度。或者,HMD使用射线投影和/或圆锥投影来确定凝视方向和/或凝视深度。在一些实施例中,使用多个凝视传感器。

AR还有其他大公司的专利。

上周末,谷歌智能眼镜的一项新专利被曝光。谷歌在他们的专利文件中指出,智能眼镜可以在佩戴者通过眼镜看到的东西旁边添加信息。信息(如数字图像)可以通过智能光学设备叠加在用户的视野上,如光学头戴显示器(OHMD)、嵌入无线眼镜的透明平视显示器(HUD)或增强现实(AR)设备。现代智能眼镜实际上是可以运行独立移动应用的可穿戴计算机。一些人可以通过自然语言语音命令而不使用双手与互联网通信,而另一些人可以使用触摸按钮。

除了谷歌,上周四,世界知识产权组织也公布了三星的AR智能眼镜的一项专利。该专利重点关注他们的眼镜将如何集成通信天线。

总的来说,ar公司现在都在努力,期待更多的突破和惊喜,能够早日进入通用C端。