AR/VR的存在,颠覆了电脑、手机等2D平台显示内容的形式,其控制器也比传统的键盘鼠标更支持体感交互。那么未来的AR/VR交互还将如何演变?今天,美国专利商标局发布的一项苹果新专利就展示了一种结合眼球追踪、语音助手、触控、手势和姿态识别等多种功能的头显控制方案。
苹果在专利中写道,该方案也可用于台式机、笔记本电脑、平板电脑、手机等常用设备,但在AR/VR头显中应用体验感更好。为了实现对周围环境和物体的追踪识别,头显将搭载多个图像传感器,比如:CCD感光元件、CMOS传感器、红外传感器(被动或主动)、深度传感器等。
除此之外,苹果在专利中重点介绍的是利用眼球追踪、手势等方式进行选择和确认的自然交互界面。
比如,你可以通过眼球的移动、眨眼、注视等动作来操作设备,还可以利用注视点来设定AR/VR应用的初始位置和方向。为了提升交互的自然感,界面中的功能可搭配一些提示信号,让你在看到门把手的时候知道要开门,看到听筒符号知道要接电话。
当你的注视点方向和深度与特定功能匹配,该功能符号或虚拟物体会放大或加粗,以提示对眼球输入的反馈,此外注视点也可以用光标、点、圆球等来表示。为了展示眼球和触控交互,苹果设计了一个与房间中的虚拟物体互动的方案。你可以注视某样虚拟物体进行选择(比如一叠照片),然后通过移动注视点来移动它。