SMI最新版250Hz眼球跟踪和Foveated Rendering渲染技术

SMI的250Hz眼球跟踪技术

 

“只需要看着那个箱子然后扣动扳机。”SensoMotoric Instruments（简称SMI）的OEM技术总监Christian Villwock说，我按照他的话来做，然后看到箱子被炸飞到天空。我望着它，箱子越飞越高。我感觉我的目光被锁定了，我再次瞄准扣动扳机，它就被我炸飞出我的视野之外。

 

“很好，这是一次不错的射击体验！”

 

SMI致力于解决虚拟现实第二代产品中最重要的问题之一，精确、快速、廉价的眼球跟踪技术，他们出色的完成了这一目标。SIM并不是独立研发，他们最新版的250HZ眼球追踪系统是与著名图像传感器公司OmniVision合作研发。
 

 

SIM的眼球追踪工作原理是使用红外线发射器包围每一个镜头的边缘。红外线人眼不可见，但会被安装在头显内部的两个Omnivision 250Hz相机传感器收集。使用SMI专有的Oculus跟踪SDK可以告诉计算机当前用户聚焦的具体位置。所有这些信息由硬件和软件在低于2毫秒的时间里处理完成，不但流畅，最为重要的是很精确。

 

“以240HZ以上的刷新速度运行很重要，”Villwock说道：“它可以让我们实现跟踪眼睛的扫视运动。”扫视运动是你眼睛聚焦到某个地方的过程中发生的不引人注意和自然而然的运动。

 

在reddit网站上，Palmer Luckey猜疑SMI的箱子演示或许是使用了自动瞄准。我就这个问题询问了该团队是否如此，他们很确切的回答“不是。”当扫视箱子的时候你眼球所经过的箱子会带有白光用以替代你目光所到之处，这是非常有趣的技术。这是FOVEated Rendering技术的一个重点示范。

 

渲染技术FOVEated rendering

 

FOVEated rendering是一种渲染技术，旨在让计算机重点处理用户眼睛所关注的画面。正确的使用将可以在目前的图形处理技术上让分辨率更上一个新台阶。

 

当你观察一个物体，事实上只有一部分是完全清晰的，大约在你视线中心的10%~20%范围，然而周边视觉是越来越模糊。使用眼球跟踪结合FOVEated rendering技术能够只渲染你看到的全部画面的一部分，但关键的地方在于它速度必须要快，快的连用户不会察觉到它，否则会有一堆模糊的区域在追赶你眼球所到达的地方。

 

“这个演示的关注点是，你无法判别它是否有用到这项功能，或许它正在工作，”Villwock说道。它非常真实因为它模仿你的视力如此的准确，并完美地与场景融合在一起。我佩戴头显的时候无论这个功能关闭还是开启我都无法区分。但在头显外看显示屏就可以很清晰地看到使用了不同的分辨率。

 

适当使用FOVEated rendering技术，SMI可以让图形性能提升至“2~4倍”，目前可能拥有“更高的改善度”。这是必要的步骤带我们去匹配真实世界的分辨率。Oculus首席科学家Michael Abrash表示要达到真实世界的细腻度需要每眼8k的分辨率——这是当前消费电子技术还未能触及的事情。

 

SMI不是一家FOVEated rendering公司，但不管怎样，这个演示主要用于展示，有可能使用了他们最新的硬件和SDK。最后，FOVEated rendering将留给显卡制造商NVIDIA和AMD等使用，SMI主推的是他们的硬件和软件。

 

然后有个问题是，如果眼球跟踪技术已经准备好并且又是如此重要的一环，它是被排除到第一代硬件之外吗？主要原因可能要归咎于其中一个最大的未知数，当前市场的大小。

 

现在，SMI集成到当前虚拟现实硬件需要一些手工制作，它必须装配到头显里面。但说到规模效益，在小规模生产的情况下人工去整合这些部件和软件，然后驱动它们，这样费用过于昂贵，分摊成本将大大地超出普通消费者可接受的范围，但当我们达到100万台的生产规模又会怎么样呢？

 

“所有的硬件规模化总成本将是个位数，”Villwock说，“几美元。”

 

这意味着在第二代头显增加眼球追踪技术将带来名义成本效益。市场的初始大小是未知的，Oculus Rift已经以补贴价格的形式发售，眼球追踪理所当然会被纳入到第二代虚拟现实产品。这也是好事，因为它将有更多的时间来成熟和完善。Villwock表示这些事情必然会发生：

 

“我个人信念，”他说，“所有版本的头显都集成眼球追踪技术。”

 

这个成功的示范，让所有的目光都集中到SMI身上，因为它让眼球追踪成为了可能。

 

【资讯来源：VR科技网】