眼镜影响追踪效果 GPU性能带不动VR？

所谓虚拟现实，就是要欺骗人的眼睛和大脑，让虚拟世界感觉跟真实世界一样。目前好的VR产品已经在这方面做得相当不错了，但仍有进步空间。下面要说的就是一项可以让虚拟世界更好模拟真实世界的技术。

人眼看世界与VR渲染方式

人眼能看到的范围是有限的，因此产生了一个名词叫人眼视度。人眼视度指的是人不动头时的可视角度。我们身处一个360度环绕的世界，但任何时候我们只能查看120度视度范围内的事物，并且我们的双眼会聚焦在视野中一小块不超过6度的区域（中央凹+近中央凹视野），周围则是模糊的（周边视野），这就是我们看世界的方式。

顶级的VR头显（HTC Vive、Oculus Rift）的可视角度能达到110度左右（与眼睛和屏幕之间的距离有关），与人眼视度非常接近。我们在VR头显中看到的世界，也只是它的屏幕所显示内容的一部分，而真正聚焦的更是这一小部分中的一小块区域。但是VR设备在渲染画面时却是对整个视野进行渲染，不在人眼聚焦的画面一样在以相同的速度刷新。

由于VR设备的高分辨率和刷新率，这种渲染方式需要消耗大量的GPU资源，使得PC平台的头盔对显卡要求很高（通常在GTX 970以上），而移动VR则很难达到良好的体验。

不过，一些公司已经在着手解决问题，Nvidia推出了MRS（multi-resolution shading）技术，国内公司七鑫易维则希望在此基础上加入焦点渲染（Foveated rendering）技术。

分区渲染的MRS

去年5月，Nvidia在自家针对VR的开发者套件GameWorks VR中加入了MRS技术。这项技术使得针对VR的渲染不再是将整个画面以相同的分辨率进行渲染，而是分成了几个不同的区域。

画面的中央，也就是人眼在VR中看到的主要区域，也是画面没有畸变的地方，会以完整的高分辨率进行渲染；而画面的边缘则以更低质量进行渲染，再加上边缘的像素经过变形后的损失，可以节省25%-50%的像素，理论上可以提升一倍的渲染效果。

使用Nvidia Maxwell架构的显卡，包括GeForce Titan X和GTX 900系列，目前都支持这一技术。

在接受雷锋网采访时，Nvidia全球副总裁、中国区总经理张建中也对这项技术进行了解释：

传统的眼镜都是鱼眼的，传统的GPU渲染的是长方形，长方形变成鱼眼，用传统的方法去渲染是不行的。所以我们想了一个比较聪明的方法，我们把视觉图形分成九块，用不同的方式去渲染，这样把效率提高大概50%左右。结果就相当于以前可能一秒钟渲染90帧，现在可以做到140帧左右，这样你就可以看到更高清晰度。

焦点渲染

国内创业公司七鑫易维目前正与Nvidia合作，在MRS技术的基础之上，使用眼球追踪技术进一步开发出焦点渲染技术（也叫注视点渲染），从而进一步缩小高清渲染画面的区域。

据七鑫易维CEO黄通兵介绍，焦点渲染通过近红外传感器对人的眼球进行追踪，判断人眼的注视点，只对注视点区域进行高清渲染，而且这个区域会随着注视点的变化而变化。

上图是雷锋网记者在试用注视点渲染技术时电脑屏幕显示的画面，可以看到记者的视线焦点停留在小屋上时，画面中只有小屋是清晰的，而周围一大片区域则是模糊的。但是当你戴着头盔看时，几乎分辨不出和没有使用这项技术的画面的区别。

官方表示这个方案可以在保证用户体验的情况下，将渲染像素降低到MRS方案的10%左右，最终适配VR设备的PC比例可以提升至30%。

眼球追踪会对整个画面渲染带来延迟，黄通兵表示他们解决了这个问题，他表示目前追踪技术最高可以做到380Hz的刷新率，如果以通常提供的220Hz计算，会给渲染带来5ms的延时。但是，由于使用焦点渲染，GPU的负担减轻，使得其渲染延时可以降低至5ms，最终使得整体延时仍然低于20ms的坎。

这项技术也仍有一些问题需要解决，包括针对戴眼镜的用户，眼镜会影响眼球追踪的效果；还有HTC Vive这类产品使用的菲涅尔透镜，其同心圆也会干扰到信号。

国际上亦有厂商在开发类似的技术，包括Tobii、SMI、FOVE和Eyefluence，但是这个领域还没有形成标准。

目前七鑫易维除了跟Nvidia合作外，也在跟高通、HTC、Oculus以及国内VR头显厂商合作研究这项技术，具体的产品面世时间仍有待确定，但据悉高通的一体机方案会重点推这个技术，国内的大朋和3Glasses也很积极。