虚拟现实与人眼的分辨率

虚拟现实是技术投资领域中的新高科技淘金者,或者是其中之一。 随之而来的是新的工程挑战,当前被引用最多的问题之一是需要提高当今VR头戴式耳机的分辨率,因此也需要提高用于显示VR内容的渲染分辨率。

如今,Oculus Rift消费者版本1和HTC Vive都使用2160×1200的标准分辨率。 不幸的是,这相当于从平均距离观看分辨率为320×240的17英寸显示器。从角度来看,自从QVGA显示器开始特别流行以来已有20多年了。显然,人们是否愿意购买虚拟现实的体验作为真正的“真实”,我们需要将分辨率提高很多,但是要提高多少才是棘手的问题。

首先,让我们检查一下将要使用的数学运算,以查看所需的分辨率。 为了节省时间,我们将跳过人眼的生物学过程,仅参考Clarkvision的这篇有用且引人注目的文章:http://www.clarkvision.com/articles/eye-resolution.html

因此,我们(假设20/20视力)的视觉分辨率为每“像素” 0.3弧分。 或者更确切地说,在正常人眼的极限范围内,我们可以以每0.3弧分一秒的高对比度并排区分“线对” / aka黑色像素和白色像素。 作为进一步的参考,以弧度为单位的弧度仅为1度的1/60。 如果您感觉到人眼像照相机一样高分辨率,那么您就死定了。 对于每度像素,理想情况下,我们需要198ppd。

现在,让我们看一下当今的典型VR耳机,并比较一下。 虽然每个VR头戴式耳机的确切Fov有所不同,并且会因人而异(请参见此处的原因),但我们将采用Vive的理想选择,水平双目110°和垂直Fov分别为110°和对角158° 。 在2160 x 1200面板上,这为我们提供了对角线PPD,接近足以达到15.6ppd。 这是我们可分辨分辨率的1/13,这意味着我们需要大约20k x 20k的显示器才能完美匹配人类的视觉。 哎呀

作为参考,价格为$ 2,000的5k显示器(截至撰写本文时)在典型的观看距离下具有50°Fov 117ppd,仍低于人眼可分辨的分辨率。 由于各种原因,批量生产的显示器比PPI受总分辨率的限制更大,这告诉我们不仅单面板/单视图显示器的分辨率不及人眼的分辨率,而且对于VR而言,我们距离它们还有很远的距离。

但是我们暂时将其放在一边,专注于渲染。 当面对渲染时,我们可能要问的第一件事是“我们真的需要21,780 x 22,374 = 487兆像素的分辨率吗?!”的第一个直觉可能是对低得多的分辨率目标进行抗锯齿并称其足够好。

不幸的是,这里的答案是,是的,对于真正符合典型人眼极限的幼稚实现,我们实际上确实需要所有分辨率。 我们对人眼分辨力的初步估计是测试单个元素的对比度检测,第二个我们开始将这些贡献模糊在一起,无论多么聪明,第二个就是我们从单个元素中丢失了这个可解决的细节。 考虑到单个像素,抗锯齿效果有多好都没关系,结果信号仍然是1像素,并且要说清楚一点,人类可以看到的不止一个。

现在有一个幸运的部分,因为您会注意到“朴素”一词出现在其中。 那是因为人眼在我们整个视场中的分辨率都不相同。 实际上,它会逐渐发展,并且在复杂的坡度上会变得更糟。 为了获得有趣的视图,XKCD为您提供了方便的视力表:https://xkcd.com/1080/

但是出于我们的目的,我们需要一些数学上的东西,因此我们将改变这条曲线:

在距人类瞳孔中心20度处,分辨率下降到我们原始目标分辨率的十分之一,或者每度不到20像素! 这条线的(近似)积分表明,如果考虑到较宽的视野,人眼在中央凹上的总分辨率仅为我们在整个视野中具有相同分辨率时的总分辨率的大约20%正如我们在中心所做的那样。

上面是所谓的偏心渲染的原因,或者更确切地说是:尝试将VR / AR HMD的渲染分辨率与人眼的匹配分辨率(取决于眼睛的位置)相匹配; 离瞳孔中心越远,从技术上讲,您必须渲染的越少!

最初,这似乎是一个绝妙的答案,可以减少HMD的渲染。 只要可以测量用户的视线方向,就可以通过将最终渲染目标与上述曲线进行匹配,大大缩短渲染时间。 但是,一旦我们仔细观察,就会出现一些问题。 第一个是该数字:距中心20°时每度20像素。 从上方看我们的单眼视场,我们看到的视野数最多在40年代中期到50年代低点。 意味着今天,大多数HMD视场仍低于我们可感知的分辨率,即使考虑到我们从视线中心移开的可感知分辨率的指数损失。

上面还没有考虑其他因素:为了从合理尺寸的头戴式屏幕上扩大视野,当今的HMD使用透镜来使屏幕变形,为获得更高的FOV而牺牲了边缘分辨率。 现在,从某种意义上讲,这是有益的,它使每只眼睛的视图的中心具有最大的PPD,因此,只要用户直视前方,无论如何都会产生偏心的渲染。 但这也进一步降低了屏幕边缘的PPD。 Rift镜头失真的近似公式可在此处找到。 但是关键是,由于有了这些镜头,即使我们直接盯着HMD的中心,其边缘仍然可以低于目标PPD。

EG凹版渲染根本无法解决我们当前的分辨率!

但是,我们必须考虑到一个潜在的非常重要的问题:PPD在什么时候“足够好”并且不应该再担心了? 事实证明,这是一个很难回答的问题。 确切地说,答案取决于很多变量,包括您正在查看的显示环境以及正在查看的内容。

举个简单的例子:从最先进的智能手机的1080p屏幕切换到相同尺寸的智能手机的1440p屏幕,大多数评论家都表示,两者之间几乎没有明显的区别。 如果我们以12.7厘米(5英寸)智能手机的平均观看距离为31厘米(1英尺),则PPD约为110。啊哈,我们有编号!

不幸的是,这个幻数是A。只是基于对轶事的随机采样而已。 B.用于在智能手机上查看文本。 文本具有最大的视觉信息密度,无论分辨率如何,每个字母之间的间距(取决于文本缩放)最终都可以固定。 因此,在不触摸文本的情况下看智能手机时,缩放比例可能不会显示任何差异,同时缩小两个文本,您将(并且应该)最终揭示两个屏幕之间的PPD明显不同。

还有观看环境的问题。 VR HMD的外观和感觉将与浏览手机屏幕大不相同。 它也不会主要显示文本。 因此,从何处可以解决PPD显着降低的问题,这根本无法通过随意观察来解决。

但是还有另一个问题:我们关心的PPD是否也会从中央凹中心向外移。 EG我们在PPD中(渲染的)能比人眼中央凹曲线更低吗? 偏心渲染器原型的一些出色研究表明,事实就是如此! 与理想的PPD频率相比,如果我们远离瞳孔凝视的中心,我们确实可以降低(即使不是可见性频率)至少降低阴影频率。

但是,不幸的是,上面有一些大的假设。 即,假设阴影频率将不像可见度频率那样对对比度差异产生太大的影响,这一假设对于他们的特定场景似乎是成立的。 但这并不是所有场景都可以做的假设。 一旦可见性频率使他们的预过滤策略不堪重负,那么他们提出的系统就会崩溃,并且不必要的混叠伪像也会返回。 另一个例子是,当阴影频率与可见频率匹配时,常见的情况就是像镜子这样的材质。 因此,尽管上述内容可能适用于低端场景,但并非适用于所有场景。

这使我们直接回到需要在阴影和可见度频率上匹配理想的PPD的要求。 但是,也许像电话示例一样,我们可以降低整个PPD,而无需一般终端用户的关心(太多)? 这个问题是可以回答的,但必须仔细测试。 在阴影和可见性方面具有高频率和高对比度细节的场景将必须进行测试,以确保最终用户获得流畅的体验,而开发人员无需在已经非常棘手的VR渲染任务中以其他方式限制自己。

现在得出我们的结论:人的自然偏心渲染线的阴影和可见度降低了80%! 将视线和渲染质量匹配到此行将排除当前的帧间时间重投影技术; 用于在<90fps时获得平稳的头部跟踪响应(降低的分辨率会在眼球扫视时引起明显的闪烁)。 但是即使如此,渲染方面的节省显然仍然是巨大的! 不幸的是,这种降低的渲染质量也来自于我们理想的PPD,并且由于HMD当前极低的PPD,因此偏向中心的渲染目前根本不值得。

投入较少的渲染永远都不值得花费开发时间,HMD成本以及未来HMD的渲染开销。 如果没有一种实用的(或廉价的)方法来缩小准确且低延迟的凝视跟踪器,那么无论如何,偏向于渲染的渲染都不会成为任何运送VR产品的人的迫切关注点。 但是,一旦克服了硬件挑战,HMD应当能够扩展到更高的分辨率,而无需扩展到更高的渲染成本,并且鉴于目前目标的非常低的有效分辨率确实令人兴奋!

编辑-请注意,以上假设90fps的速度也足够快,足以解决眼球扫视而又不会暴露出不必要的伪影。 如果这还不足以实现集中式渲染的优势,则会相应地下降。 从节省渲染时间的角度来看,超过360fps的EG,整个凹版渲染的想法就变得毫无意义。