走向Holodeck体验:寻求虚拟现实般的生活互动

到目前为止,我们大多数人已经充分意识到围绕虚拟现实和增强现实的话题。 我们中的许多人在某些时候都穿上了笨重的头戴式设备,并冷淡地踏入了体验,亲自检查一下。 而且,根据您设置的复杂程度(以及设置成本),您的里程会有所不同。 具有讽刺意味的是,一些研究表明,婴儿潮一代更可能被虚拟现实“吹走”,而不是千禧一代更可能以矛盾的“ meh”做出回应。 而且,这将我们带到了一个困扰着很多人的终极问题: 虚拟现实是否会留下来?

这是一个很好的问题。

当然,上个世纪以来3D观看的各种形式都表明我们对某些事情不满意。 我们当前的观看条件还不够好,或者……我们今天的视频消费方式有些不正确。

你要看什么?

让我们面对现实吧,我们今天消费视频的方式并不是眼睛用来记录视觉信息的方式,特别是在“现实世界”中。 观察现实世界(顺便说一句,这不是您现在正在做的事情),您的眼睛所捕获的信息要比场景中物体反射出的光的颜色和强度要多得多。 实际上,人类视觉系统(HVS)旨在吸收许多视觉提示,而这些提示在当代显示技术和内容中都很难复制。

显示内容 是。 las,这是一个两部分的问题。 但是,让我们首先回到视觉提示的问题。

您的大脑期望您看到什么

考虑到这一点,对于那些拥有视力的人来说,HVS每天提供大约90%的信息,因此,我们的大脑已经很好地适应了各种物理定律和相应的光模式。 简而言之,我们认识到什么时候只是看起来不应该 ,或者何时我们看到的东西与我们的感觉或做的东西不匹配。 感觉信号的这些不匹配是我们视觉提示发挥作用的地方。

以下是一些最重要的提示:

  • 发散距离是指当眼睛的肌肉移动以聚焦在物理位置或焦平面上时大脑感知的距离。 举例来说,当该焦平面距我们的眼睛固定距离时,就像在您的VR耳机中的屏幕一样,大脑实际上并不期望您检测到距离的大变化。 毕竟,您的眼睛肌肉注视着物理上附着在您脸上的东西,即屏幕。 但是,当以某种方式产生视觉内容以模拟深度的幻觉(尤其是深度的大变化)时,大脑就会意识到从我们的眼睛获得的距离信息与距离之间存在不匹配受过训练,可以根据我们的眼睛在身体上的聚焦位置接收到真实世界。 结果? 晕车和/或许多其他不适。
  • 运动视差:当您观看者实际移动时,例如漫步在博物馆的一个房间内,那么距离您更近的物体在视场(FOV)中的移动将比在远处的物体更快。 同样,距离较远的对象在FOV上的移动速度应更慢。
  • 水平和垂直视差:从不同角度观看时,FOV中的对象应显示不同,这都是基于水平和垂直位置的视角变化。
  • 运动到光子延迟: 当您戴着VR耳机并且视觉内容不会立即改变以适应您的头部移动时,这确实令人不快。 这种延迟称为“光子运动”延迟。 为了获得真实的体验,光子延迟的运动必须小于20ms,这意味着服务提供商(例如电缆运营商)将需要设计可确定地支持极低延迟的网络。 毕竟,从您移动头部的时间起,就需要进行很多事情,包括发出头部运动信号,识别与该运动一致的内容,获取该内容(如果耳机尚不可用)等等。
  • 支持遮挡 ,包括填充“孔”。 当您在视觉场景中移动时,位于其他对象前面或后面的对象应相互阻挡,或开始根据您的动作重新出现。

这也难怪…

考虑到我们大脑对技术的所有这些巨大需求,难怪当前的VR尚不存在 。 但是,到达那里需要什么? 该技术还需要走多远? 会不会有一个真正的街垒? 如果是,何时? 这会是我们一生中经历的吗?

holodeck最初在1987年的《星际迷航:下一代》中正确出现。holodeck是一种虚拟现实环境,使用全息投影使与虚拟世界进行物理交互成为可能。

幸运的是,有很多积极的迹象表明我们可能很快就会见到一个恶作剧的人。 当然,这不是一个承诺,但是可以说,有证据表明内容的生产,分发和显示正在取得长足的进步。 你怎么说?

捕获并显示光场

与通常从传统相机分发到传统显示器的普通2D平面不同,光是3D体积的光。 当HVS捕获自然世界中的光(即不是来自2D显示器)时,它是通过捕获3D空间中的光来实现的,即从我们视场中的物体反射的光量。 大量的光包含触发大脑非常重要的视觉提示所需的信息,即使我们能够以大脑自然的方式体验视觉信息。

因此,简而言之,不仅需要一种方法来捕获该数量的光,而且还需要一种方法来在例如电缆,网络上分配该数量的光,并且需要一种显示在网络的末端,能够从通过网络发送的数字信号中再现大量的光。 小菜一碟吧?

信不信由你

有证据表明在所有方面都取得了重大进展。 例如,在今年早些时候的F8会议上,Facebook推出了其光场相机以及相应的工作流程。 Lytro凭借其基于生产的光场相机,也是光场生态系统的关键参与者。

在显示方面,有Light Field Lab和Ostendo,两者的任务都是通过光场显示器(即能够投射一定量的光的显示器)进行家庭观看。

在分配方面,MPEG和JPEG都在进行中,以使压缩和分配光场内容成为可能。 顺便说一下,该内容的数字格式是什么? 查阅MPEG在都灵举行的第119次会议的新闻:

在第 119次会议上 ,MPEG发布了要求草案,以开发一种标准,以定义一种场景表示媒体容器,该容器适用于内容交换,以创作和呈现丰富的沉浸式体验。 该标准称为混合自然/合成场景(HNSS)数据容器,该标准的目标是定义一个场景图数据表示形式以及用于渲染可传递真实感混合场景的媒体的关联容器,包括遵循自然流的场景。光,能量传播和物理运动学操作。 容器将支持可以一起呈现的各种类型的媒体,包括计算机生成的或从现实世界捕获的体积媒体。

这项最新工作的灵感来自CableLabs,OTOY和Light Field Labs向MPEG提交的文稿。

嗯……读着众所周知的茶叶,也许我们毕竟离那段胡闹的经历并不遥远。

订阅我们的博客以了解有关虚拟现实和更多CableLabs创新的更多信息。