混合现实:HaptX Gloves Trailer的幕后花絮

一位同事曾经告诉我:“谈论VR就像在建筑上跳舞一样。”很难通过文字和图片来传达虚拟现实的体验。 在混音中添加触摸时会更加困难。

除了亲身体验HaptX Gloves之外,我们还发现视频是传达他们的感觉,功能,特殊之处的最佳媒体。 当我们上个月宣布HaptX Gloves开发工具包时,视频预告片是传播信息的关键因素。

我们没想到制作此视频会是一件如此有趣的事情。 在此博客中,我们将带您了解如何克服不熟悉的软件挑战,粉碎办公室里的UFO,演示给名人以及共同编辑62秒钟我们引以为傲的镜头的幕后故事。

选择一种方法,建立团队

我们从2017年发布的视频中汲取了教训,该视频以HaptX Glove原型为特色。 该视频的主要目标是强调触摸感的真实感。 为此,我们将HaptX Glove原型的素材与实际触摸交互进行了交互。 例如,戴手套的手指按下,然后未戴手套的手指敲击真正的钢琴键。

HaptX的2017视频包含HaptX Glove原型。

尽管这成功地传达了触摸感的真实感,但是这次展示手套与真实VR环境的交互至关重要。 经过仔细评估,我们认为展示HaptX Gloves开发工具包的最佳方法是通过“混合现实”电影制作技术。

混合现实(MR)电影制作(不要与混合现实耳机混为一谈)是一种将现实世界中的VR用户叠加到虚拟环境中的技术,将物理和数字技术引人注目。 像HTC这样的公司已经在宣传材料中使用了它,从我们的观察中可以看出,这种制作风格是从第三方的角度传达VR的最佳方式。

要制作专业的MR视频,需要将VR软件的技术精通传统电影制作的稀有结合起来。 没有多少人会使用这种生产技术。 再说一次,没有多少人喜欢Az Balabanian。

Az是当今经验时代的文艺复兴时期的人。 他将艺术和科学融合到他的每一个创造性事业中(其中有很多)。 Az进行摄影测量扫描,用他的DJI无人机捕获航拍视频,并主持Research VR播客* –全天工作。 当我们联系Az来指导我们的HaptX Gloves DK视频时,我们很高兴他为这项任务做好了准备。

与LIV实时合成

当我们计划使用Az进行制作时,我们面临另一个创意选择:我们是在后期制作中合成视频,还是实时合成? 许多高端MR视频在后期制作中都使用了精心的编辑,rotoscoping和CGI合成,以使最终结果完美。 虽然这可能会带来更漂亮的最终结果,但我们觉得之后的合成可能会不诚实。 观众不会知道CGI的范围-伪造了多少?

为了保持视频的完整性,我们决定在拍摄时将实时处理所有合成。 除了添加屏幕上的文字外,我们没有在后期制作中合成素材。 此外,我们将使用功能正常的HaptX Gloves开发套件(无道具)进行拍摄,并采用在Unity和Unreal中使用HaptX SDK开发的VR环境。 幸运的是,我们找到了适合该工作的工具:LIV。

使用LIV和我们的HaptX Gloves开发套件进行实时合成的早期测试素材。

LIV是将游戏引擎环境与通过实时摄像机捕获的绿屏画面合并的工具。 将HTC Vive追踪器安装到我们的摄像机上后,我们便可以捕获并同步摄像机在物理空间和虚拟世界之间的移动。

我们邀请了团队中的软件工程师Tyler Hushing来监督生产的技术方面。 泰勒说:“一旦我们决定使用LIV进行合成,我便开始通过他们的Discord渠道与他们的团队交谈。” LIV的支持令人震惊。 他们的团队遍布全球,因此,每当我需要提出问题时,总会有人与他交谈。”

“我们在视频中同时展示了Unity和Unreal项目,Liv在为两个引擎集成其插件方面提供了不可思议的帮助。”

让测试开始

当我们计划视频时,我们意识到我们正在做以前从未做过的事情。 我们正在为已经很复杂的生产过程引入全新的硬件。 这项工作会进行吗? 如果确实有效,看起来会很酷吗?

为了找到答案,Az在我们的San Luis Obispo实验室停下来,对其相机装置进行了合成测试。 这是关键时刻。 如果这不起作用,我们将不得不回到制图板上并制作一个完全不同的视频。

HaptX的软件工程师之一Keenan粉碎了我们办公室中的UFO。 该测试素材是使用LIV软件实时合成的。

幸运的是,幸运就在我们这边:不仅所有事情都起作用,而且看起来很棒。 我们准备射击了!

影片拍摄本身在洛杉矶的VR Scout绿屏工作室进行。 在设置设备时,我们的一些朋友转过身来,以尽早了解HaptX手套。 其中:雷吉·瓦茨(Reggie Watts)。

雷吉·瓦茨(Reggie Watts),著名的艺术家/节拍手/音乐家/喜剧演员/ VR爱好者都来现场试穿HaptX Gloves。

Az Balabanian说:“弄清楚如何在视觉上表现出触摸感是一个创造性的挑战。”

“通过使用LIV等混合现实相机工具,我们能够在现场测试镜头和构想,并且由于所有内容都是实时合成的,因此我们能够调整相机的运动,照明和遮挡以获得想要的镜头。 感觉真的像我们在致力于摄影的未来。”

该视频以我们的HaptX Gloves与我们团队创建的真实VR内容进行交互为特色。 我们展示了三种经验:消防泵面板培训场景,强调设计应用的汽车以及展现HaptX Gloves娱乐潜力的农场环境。

如果您密切关注,则可以了解HaptX Gloves的工作原理。 当手挤压扳手时,蓝色光束指示施加到手指的力反馈。 当双手放在草地上时,您会看到两副手套之间的260个触觉致动器向用户的手掌和指尖施加压力。 当食指轻敲星星的边缘时,您会看到我们的磁运动跟踪系统的准确性,该系统以近毫米的精度跟踪手的运动。

虽然该视频只有一分钟,但我们打包了完整的内容,其中包含我们内部制作的VR体验。 展望未来,随着我们的客户使用HaptX Gloves进行开发,我们希望在以后的视频中展示他们出色的工作。


非常感谢 Az Balabanian (导演), Austin Smagalski (编辑), Jonathan Nafarrete (VR侦察员编辑和工作室经理)使这段视频成为可能。 订阅我们的 YouTube频道, 以了解HaptX的最新视频。

* Research VR Podcast最近由HaptX创始人兼首席执行官Jake Rubin担任主角。 您可以在这里听他们的谈话:

HaptX的企业级高保真VR触觉反馈手套(Jake Rubin,首席执行官)– 086

虚拟现实和空间计算科学与设计背后的播客。 通过结合我们的背景…

研究报告