很好的计算机视觉技术赢得了OSCAR!

计算机图形学简化了电影导演的生活。 现在,我们可以创建车辆的逼真的模型,包括飞船和潜艇,摩天大楼,大都市以及水波纹和火等影响。”

演员们的表情变成了动画

关于专家:

奥斯卡还有科学技术奖! IIT Kharagpur的计算机科学系校友Parag Havaldar教授最近的成就揭示了这一点。 他因在Sony Pictures Imageworks上基于表情的面部表情捕捉技术的技术开发而获得了奥斯卡技术成就奖。

“基于表现的性能捕获技术”,乍一看很难理解的一串字,但是读了两次之后就很有意义了。 基本上,数字化使复仇者联盟,蜘蛛侠3和阿凡达等电影成为可能。

当在崎rough不平的环境(例如崎terrain的地形,微弱的灯光和水)中手动拍摄表情时,电影制片人的口袋开始受到伤害,导演开始求助于计算机程序来减轻工作负担。

一切如何开始

还记得《指环王》中的古卢姆吗? 演员安迪·塞尔基斯(Andy Serkis)制定了令人难忘的角色,并引发了一场革命,创造了使观众情感上动人的数字角色。 Sony Pictures Imageworks是第一个尝试改进此容易出错流程的系统。 Imageworks Academy经过15年的大量研究,终于在2017年获得了奖项。在资源匮乏的情况下,必须与部门合作,导致跟踪团队,集成团队和动画团队之间的友善。 Havaldar教授感谢他的项目管理和控制团队的整合。

这个怎么运作

向量。 它们是线性代数的实体。 在演员脸部数字化过程中,矢量包含有关不同表情的信息,并且它们的叠加就是脸部的运动。

首先,使用适当放置的摄像机以各种表情扫描演员的脸,以分析信号并将其转换为数字脸。 3D构造,跟踪和光流使这成为可能。 演员继续按照指示进行操作,以开发3D面部模型。 保罗·埃克曼(Paul Eckman)所采用的FACS(面部动作编码系统)将心理学和医学方面的内容引入了结构。 它是代表人类面部情感的标准基础。

所有这些都有助于创建面部向量的坐标空间,其中每个表情都是某些基本面部表情的总和。 例如,敬畏的表达可以是尊重表达与恐惧表达的总和。 或者,冒险的表达可以显示为一种乐趣,也可以添加为一种危险。

它可以实现的一切

计算机图形学简化了电影导演的生活。 现在,我们可以创建逼真的车辆模型,包括飞船和潜艇,摩天大楼,大都市以及水波纹和火等影响。 这在“极地特快”,“怪物之家”,“星际大战”,“贝奥武夫”,“汉考克”,“猿人星球”,“守望者”,“本杰明·巴顿奇案”和“魔兽”。 可以使真正的演员看起来年轻或更年长,并且可以以数字方式复活死去的演员。 演员的开创性表演使我们能够在屏幕上制作风格化的面孔,人形面孔和真实面孔。

好莱坞的经验

Havaldar教授向安东尼·霍普金斯爵士讲述了他的美好回忆,以满足他对如何处理捕获的数据以在屏幕上获得最终产品的好奇心。 他还与马克·斯特朗(Mark Strong)就“绿灯侠”场景进行了互动,并同意演员的才华和对制作的理解使这一过程大有帮助。

奥斯卡获奖影片Parag Havaldar帮助演员了解了他的技术目标,因此导演可以轻松地将其转换为屡获殊荣的表演。 校准要求引导演员进入其角色的皮肤时,通过一系列表达来指导他们。

面临的挑战

尽管Havaldar教授的技术对于吸引观众参与电影电影体验并让他们暂时难以置信以使自己沉浸在情感中至关重要,但它是计算机图形学中最棘手的问题之一。 在动画中创建逼真的数字化面部取决于面部在自然定时中的移动方式,因为我们对岁月的感知使我们能够判断观察到的面部表情的正确性。 时间和动作上的最小错误会导致人们怀疑自己的脸是真实的。

解决方案

凭借在计算机图形和计算机视觉方面的专业知识,哈瓦尔达尔教授能够分析演员在身体和面部的表现,从而将动作和情感大规模地转化为数字演员,同时保留了艺术家为最终动画提供的创意迭代。 他从行为科学,医学解剖学,心理学和艺术家的动画工作流程中借鉴了配方。

它如何被带到三维

我们的每只眼睛对同一物体的视线都略有不同,我们的大脑以3D识别它。
在电影中,每帧都制作两个不同的图像,并以非常快的速度分别显示在左眼和右眼。 视觉的持久性有助于我们感知立体视频。

IMAX 3D和RealID等技术使用在剧院中分发的定向偏振眼镜对左右图像进行过滤。 有两种方法可以执行此序列。 第一个是使用立体摄影机设备捕获两个视频流,另一个是捕获一个流但在帖子中重建第二个流。

钻机面临的问题是它笨重且振动,从而导致空间差异。 钻机上的两个摄像头对颜色和反射率的响应都不同。 必须在不知道立体声效果如何在剧院中播放并可能引起观众令人不快的立体声体验的情况下进行此操作。 “忍者神龟”和“蓝色外星人”使用了虚拟人偶,这些人偶需要装备进行改编。

尽管仅捕获一个流就可以创造性地控制光谱深度感知,同时在后期制作第二个流,但这是图像分割的出色手工工作。 这个问题有待通过适当的算法来解决。

动机

作为学生,哈瓦尔达尔教授在南加州大学的教授和导师的研究兴趣从基本的信号处理到高级认知脑模型。 数字化影响了该行业蓬勃发展的洛杉矶的娱乐。

在Sega和Nintendo等游戏平台软件的短暂任职后,他加入Sony Pictures担任软件工程师。 他在罗伯特·泽米基斯(Robert Zemeckis)中找到了一个有远见的人,他正在进行的项目“极地特快”(The Polar Express)大胆采用了性能捕获技术。 多个视觉摄像机记录演员,然后将表演转换为屏幕上的数字角色。

未来的范围

几乎没有人不喜欢游戏,或者至少对它的逼真的图像和交互式动画不感兴趣。 计算机游戏技术已通过更快的GPU平台和诸如Sony Playstation,Xbox等更快的GPU平台迅速发展。大型游戏如《使命召唤》,《魔兽世界》和《守望先锋》(由Activision Blizzard和Havaldar带来)的大规模成功的关键目前有效)是游戏创造的环境的真实感。 对于那些想冒险玩游戏的人,请记住,除了图形之外,您还应该探索自然语言理解,机器学习以理解语音和逼真的渲染的领域。 不要被困扰年轻人的主导思想所困扰,“一切已经完成并被发现。 还有什么要做的?” 尽管技术飞速发展,但仍有创造智能角色的空间,这些角色不仅可以模仿预先录制的演奏,还可以根据经过训练的数据集对刺激做出反应。 借助运动和情绪的认知计算模型,您可以使数字化的“活跃”角色数字化“活跃”。 您可以使电影从简单的讲故事到定义故事。

Havaldar教授对数字化永生具有远见,您可以在其中创建自己的数字化身,使其看起来和行为像您一样! 这将很快通过虚拟现实和多角度全息投影进行商业化。

给年轻人的信息

Havaldar教授是南加州大学母校的计算机科学教授,在IIT Kharagpur对数字成像产生兴趣之后,他在计算机视觉和计算机图形学上攻读博士学位。 他认为,年轻的思想者会以他们提出的充满活力的想法挑战他。

他认为,尽管学生在数学和科学方面有很多优点,但他们必须在课堂之外和教科书之外培养一种实验性和调查性的思想。 对游戏,动画和电影技术感兴趣的学生应该加倍努力,以了解技术与艺术之间的联系。 学生不仅应该单单在数字方面不知所措,还应该努力实现技术在艺术中起着辅助性的作用。 您应该意识到,无论艺术家多么先进,如果艺术家无法使用它来完成自己的艺术,技术总是会失败。 最好的技术是永远不会感觉到的那种技术。

参考文献

我们对PanIIT非常感谢,在不采访PaniIT的情况下,我们从中了解了很多有关Parag Havaldar的知识。

关于作者

IIT Kharagpur的化学系本科生Samruddhi Pataskar对自然科学对改善现代人生活质量的贡献感兴趣。 她发现自己对写作充满热情,并在联合国新闻中心从事写作工作。 她是IIT Kharagpur研究所健康小组的健康负责人,也是校园“精益学习”一章的一部分。 她曾获得伦敦三位一体学院的表彰奖。 她的爱好包括读书,跑步和跳舞。