重温史诗级经典科幻巨作，见证这场由AI推动的3D电影特效技术革命

2020 年 4 月 8 日 机器之心

机器之心原创

作者：申一帆、樊晓芳

4 月 3 日，蓝光加长全网最完整版《指环王》三部曲在 Bilibili 上线。时隔 18 年，这部带有庞大世界观与史诗格调的经典科幻电影再次重回大家视野。但即使现在回看，这部巨作的拍摄手法与特效质量仍未过时，仍能充分让观众感受到各场大战场面的壮阔感，感叹背后特效公司水平之高超，再次重温后也无比激动。这也激起了我们对于 AI 时代下数字特效技术将为我们带来更多新惊喜的憧憬。

随着全球影视产业逐步走向工业化、规模化和产业化，我们陆续看到《阿丽塔：战斗天使》、《盗梦空间》、《流浪地球》、《阿凡达》、《复仇者联盟》等科幻电影因震撼的视听感受、新颖的电影题材获得票房、口碑双收。

现今特效技术已被广泛应用于各类电影动画中，工业光魔、Weta 等世界顶级视觉特效公司及大型影视制作团队，都已尝试使用计算机图形图像技术（CGI）辅助制作一些高呈现难度的数字特效。CGI 让影视特效创作得到技术保障，让有视野与高度的艺术创作可以尽情发挥，也让各类本身具有新颖主题和宏大世界观的影视作品或游戏的美学属性得到更大程度的表达与传递。

「指环王 2：双塔奇兵」最后圣盔谷之战甘道夫率洛汗援军冲下大斜坡与兽人士兵正面交锋场面

数字特效的发展史可以看作是电影制作的技术发展史，在电影刚刚出现的那几年，任何的视觉效果都是局限在相机内完成的工作，例如替换镜头，或简单的帧分割技术。1896 年，法国著名魔术师及电影制片人、数字特效鼻祖、科幻电影先驱乔治·梅里埃偶然发明了一种电影特效技术——停机再拍，仿佛可以通过控制摄像机来操控并改造画面中的「现实」。随后其创造的两部画面光怪陆离、剧情近乎梦幻的电影——「月球旅行记」与「奇幻旅程」，也作为科幻电影的坐标原点，开启了人类对超现实主题电影与特效制作的无尽想象。

「月球旅行记」电影宣传封面图

进入 50 年代后，随着计算机技术的发展，特效的制作也开始借助计算机图形学的知识，用电脑来生成图像（CGI），这种技术到 70 年代后逐渐成熟，出现了像《星球大战》这样的经典特效电影。1985 年，迪士尼公司创造了第一个使用电脑绘制的动画角色——年轻的夏洛克·霍姆斯的彩色玻璃人。20 年之后，《指环王》和《阿凡达》的成功掀起了一场技术革命，数字虚拟角色的制作在电影当中开始靠动作捕捉技术来制作。随着计算机技术的不断发展，特效的制作开始走向数字化，从传统的机内特效，特效化妆，光学洗印等物理特效手段发展至到现在的数字合成、数字绘景、流体动力学等电脑生成图像。同时，随着数据分析、计算机视觉、机器学习和深度学习等数据智能技术的不断应用，提升了数字特效的自动化处理和分析的水平，赋予了数字特效更多的智能化属性，进一步减轻了特效工作人员繁琐的工作，降低了人力成本和时间成本。

《阿凡达》实地拍摄场面与虚拟摄像机实时预览画面对比

机器之心希望通过本报告《世界顶级电影特效公司都在让 AI「接管」特效制作——数字特效中人工智能技术的应用现状及趋势展望》，介绍现有机器学习算法在数字特效中的应用现状、未来技术发展及落地应用趋势，帮助做机器学习、影视制作等相关的特效制作人员、特效团队、视效总监、电影导演，寻找机器学习技术应用的可行性，以及为新型影视的制作策略和特效技术开发提供参考。

报告目录

部分应用案例

4.1《复仇者联盟 3》使用新的机器学习算法来推进人物角色面部表情捕捉过程

灭霸在《复仇者联盟》中承担重要的角色，特效团队对他的定位是一个庞大而愤怒的角色，但是又同时充满感情。所以，特效团队更希望花心思捕捉到演员表情的微妙方面，特别是他的表情变化。负责制作灭霸的特效公司 Digital Domain 使用了一种名为假面舞会（Masquerade）的定制机器学习软件，使动作捕捉性能看起来更自然。

首先，他们使用动作捕捉技术在演员 Brolin 的脸上放置 100 到 150 个跟踪点，用两个垂直方向的高清摄像头捕获这些跟踪点数据。和传统的动作捕捉不同，这是一个相当低质量的渲染，采用低分辨率网络可以让机器学习算法判断哪种高分辨率的形状将会是针对该镜头的最佳解决方案。得到电脑生成的方案后，制作人员会对效果不好的镜头在建模中进行调整。如果需要灭霸的眉毛或者嘴唇更高，他们会将这些调整的数据反馈给基于机器学习的人工智能系统，系统会根据这些数据进行学习，逐步制作出符合特效团队设想的灭霸。

接下来是一个称为「直接驱动」的过程。它采用高分辨率面罩，置于灭霸的角色模型上。然后会经历一个和上文类似的过程，用于灭霸的表情制作。如果他的表情没有表现的「更加惊讶」或者「感到难过」，就会针对性的做一些调整，慢慢「教会」基于机器学习算法的人工智能系统自动调节灭霸的表情。通过不断的调整和反馈，在下一次将相同的数据输入到「直接驱动系统」当中的时候，将得到更加准确和符合团队期望的结果。

导演 Joe 和 Anthony Russo 将演员带入动作捕捉头盔并且测试他的部分线条，试图尝试不同的线路以及如何在调试到最接近预想的灭霸形态的时候将其保存下来。使用这些线条能够捕捉到他脸上几乎难以察觉的动作和神情。在捕捉到他的眼睛和脸颊上细微的动作之后，我们可以清晰的看出来他对失去 Gamora 的沮丧或悲伤，以及他对 Tony 的愤怒。这种技术上的革命使得 CG 效果在真实感和数字虚拟人物的性格表达上更上一层。

4.4《指环王:护戒使者》使用群体模拟系统制作大规模群体数字士兵及万人打斗场面

Weta Digital 公司负责电影《指环王：护戒使者》的 Massive 角色创建，为此篇的序幕制作了一个多达十几万精灵、人类以及其他生物组成的联盟军与黑暗魔君索隆的妖魔大军的混战场面。Weta Digital 公司使用了 Massive (Multiple Agent Simulation System in Virtual Environment )「虚拟环境群体模拟系统」一种计算机人工智能动画制作软件，创建了战斗场景中的 70，000 余个人工智能角色，并使每一个 Massive 角色都拥有自己的「大脑」。Massive 是由软件开发师、群体模拟人的总监史迪芬 · 瑞杰勒斯 (Stephen Regelous) 用了五年时间开发出来并逐渐完善的大型群组动画软件，并因此荣获 2003 年奥斯卡科学与工程奖。

原始模拟人的动作是由动作采集器 (Motion Capture) 获得的, 动作采集小组为序曲战斗中的士兵们设计了跑、袭击、刺杀、倒下、死去等动作。当把这些动作数据输入到智能模拟人的大脑中之后，模拟人们就会自动地逐项筛选以选择适合于他的动作。导演彼得·杰克逊在序幕战役场景中安排了 5 万到 10 万人的战争场面, 10 多万人的动画调试工程量非常的大，即使利用先进的「动作采集器」( Motion Capture) 的动作捕捉技术可以获得真正的人物动作，但也无法真正地实现数十万个数字人之间真实的互动对抗、拼杀撕打，并且很难让千千万万的不同个体人在特征上与动作上产生千变万化的差异。

为此，12 位动画工程师用 Maya 为主要的生物设置了关键帧动画，动画部门用 Massive 程序也为数字特技替身演员（Digital Doubles）、半兽人（咕鲁）和一些基本的运动编辑了动作，并制作动作库使角色大脑和身体的动作库多样化。该动作库的准备工作花了 2 年时间。同时，也因为角色是由带有物理特性的原模型创建的，考虑到要物理模拟，Massive 程序带有固体动力学（Rigid Body Dynamics），这样能使打斗的武士落在粗糙的地面上。由于这部影片的目的就是要使每个角色（武士、妖精、数字特技替身演员）的外表和动作都与众不同，所以，Massive 的工作人员为每一类角色都设计了多种多样的工具、服装和皮肤颜色。工作人员首先列出每一类型的角色，然后给他们设置特定的动作，例如武士，他们要击打、侧跨台阶、把武器向后拉并且阻挡（对方），这些动作要有变化，因为角色会出现在不同的环境中，这就意味着需要捕捉好几百个动作。Massive 软件能非常容易的产生变量，从而来改变几何体或特性。每个角色都有许多变量，他的靴子上可以满是泥泞，或者他又是非常好斗的，Massive 可以改变骨骼的比例、shader 参数和脑部变量。一般要为每一类型的角色捕捉 150 到 350 个动作。Massive 程序带有一个动画混合引擎，在角色飞行中它能修改动作，例如，让角色瞄准武器，或拽住另外的角色。角色们能用反向运动学控制他们的四肢。

角色的大脑是用模块（输入输出节点、控制节点和模糊逻辑节点的网络）来创建的；通常，大脑有 6000 到 8000 个这样的节点。角色们能"看见"渲染他们周围的图像的扫描线，"听见"声音的频率，并确定他们所处的位置，然后做出与人类相似的反应。每个角色都有一个特殊的大脑，因此他能做出独特的反应。他们做出反应的速度是每秒 24 帧。工作人员用 Massive 来处理影片中数千个武士——一旦从战场上出发，角色们就会锁定目标（敌人），然后开始「交战」。