CIIS2018 演讲实录丨孟祥旭：面向动漫影视制作的超大规模场景表示及并行绘制方法

由中国人工智能学会主办，广州易间网络科技有限公司承办的2018第八届中国智能产业高峰论坛11 月17-18日在成都完美收官，论坛在两天的会议里带来了多场精彩报告。

此次小编为大家整理的是来自东大学特聘教授，数字媒体技术教育部工程研究中心主任孟祥旭主题为《面向动漫影视制作的超大规模场景表示及并行绘制方法》的精彩演讲。

孟祥旭

山东大学特聘教授，数字媒体技术教育部工程研究中心主任

以下内容根据速记进行整理

经过孟祥旭本人校对

发展数字创意产业是国家经济社会发展的战略需要。2016年12月，国务院印发的《“十三五”国家战略性新兴产业发展规划》将数字创意产业列为5个重点培育的新支柱产业之一。数字创意产业是数字技术与文化创意、设计服务深度融合的产物，包括影视动漫、虚拟现实、工业设计仿真等。高度真实感渲染是数字创意产业的核心支撑技术，目前高度真实感渲染软件仍被国外垄断，如Prman、Arnold和Vray等。

在国家“863”计划和国家重点研发专项支持下，自2010开始开展了面向动漫影视制作的超大规模场景表示及并行绘制方法的研究，基于国产超算平台太湖之光和天河二号平台研发具有自主知识产权的高度真实感绘制引擎。

绘制是图形学的核心问题之一，数字创意产业要求渲染出的作品呈现效果更接近自然界光影、色彩和运动规律，这导致场景复杂度越来越高，数据规模已接近TB级。尽管计算机的处理能力越来越强，但是创意设计行业对特效品质的追求也越来越高，2007年《变形金刚1》中单个变形金刚数据量为1.8 GB，到了2014年《变形金刚4》中数据量增加到40 GB，单帧渲染时间从72小时增加到288小时。2014年采用的计算节点为双路i7 4核 CPUs、16 GB内存、4 Tesla S1070 T10 GPUs、4 GB显存，这在当时是顶级配置。

绘制方法中的全局光照计算需要使用整体场景数据，目前采用基于粗模的分区绘制策略和基于out-of-core的内外存调度算法，处理流程人工干预多，算法不适合并行计算环境。比如渲染变形金刚时，就要把场景中变形金刚采用精细模型表示，而把场景中其他物体采用简化模型表示，降低模型复杂度后进行渲染，然后采用后期处理合成最终画面。由于场景模型简化为粗模，很多光照效果计算不出来，导致误差的产生，严重影响作品质量，这就是分区绘制。另外一种思路，既然这么大的场景处理不了，就采用内外存交换，基于Out-of-core方法，计算效率大幅下降。太湖之光是众核架构，由百万核以上节点构成，为解决上述问题提供了高效计算环境。高度真实感渲染是典型的计算密集和数据密集问题，需要突破以下关键科学问题：① 遵循物理规律的材质表达机理和光照模型并行求解；② 基于动力学的视觉特效并行计算；③ 超大规模场景数据的组织、传输和表示。以使渲染效果更接近自然界光影、色彩和运动规律，实现高效并行渲染和仿真。

材质用于描述物体的质地和外观，物体的表面细节建模是当前研究的热点。Cook Torrance等基于物理的BRDF材质模型，粗糙度、遮挡衰减等参数的设置，依赖于美工经验，织物、金属等复杂表面调参困难。

数字媒体制作业务流程复杂、文件种类多，造成场景文件管理困难、分发和传输受限于网络带宽。

下图所示动画制作流程中，从建模、绑定、动画，灯光，特效、贴图、渲染，再到后期制作涉及模型文件种类多、数据量大。在渲染时，这些模型文件按镜头组合，数据的组织、管理和传输也是一个难题。

围绕上述问题国内外学者进行了大量研究工作，光照模型现在越来越趋向基于物理的光照模型；材质方面越来越倾向于采用基于测量的数据驱动的建模方法，包括德国bonn大学的BTF材质测量，实现个性化材质建模。

下图是我们提出的基于超算平台的渲染系统架构，通过自主研发的材质测量仪和材质采集系统，建立BTF测量材质库；实现Maya,3dmax和Houdini等建模软件的有效集成，通过使能工具导出基于open3ds规范的场景文件，以渲染作业的方式提交给渲染服务平台，通过在超算平台上部署的自主研发的基于物理的真实感渲染器实现作品渲染。

国产超算平台上研发了光线求交算法库、高速通讯库和DSM数据存取库这三个基础库。由于渲染算法需要用到整个场景的数据，但是在太湖之光这台机器上，目前单节点内存是32 GB，数据量大也存放不，通过DSM实现数据共享。

该引擎支持TB规模的场景渲染，为实现大规模场景的建模和表示，提出了一种新的场景表示规范Open3ds。Open3DS场景表示规范以一个镜头为单位表达场景，将场景分为静态数据和动态数据，并使用统一的场景框架组织不同属性的场景数据。静态数据包括几何、纹理和材质数据；动态数据包括骨骼动画、关键帧动画和动力学仿真数据。支持场景物体层次细节模型，建立不同细节层次模型之间的对应关系。通过低精度细节模型代理装配大规模场景，建立层级代理方式增强场景规模的扩展性。镜头中静态数据多帧间采用共享方式，避免重复存储；运动动态数据建立了异构三维人体运动特征表达模型，通过更具区分度的紧凑几何特征表示方式及特征权重模型，对运动数据进行高效的表达。

并行渲染引擎由镜头渲染器、分布式光路追踪渲染器，以及光路追踪渲染核心三层构成。

镜头渲染器负责解算Open3DS描述的镜头场景，为分布式光路追踪渲染器分配渲染帧，分配几何、纹理等场景数据。分布式光路追踪渲染器部署于支持全连接的超算平台运算超节点，基于DSM管理公共的帧数据，采用基于k-d树的场景分布式存储方法，突破大规模场景内存存储瓶颈。采用光线排序重组和分发方法，打破传统蒙特卡洛串行光路追踪流程，实现全局光照的高效并行计算。光路追踪渲染内核部署于众核处理器，对应于传统PC渲染引擎，基于众核进行并行光照计算。生成的跨界光线，利用高速通讯库返回分布式光路追踪渲染器。

 

具体到太湖之光超算平台，每个运算节点包括260核、32 GB的内存，部署一个光路追踪渲染内核，实现光线并行求交和交点材质着色；每个运算超节点包含256个运算节点约65 KB核、8 TB左右内存容量，部署分布式光路追踪渲染器，实现TB级帧渲染。在百万核规模实现TB级镜头渲染器。

基于众核的光照计算，基于众核并行光线求交，交点并行着色。利用向量化技术，以及渲染算法支持库优化并行光照计算；基于BVH树的节点访问概率，预测组织从核缓存，减少主从数据交换。    高精度材质建模与计算方面，采用微表面替代法向分布，精确计算高光分布实现材质微表面建模；多层BSDF材质建模，精确表示光线在物体表面的薄层传播，通过计算光线在层边界的反射、折射，以及层内的散射，实现高效的仿真油漆、皮肤等复杂材质。微表面的建模采用测量BTF数据计算获取。采用四层纹理组织方式处理TB级纹理数据，包括场景纹理文件、DSM纹理存储、主核纹理块缓存队列，从核着色点微表面纹理。通过金字塔、瓦片、缓存队列及预估技术管理纹理。利用采样滤波技术，高效存取DSM纹理数据。利用从核并行计算多条离散采样光线在微表面传播过程。

 

在海量媒体数据和流程管理方面，实现了基于docker的数字媒体制作业务流程管理基本功能，包括团队管理、项目管理、任务管理、角色管理等；在任务管理中，实现了场景解算任务、渲染任务、动力学仿真任务的调度，支持预渲染任务的交互预览；系统支持在神威•太湖之光的前端机部署并调用指令系统、共享文件系统等；在容错性方面也很好支持了任务监控，对失败任务重新调度等。数据管理方便，基于三维模型压缩库实现了场景重复数据的删除和压缩。超算中心内渲染作业调度采用可靠组播技术完成场景文件的分发任务；渲染节点组内采用基于RDMA(Remote direct memory access)的缓存子系统支持组内节点的临时数据共享。

 

该引擎支持多边形几何、曲线曲面建模；支持Maya粒子建模、流体建模功能；支持BSDF、SVBRDF、表面体材质、基本纹理；支持点光源、平行光、聚光灯、环境光、面积光等光源模型；支持场景代理功能、可建模TB级别大规模场景；支持动力学视觉特效仿真编辑，对仿真条件和特效材质进行交互设计和编辑。可实现光线跟踪、光子图、点缓存等渲染流程。

总之，速度和品质依然是高度真实感渲染领域关注的首要问题，实现基于物理的全局光照实时绘制是终极目标。目前采用深度学习方法，优化光线投射数量，提高计算效率和品质是一个新的研究热点。现在所有的建模都是端，而渲染在云中，如何通过云、端融合，实现大规模场景的建模、渲染融合，研究新一代渲染平台、可视化预演等平台，开展数字内容创意与设计相关技术和软件产品的研发，替代国外进口技术和软件是目前业界亟需解决的问题。

CAAI原创 丨 作者孟祥旭

未经授权严禁转载及翻译

如需转载合作请向学会或本人申请

转发请注明转自中国人工智能学会