专家推荐|真假难辨还是虚幻迷离，参与介质图形绘制让人惊叹！

猜猜看哪一张图片是计算机绘制的？

在计算机图形绘制领域，图形研究者的基本目标一般有二：一方面通过计算机图形技术合成“真假难辨”的虚拟场景。

另一方面，是通过图形渲染特效制作合成现实中难以捕捉和拍摄的画面。例如，很对人都会对好莱坞大片中酷炫足足的特效所吸引，无论是铁水奔流的震撼、世纪末日的惶恐、火山爆发的恢弘、铺天海啸的凄美，还是渺渺太空的奇光异彩，深海深处的光怪陆离，从硝烟弥漫的战争场景，到唯美的花前月下，动漫特效制作功不可没。

这其中的奥妙是什么？

本期为图粉推介的是南京理工大学王贝贝博士关于“参与介质的真实感图形渲染”的报告——高效绘制方法研究。 

为便于图粉了解报告的精彩内容，南京理工大学肖亮教授作为本期微推的推荐专家，特别撰写了以下内容导读和推荐前言，文末还有图图为大家准备的PPT福利哟。

在此之前，我们不妨欣赏一段由王贝贝博士等人（Studio Gobo）绘制的海底漫游场景吧！那些光怪陆离的场景特效，真让人惊叹

科学问题

真实感图形渲染是计算机图形学学科的核心关键问题，复杂环境的实时光照是虚拟显示沉浸感的基础。通常图形渲染，仅仅考虑光源与被照射对象的属性，对于光线在介质空间的传播过程，即假设过于简单。简言之，通常假设为真空状态，而事实上的介质空间，包括水、油、汁、烟、尘、雾等模糊介质，在理论上是应该参与光照计算。由此形成一个前瞻性的研究课题：参与介质的真实感图形渲染。

参与介质的图形渲染是影视特效模拟的关键技术之一。参与介质作为现实世界中常见的物体或者现象，比如牛奶，果汁，橄榄油以及路灯中的光晕等，对这些效果的模拟，对于增强真实感具有十分重要的意义，并且影视动漫、虚拟现实等应用领域具有重要的作用。

王贝贝博士等人绘制的海底漫游场景

在表面渲染中，光线只在物体表面发生改变；而在参与介质中，则会被吸收或者散射，从而改变原始的传播方向，引起传播方向光能的增强或衰减。光线在参与介质中吸收和散射的强度，可以用吸收系数和散射系数来表示，前者描述了空间中每单位长度中光子被吸收的概率，后者则描述了每单位长度中光子被散射的概率。当散射发生时，散射到每个方向的概率用相位函数来表示，大体可以分为前向散射和后向散射。吸收系数和散射系数之和称为衰减系数，代表了单位距离内光子出射到其他方向或者被吸收掉的总概率。

关于参与材质的另外一种描述方式是：平均自由程和散射反照率，其中平均自由程是指光线在被吸收或者发生散射前在参与介质中所经过的平均距离，散射反照率是指散射系数在衰减系数中所占的比例。按照以上属性进行分类，可以大体分为低/高平均自由程，高/低散射反照率，各向异性和各向同性参与介质等。

问题的挑战性

1. 复杂参与介质光线传递物理建模过程复杂。

复杂参与介质光线传递过程中，存在单次散射、二次散射和多次散射等复杂光学现象，如何简洁而高效的物理建模是参与介质图像绘制的基础。例如一杯简单的红酒，如何体现玻璃杯中红酒的逼真的光色，参与介质光线传递过程和多次散射建模就是关键，而简单的表面绘制方法远远不能达到真假难辨的绘制效果。

Survace Rendering VS Volume Rendering

2. 真实感与实时性之间矛盾突出。

目前参与介质可交互或者实时渲染算法只能支持某种特定类型的参与介质：高平均自由程或者低平均自由程，或者假设参与介质没有边界。由于计算资源限制，此外，模型假设简单，往往导致渲染精度较低，在线渲染的实时性问题突出。

参与介质渲染，天下没有免费的午餐，而是逼真性和实时性的博弈

3.实时交互与编辑绘制比较困难。

目前实时以及可交互参与介质渲染算法存在诸多局限性：不支持边界；仅限于计算单次散射或者多次散射；内存受限等，因此缺乏统一的支持可交互的参与介质编辑的算法。

基本研究现状

参与介质图形渲染，按照依据理论划分为：基于辐射传递方程和基于扩散理论，后者只能计算低平均自由程并且高散射反照率的材质，前者没有该限制。按照渲染效率来分，分为离线算法和实时算法，前者主要应用于动画等高质量渲染，而后者则对渲染效率要求较高。

Jensen等人在文献[Jensen 1998]中将光子映射算法从物体表面间的光线传递扩展到参与介质中的光线传递。迪斯尼科研团队的Jarosz 等人在文献[Jarosz 2008]中改进了以上算法，使用相机光线直接收集光子图贡献，使得收敛速度更快。文献[Jarosz 2011]提出在发射光子阶段，使用光束代替光子，使得采样更加密集，对某些材质进一步增加了收敛速度。Křivánek等人在[Křivánek 2014b]中通过分析发现点、光束、路径等不同的表示方式适用于不同参与介质，因此将这三种表达方式进行融合，通过重要性采样来自动选择绘制方法，该方法简称为UPBP。文献[Bitterli 2017]中把光子扩展到光子平面和光子体，进一步提高收敛效率。浙江大学图形学团队在文献[Qin 2015]中提出针对参与介质的无偏光子聚集方法，在很大程度上提高了渲染效率。

迪斯尼科研团队[Novak 2012a; Novak 2012b]提出虚拟光线或者虚拟光束来模拟半透明材质中的光线传递，从光源发射光线或者光束，在参与介质中发生散射，并且存储这些光线或者光束。在模拟多次散射时，计算所存储的光线、光束对相机光线产生的贡献。该类算法具有较高效率，但是只支持多次散射计算。文献[Huo 2016]中提出了一种基于稀疏采样和重构的方法来加速多光源算法中的聚集过程，该方法根据多次散射局部性特点有效地提高了效率。

电影《冰雪奇缘》特效片段

基于蒙特卡洛的方法也可以用来模拟光线在参与介质中的传递。文献[Hanika 2015]中提出了一种基于流形探索下一次事件（Next Event）估计的方法，用来计算多个折射表面和光源相连的路径。文献[Koerner 2016]中对该方法进行了改进，文中提出了一种无偏的基于细分的下一次事件估计方法，用于发现光源和相机之间的路径，该方法不能找到所有路径，并且在计算低频效果时需要较高时间成本。文献[Weber 2017]中提出了多点下一次事件估算方法用于计算均匀或者非均匀参与介质中的多次散射，该方法适用于前向散射，但是不适用于带边界的参与介质。文献[Křivánek 2014a]和[Meng 2016]针对蒙特卡洛算法在高散射反照率参与介质中收敛慢的问题，通过Dwivedi 采样技术，提高收敛速度。

基于扩散理论的方法或者说次表面散射方法只适用于低平均自由程的参与介质，比如皮肤、蜡烛或者大理石等，相比其他方法，该方法具有更高效率。第一个具有里程碑意义的工作，是Jensen 等人在文献[Jensen 2001]提出的双点（Dipole）模型，使得参与介质绘制具有实用性。在此之后的改进包括了提升质量的量化模型[D’Eon 2011]、保持入射光线方向性的模型[Frisvad 2014]等。

关键参考文献

（向上滑动查看更多）

[Bitterli 2017] B. Bitterli and W. Jarosz, Beyond points and beams: Higher-dimensional photon samples for volumetric light transport. ACM Trans. Graph. 36(4), pp. 112:1--112:12. 2017.

[D’Eon 2011] E. D’Eon, and G. Irving. A quantized-diffusion model for rendering translucent materials. ACM Trans. Graph. (proc. SIGGRAPH). 30(4), pp. 56:1–56:14. 2011.

[Frisvad 2014] J. R. Frisvad, T. Hachisuka and T. K. Kjeldsen. Directional dipole model for subsurface scattering. ACM Trans. Graph. 34(1). pp. 5:1–5:12. 2014.

[Huo 2016] Y. Huo, R. Wang, T. Hu, W. Hua, H. Bao. Adaptive matrix column sampling and completion for rendering participating media. ACM Trans. Graph. (proc. Siggraph Asia). 35(6), pp. 167:1--167:11. 2016.

[Jakob 2014] W. Jakob, E. D’Eon, O. Jakob, and S. Marschner. A comprehensive framework for rendering layered materials. ACM Trans. Graph. (Proc. SIGGRAPH). 33(4), pp. 118:1--118:14. 2014.

[Jarosz 2008] W. Jarosz, M. Zwicker, and H. W. Jensen. The beam radiance estimate for volumetric photon mapping. Comput. Graph. Forum (proc. Eurographics). 27(2), pp. 557-566. 2008.

[Jarosz 2011] W. Jarosz, D. Nowrouzezahrai, I. Sadeghi and H. W. Jensen. A comprehensive theory of volumetric radiance estimation using photon points and beams. ACM Trans. Graph. 30(1), pp. 5:1–5:19. 2011.

[Jensen 1998] H. W. Jensen, and P. H. Christensen. Efficient simulation of light transport in scenes with participating media using photon maps. SIGGRAPH. pp. 311–320. 1998.

[Koerner 2016] D. Koerner, J. Novák, P. Kutz, R. Habel, W. Jarosz, Subdivision next-event estimation for path-traced subsurface scattering. EGSR 2016.

[Křivánek 2014a] J. Křivánek and E. d'Eon. A Zero-variance-based Sampling Scheme for Monte Carlo Subsurface Scattering. ACM SIGGRAPH 2014 Talks.

[Křivánek 2014b] J. Krivanek, I. Georgiev, T. Hachisuka, P. Vevoda, M. Sik, D. Nowrouzezahrai, and W. Jarosz. Unifying points, beams and paths in volumetric light transport simulation. ACM Trans. Graph. (proc. SIGGRAPH). 33(4), pp. 103:1--103:13. 2014.

[Meng 2016] J. Meng, J. Hanika1, C. Dachsbacher. Improving the dwivedi sampling scheme. Computer Graphics Forum (Proceedings of EGSR). 35(4), pp. 37-44. 2016.

[Novak 2012a] J. Novak, D. Nowrouzezahrai, C. Dachsbacher and W. Jarosz. Virtual ray lights for rendering scenes with participating media. ACM Trans. Graph. (proc. Siggraph). 31(4), pp. 60:1--60:11. 2012.

[Novak 2012b] J. Novak, D. Nowrouzezahrai, C. Dachsbacher and W. Jarosz. Progressive virtual beam lights, Computer Graphics Forum (Proceedings of EGSR). 31(4), pp.1407–1413. 2012.

[Qin 2015] H. Qin，X. Sun，Q. Hou，B. Guo，K. Zhou. Unbiased Photon Gathering for Light Transport Simulation. ACM Trans. Graph. 34(6), pp. 208:1--208:14. 2015.

主要内容概览

影视制作、游戏开发以及虚拟现实等领域对真实感绘制的要求与日俱增，这既需要满足物理规律的复杂材质表达模型，又需要高效的真实感绘制方法。为增强真实感，需要模拟大量光线传递过程，才能保证参与介质等复杂材质的绘制效果，这给时间和存储均带来挑战。王贝贝博士针对复杂材质和参与介质内光线传播问题，提出了一系列的高效图形渲染算法。其工作的研究框架为：

本报告给出的主要提出算法的基本学术思想如下：

1.将基于点的渲染方法从表面渲染其扩展到参与介质中的光线传递。

方法中在物体表面和参与介质内采样产生包含光照信息的点云，然后利用点云采用不同的方式分别计算单次、二次和多次散射[5]。该方法相比UPBP等方法具有更高效率，并且也可以支持各种均匀介质。王贝贝等人[2]将该方法进一步改进，一方面可以支持光泽反射表面，另一方面通过点云局部密度分析使得单次散射速度更快。GPU计算架构实现，可实现任意均匀参与介质的可交互编辑以及光源编辑。

王贝贝博士等人绘制的海底漫游场景

2.将协方差跟踪理论引入到基于点缓存的体绘制。

针对单次散射高频的特征，通过跟踪协方差来确定单次散射采样点的核大小，从而在更短的时间内达到相同的质量[3]。

3.在蒙特卡洛方法中引入预计算无限参与介质中多次散射方法来提高收敛效率。

该方法可用于多种渲染方法中，包括了之前的虚拟光源方法、UPBP以及基于流形的MLT方法中，收敛速度大大提高[1]。此外，文献[7]中用神经网络代替表格来表示多次散射，从而使得内存使用从上百MB级别减少到KB级别，保证了较好的逼真绘制果。

王贝贝博士的主要工作

（向上滑动查看更多）

[1] Beibei Wang*, Liangsheng Ge, Nicolas Holzschuch. Precomputed Multiple Scattering for Rapid Light Simulation in Participating Media. IEEE Transactions on Visualization and Computer Graphics, 2019,可在线查看 

[2] Beibei Wang*, Nicolas Holzschuch. Point-Based Rendering for Homogeneous Participating Media with Refractive Boundaries, IEEE Transactions on Visualization and Computer Graphics, 2018, 24 (10), pp.2743-2757. 

[3] Yulin Liang#, Beibei Wang#, Lu Wang, Nicolas Holzschuch. Fast Computation of Single Scattering in Participating Media with Refractive Boundaries using Frequency Analysis. IEEE Transactions on Visualization and Computer Graphics, 2019,可在线查看 

[4] Beibei Wang*, Lu Wang, Nicolas Holzschuch. Fast Global Illumination with Discrete Stochastic Microfacets Using a Filterable Model. Computer Graphics Forum (Proceedings of PG 2018), 2018, 37 (7), pp.55-64.

[5] Beibei Wang*, Jean-Dominique Gascuel, Nicolas Holzschuch. Point-Based Light Transport for Participating Media with Refractive Boundaries. Eurographics Symposium on Rendering 2016, Jun 2016, Dublin, Ireland.

[6] Beibei Wang, Huw Bowles. A Robust and Flexible Real-Time Sparkle Effect. EGSR 2016. (CCF B类会议)

[7] Liangsheng Ge, Beibei Wang, Lu Wang, Nicolas Holzschuch. A Compact Representation for Multiple Scattering in Participating Media using Neural Networks. Siggraph 2018 Talks, Aug 2018, Vancouver, Canada.

[8] Huw Bowles, Daniel Zimmermann, Gioacchino Noris, Beibei Wang. Crest: Novel Ocean Rendering Techniques in an Open Source Framework. Siggraph 2017 Advances in Real-Time Rendering in Games, Jul 2017, Los angeles, United States.

[9] Beibei Wang, Xiangxu Meng, Tamy Boubekeur. Wavelet Point-Based Global Illumination. Computer Graphics Forum vol.34.4(2015),pp.143-154(EGSR 2015) 2015.06.

[10] Beibei Wang, Jing Huang, Bert Buchholz, Xiangxu Meng and Tamy Boubekeur. Factorized Point-Based Global Illumination. Computer Graphics Forum, vol.32.4(2013), pp.117-123 (EGSR 2013) 2013.06.SCI.

报告内容

推荐阅读

周杨, 胡校飞, 靳彩娇, 张龙, 陈安东. 图形图像融合的海量建筑绘制[J]. 中国图象图形学报, 2018, 23(7): 1072-1080.

http://www.cjig.cn/html/jig/2018/7/20180714.htm

王少荣, 敖知琪, 要曙丽, 陈毅松, 汪国平. 自适应的线条画绘制[J]. 中国图象图形学报, 2018, 23(5): 730-739.

http://www.cjig.cn/html/jig/2018/5/20180511.htm

邵绪强, 杨晓丹, 李继荣, 阎蕾. 大规模流体场景的真实感与实时模拟[J]. 中国图象图形学报, 2016, 21(7): 913-922.

http://www.cjig.cn/html/jig/2016/7/20160709.htm

报告专家介绍

王贝贝，南京理工大学副教授，硕士生导师。王贝贝分别于2009年、2014年在山东大学获得学士、博士学位，期间在巴黎高科进行两年联合培养。2015年在英国游戏公司Studio Gobo参与Disney游戏Infinity 3的研发。2015年底到2017年初，在Inria（法国信息与自动化研究所）从事博士后。之后加入到南京理工大学。

主要研究方向是计算机图形学绘制，包括全局光照算法、参与性介质光线传递和复杂材质模型等。

E-mail:wang@njust.edu.cn

推荐专家介绍

肖亮，南京理工大学计算机科学与工程学院教授，博士生导师，工学博士。教育部高维信息智能感知与系统重点实验室副主任，江苏省光谱信息感知与系统重点实验室副主任。

从事计算机视觉、机器学习和光谱遥感信息智能感知与系统研发，在视觉目标检测-跟踪分析、高光谱遥感图像处理与智能分析、岩心矿物可视化填图等研发多个实用性系统。

E-mail:xiaoliang@njust.edu.cn

发福利啦

扫描下方二维码联系学报编辑

获取报告PPT

编辑推荐

本文系《中国图象图形学报》独家稿件，

欢迎读者转发朋友圈

文章部分配图来自网络，仅供学习交流，

版权属于原作者

编辑：秀秀

指导/审核：梧桐君

总编辑：肖亮

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

前沿丨观点丨资讯丨独家

扫描下方二维码 关注学报公众号

中国图象图形学报 | 订阅号

在看点这里