想获得最优GNN结构？看CV大显神通

2019 年 10 月 30 日 中国图象图形学报

（图片来源网络）

图神经网络（GNN）在社交网络、知识图谱、推荐系统等领域的应用不断受到学者们的关注。GNN具有很强的表征能力，但由于图结构的复杂性与叠加非线性，要获得最优的GNN结构并非易事。因此，对GNN的特性进行分析，并根据不同任务构建相应的GNN结构是十分重要的问题。

华南理工大学金连文、梁凌宇团队发表在NeurIPS 2019上的论文《Adaptive GNN for Image Analysis and Editing》提出了一个基于递归定义的自适应GNN模型，尝试从计算机视觉（CV）的角度去探讨GNN的特性。

论文.png

0 1

论文信息

论文标题：Adaptive GNN for Image Analysis and Editing

发表会议：Neural Information Processing Systems 2019 （NeurIPS 2019）

引用格式：Lingyu Liang，Lianwen Jin and Yong Xu, Adaptive GNN for Image Analysis and Editing, NeurIPS 2019

0 2

模型理论的关键看点

在理论上推导出GNN与CV两种基本算子（滤波与传播算子）之间的关系并分析GNN的滤波与传播扩散特性。

论文提出了基于标签传播系统的GNN模型：

其中，g为导向模板（guided map ），L为图拉普拉斯（graph Laplacian）， L 为节点权重。

通过数学推导，发现在某种参数设置下，GNN与标签传播（Label Propagation）模型和扩散学习模型（Learning to Diffusion） ^[1]所具有的传播扩散特性是一致的。

而在另一种参数设置下，GNN 能与各向异性扩散模型和加权最小二乘滤波模型具有相同的边缘保持滤波扩散特性。

0 3

实际应用的创新之处

论文提出了一种内含导向特征的正则化结构，能使GNN产生不同类型的滤波与传播扩散效果。

通过构建不同的滤波与传播算子，建立了一个基于商图像分析（QIA）的GNN框架（QIA-GNN）， 实现了多种不同的图像编辑效果，如图1所示。

图1 能实现人脸光照生成与低光照图像增强的QIA-GNN框架

QIA-GNN由三个子网络组成，其中：QIA-GNN-L1具备滤波扩散特性，用于提取人脸或低光照图的商图像特征；QIA-GNN-L2具备传播扩散特性，用于把提取的商图像特征传播到其他区域，QIA-GNN-L3用于整合不同的图层与图像特征，合成最终输出。

0 4

实验结果与展示

基于QIA-GNN框架，论文能实现人脸光照生成与低光照图像增强的效果 ，如图2和图3所示。

图2 人脸光照编辑的对比实验，其中红色框内为face relighting，绿色框内为transfiguring ^[2]，蓝色框内为face swapping ^[3]

图2为多种方法针对不同类型的人脸光照生成效果。在face relighting任务中，论文方法能在背景区域产生更为一致的光照迁移效果；在transfiguring任务中，论文方法能在保持目标人脸发型等表观特征下融合参考人脸；在face swapping任务中，通过GNN对CNN生成的参考人脸（如SwiftNet）的光照调节，论文方法能获得具更好光照一致性的结果。

图3 低光照图像增强的对比实验，从上到下依次为原始图像、CVC方法的结果、LIME^[4] 方法的结果，论文结果与论文生成的光照特征图

图3为不同方法对低光照图像增强的效果。可以看到论文方法能获得比CVC方法更好，而与SOTA的LIME方法不相上下的增强效果。从最后一行的光照特征图可以看到，论文方法能根据不同区域自适应地进行光照调节，因此能避免过度增强的不良效果。

0 5

研究结论

论文从CV的角度探讨了GNN的滤波与传播特性，发现对具有标签传播结构的GNN：

导向模板与节点权重决定了GNN是产生滤波还是传播扩散；图拉普拉斯中的核函数控制其扩散的模式。

通过构建新的正则化结构，能使GNN具有不同的滤波与传播扩散特性，从而实现不同的图像分析与编辑效果。

0 6

关键参考文献

[1]Risheng Liu, Guangyu Zhong, Junjie Cao, Zhouchen Lin, Shiguang Shan, and Zhongxuan Luo, “Learning to diffuse: A new perspective to design PDEs for visual analysis,” IEEE Trans. Pattern Anal. Mach. Intell., pp. 2457–2471, 2016.

[2]Ira Kemelmacher-Shlizerman, “Transfiguring portraits,” ACM Trans. Graph., vol. 35, no. 4, pp. 94, 2016.

[3]Iryna Korshunova, Wenzhe Shi, Joni Dambre, and Lucas Theis, “Fast face-swap using convolutional neural networks,” Proc. ICCV, pp. 3677–3685, 2017.

[4]Xiaojie Guo, Yu Li, and Haibin Ling, “LIME: Low-light image enhancement via illumination map estimation,” IEEE Trans. Image Process., vol. 26, no. 2, pp. 982–993, 2017.

0 7

作者简介

梁凌宇

华南理工大学电子与信息学院，副教授，硕士生导师。主要研究方向为计算机视觉、机器学习等。E-mail:

lianglysky@gmail.com

金连文

华南理工大学电子与信息学院，教授，博士生导师。主要研究领域为机器学习、文字识别、计算机视觉、图像处理、人工智能技术及其应用等。E-mail: eelwjin@scut.edu.cn

许勇，华南理工大学计算机科学与工程学院，教授，博士生导师。主要研究方向为图像分析、视频识别与图像质量评价。E-mail: yxu@scut.edu.cn

编辑推荐

本文系《中国图象图形学报》独家稿件

本文内容仅供学习交流

版权属于原作者

编辑：秀秀

指导/审核：梧桐君

声明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。