【ICCV2021】基于Transformer 的神经绘画

摘要：在一篇 ICCV 2021 Oral 论文中，来自百度 VIS 团队和罗格斯大学等机构的研究者将神经绘画视作一个集合预测问题，提出了全新的、基于 Transformer 的框架——Paint Transformer，从而利用前馈网络来预测笔画集合的参数。就其效果而言，研究者提出的模型可以并行地生成一系列笔画，并几乎能够实时地得到尺寸为 512×512 的重建绘画。

更重要的是，由于训练 Paint Transformer 没有可用的数据集，研究者设计了一个自训练的 pipeline，这样既可以在不使用任何现成数据集的情况下训练，又依然能够实现极好的泛化能力。实验结果表明，Paint Transformer 在训练和推理成本更低的情况下，实现了较以往方法更好的性能。

研究者将神经绘画视作一个渐进的笔画预测过程。在每一步并行地预测多个笔画，以前馈的方式最小化当前画布和目标图像之间的差异。就其结构而言，Paint Transformer 由两个模块组成，分别是笔画预测器（Stroke Predictor）和笔画渲染器（Stroke Renderer）。