【字节跳动&Adobe】图割多模态风格迁移，Multimodal Style Transfer via Graph Cuts

主题： Multimodal Style Transfer via Graph Cuts

摘要： 最近神经风格转换方法中广泛使用的一个假设是，图像风格可以用深度特征（如Gram或协方差矩阵）的全局统计来描述，而其他方法则是通过将其分解成局部像素或神经斑块来表示风格。尽管已有的研究进展，大多数现有的方法都对风格图像的语义模式进行了统一的处理，对复杂的风格产生了不愉快的影响。在本文中，我们介绍了一种更灵活和通用的通用风格转换技术：Mull TyTalm风格转移（MST）。MST明确地考虑了内容和样式图像中语义模式的匹配，特别是将样式图像特征聚类到子样式组件中，子样式组件在图割公式下与局部内容特征匹配。训练一个重建网络来传递每个子样式并呈现最终的样式化结果。我们还推广了MST来改进现有的方法。大量实验证明了MST的有效性、鲁棒性和灵活性。

作者简介： Yulun Zhang，博士，他的研究兴趣广泛地包括稀疏/协作表示、深度学习及其在计算机视觉任务中的应用。具体来说，这些应用领域包括图像处理（图像恢复、生成和样式转换）和视觉识别（人脸识别/验证）。个人主页：http://yulunzhang.com/。等