Semantic image editing utilizes local semantic label maps to generate the desired content in the edited region. A recent work borrows SPADE block to achieve semantic image editing. However, it cannot produce pleasing results due to style discrepancy between the edited region and surrounding pixels. We attribute this to the fact that SPADE only uses an image-independent local semantic layout but ignores the image-specific styles included in the known pixels. To address this issue, we propose a style-preserved modulation (SPM) comprising two modulations processes: The first modulation incorporates the contextual style and semantic layout, and then generates two fused modulation parameters. The second modulation employs the fused parameters to modulate feature maps. By using such two modulations, SPM can inject the given semantic layout while preserving the image-specific context style. Moreover, we design a progressive architecture for generating the edited content in a coarse-to-fine manner. The proposed method can obtain context-consistent results and significantly alleviate the unpleasant boundary between the generated regions and the known pixels.


翻译:语义图像编辑使用本地语义标签地图来生成编辑区域中想要的内容。 最近的一项工作 借用 SPADE 块来进行语义图像编辑。 但是, 由于编辑区域和周围像素之间的风格差异, 它无法产生令人愉快的结果。 我们将此归因于 SPADE 只使用独立图像的本地语义布局, 却忽略了已知像素中包含的图像特有风格。 为了解决这个问题, 我们提议了一种由两种调制程序组成的风格预设的调制( SPM) : 第一个调制包含上下文样式和语义布局, 然后生成两个引信调制参数。 第二个调制使用引信参数来调制地貌图。 通过使用这两种调制, SPM 可以输入给定的语义布局, 同时保存特定图像的语义样式。 此外, 我们设计了一个渐进的架构, 用于以直角到线的方式生成编辑的内容。 拟议的方法可以获取上下文调结果, 并大大减轻生成区域与已知像素的平方之间不愉快的边界 。

0
下载
关闭预览

相关内容

实体和物理建模讨论会(SPM)是国际会议系列,每年在实体建模协会(SMA),ACM SIGGRAPH和SIAM几何设计活动组的支持下举办。该会议的重点是几何和物理建模的各个方面,以及它们在设计、分析和制造以及生物医学、地球物理、数字娱乐和其他领域中的应用。该、 官网地址:http://dblp.uni-trier.de/db/conf/sma/
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
71+阅读 · 2020年8月2日
专知会员服务
60+阅读 · 2020年3月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员