Image harmonization aims to modify the color of the composited region with respect to the specific background. Previous works model this task as a pixel-wise image-to-image translation using UNet family structures. However, the model size and computational cost limit the performability of their models on edge devices and higher-resolution images. To this end, we propose a novel spatial-separated curve rendering network (S$^2$CRNet) for efficient and high-resolution image harmonization for the first time. In S$^2$CRNet, we firstly extract the spatial-separated embeddings from the thumbnails of the masked foreground and background individually. Then, we design a curve rendering module (CRM), which learns and combines the spatial-specific knowledge using linear layers to generate the parameters of the pixel-wise curve mapping in the foreground region. Finally, we directly render the original high-resolution images using the learned color curve. Besides, we also make two extensions of the proposed framework via the Cascaded-CRM and Semantic-CRM for cascaded refinement and semantic guidance, respectively. Experiments show that the proposed method reduces more than 90% parameters compared with previous methods but still achieves the state-of-the-art performance on both synthesized iHarmony4 and real-world DIH test set. Moreover, our method can work smoothly on higher resolution images in real-time which is more than 10$\times$ faster than the existing methods. The code and pre-trained models will be made available and released at https://github.com/stefanLeong/S2CRNet.


翻译:图像统一的目的是根据特定背景修改合成区域的颜色。 先前的工作模式是使用 Unet 家庭结构, 将此项任务作为使用 UNet 家庭结构的像素、 图像到图像的快速翻译。 然而, 模型的大小和计算成本限制了其模型在边缘装置和高分辨率图像上的性能。 为此, 我们提出一个新的空间分隔曲线转换网络( S$2$CRNet ), 用于首次对特定背景进行高效和高分辨率图像协调。 在 S$2 的 S$2$CRNet中, 我们首先将空间分离的嵌入从掩码地表和背景的更高缩略图中单独提取。 然后, 我们设计一个曲线转换模块( CRM ), 该模块使用线性层次来学习和整合其模型模型的性能。 最后, 我们直接使用所学的颜色曲线曲线曲线将原始高分辨率图像转换为原始的图像。 此外, 我们还通过 Casced- CRM 和 Smanticle- CRM 单独提取空间定位模块,, 将使得先前的系统/ smangial 测试方法比先前的分辨率 格式 格式 格式 和 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式化的系统化的系统化系统化方法都降低,, 和系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化方法比以前的系统化方法都降低。 。,, 和系统化系统化方法比以前的系统化系统化方法, 。 和系统化法性能在前级化方法在前的系统化系统化系统化系统化系统化系统化系统化系统化系统化方法, 。

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年6月12日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
专知会员服务
60+阅读 · 2020年3月19日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
车辆目标检测
数据挖掘入门与实战
30+阅读 · 2018年3月30日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
Real-Time High-Resolution Background Matting
Arxiv
4+阅读 · 2020年12月14日
Arxiv
5+阅读 · 2020年3月16日
VIP会员
相关VIP内容
专知会员服务
31+阅读 · 2021年6月12日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
专知会员服务
60+阅读 · 2020年3月19日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
车辆目标检测
数据挖掘入门与实战
30+阅读 · 2018年3月30日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
Top
微信扫码咨询专知VIP会员