Image harmonization aims to modify the color of the composited region with respect to the specific background. Previous works model this task as a pixel-wise image-to-image translation using UNet family structures. However, the model size and computational cost limit the performability of their models on edge devices and higher-resolution images. To this end, we propose a novel spatial-separated curve rendering network (S$^2$CRNet) for efficient and high-resolution image harmonization for the first time. In S$^2$CRNet, we firstly extract the spatial-separated embeddings from the thumbnails of the masked foreground and background individually. Then, we design a curve rendering module (CRM), which learns and combines the spatial-specific knowledge using linear layers to generate the parameters of the pixel-wise curve mapping in the foreground region. Finally, we directly render the original high-resolution images using the learned color curve. Besides, we also make two extensions of the proposed framework via the Cascaded-CRM and Semantic-CRM for cascaded refinement and semantic guidance, respectively. Experiments show that the proposed method reduces more than 90% parameters compared with previous methods but still achieves the state-of-the-art performance on both synthesized iHarmony4 and real-world DIH test set. Moreover, our method can work smoothly on higher resolution images in real-time which is more than 10$\times$ faster than the existing methods. The code and pre-trained models will be made available and released at https://github.com/stefanLeong/S2CRNet.
翻译:图像统一的目的是根据特定背景修改合成区域的颜色。 先前的工作模式是使用 Unet 家庭结构, 将此项任务作为使用 UNet 家庭结构的像素、 图像到图像的快速翻译。 然而, 模型的大小和计算成本限制了其模型在边缘装置和高分辨率图像上的性能。 为此, 我们提出一个新的空间分隔曲线转换网络( S$2$CRNet ), 用于首次对特定背景进行高效和高分辨率图像协调。 在 S$2 的 S$2$CRNet中, 我们首先将空间分离的嵌入从掩码地表和背景的更高缩略图中单独提取。 然后, 我们设计一个曲线转换模块( CRM ), 该模块使用线性层次来学习和整合其模型模型的性能。 最后, 我们直接使用所学的颜色曲线曲线曲线将原始高分辨率图像转换为原始的图像。 此外, 我们还通过 Casced- CRM 和 Smanticle- CRM 单独提取空间定位模块,, 将使得先前的系统/ smangial 测试方法比先前的分辨率 格式 格式 格式 和 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式化的系统化的系统化系统化方法都降低,, 和系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化方法比以前的系统化方法都降低。 。,, 和系统化系统化方法比以前的系统化系统化方法, 。 和系统化法性能在前级化方法在前的系统化系统化系统化系统化系统化系统化系统化系统化系统化方法, 。