Image retouching has received significant attention due to its ability to achieve high-quality visual content. Existing approaches mainly rely on uniform pixel-wise color mapping across entire images, neglecting the inherent color variations induced by image content. This limitation hinders existing approaches from achieving adaptive retouching that accommodates both diverse color distributions and user-defined style preferences. To address these challenges, we propose a novel Content-Adaptive image retouching method guided by Attribute-based Text Representation (CA-ATP). Specifically, we propose a content-adaptive curve mapping module, which leverages a series of basis curves to establish multiple color mapping relationships and learns the corresponding weight maps, enabling content-aware color adjustments. The proposed module can capture color diversity within the image content, allowing similar color values to receive distinct transformations based on their spatial context. In addition, we propose an attribute text prediction module that generates text representations from multiple image attributes, which explicitly represent user-defined style preferences. These attribute-based text representations are subsequently integrated with visual features via a multimodal model, providing user-friendly guidance for image retouching. Extensive experiments on several public datasets demonstrate that our method achieves state-of-the-art performance.


翻译:图像润色因其能够实现高质量视觉内容而受到广泛关注。现有方法主要依赖对整个图像进行统一的逐像素色彩映射,忽略了图像内容本身引起的固有色彩变化。这一局限性阻碍了现有方法实现既能适应多样化色彩分布、又能满足用户自定义风格偏好的自适应润色。为应对这些挑战,本文提出了一种基于属性文本表征引导的新型内容自适应图像润色方法(CA-ATP)。具体而言,我们设计了一个内容自适应曲线映射模块,该模块利用一系列基曲线建立多重色彩映射关系,并学习相应的权重图,从而实现内容感知的色彩调整。所提模块能够捕捉图像内容内部的色彩多样性,使得相似色彩值可根据其空间上下文获得不同的变换。此外,我们提出了一个属性文本预测模块,该模块从多个图像属性生成文本表征,以显式表达用户定义的风格偏好。这些基于属性的文本表征随后通过多模态模型与视觉特征融合,为图像润色提供用户友好的引导。在多个公开数据集上的大量实验表明,本方法达到了最先进的性能水平。

0
下载
关闭预览

相关内容

一个具体事物,总是有许许多多的性质与关系,我们把一个事物的性质与关系,都叫作事物的属性。 事物与属性是不可分的,事物都是有属性的事物,属性也都是事物的属性。 一个事物与另一个事物的相同或相异,也就是一个事物的属性与另一事物的属性的相同或相异。 由于事物属性的相同或相异,客观世界中就形成了许多不同的事物类。具有相同属性的事物就形成一类,具有不同属性的事物就分别地形成不同的类。
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员