Virtual furniture synthesis, which seamlessly integrates reference objects into indoor scenes while maintaining geometric coherence and visual realism, holds substantial promise for home design and e-commerce applications. However, this field remains underexplored due to the scarcity of reproducible benchmarks and the limitations of existing image composition methods in achieving high-fidelity furniture synthesis while preserving background integrity. To overcome these challenges, we first present RoomBench++, a comprehensive and publicly available benchmark dataset tailored for this task. It consists of 112,851 training pairs and 1,832 testing pairs drawn from both real-world indoor videos and realistic home design renderings, thereby supporting robust training and evaluation under practical conditions. Then, we propose RoomEditor++, a versatile diffusion-based architecture featuring a parameter-sharing dual diffusion backbone, which is compatible with both U-Net and DiT architectures. This design unifies the feature extraction and inpainting processes for reference and background images. Our in-depth analysis reveals that the parameter-sharing mechanism enforces aligned feature representations, facilitating precise geometric transformations, texture preservation, and seamless integration. Extensive experiments validate that RoomEditor++ is superior over state-of-the-art approaches in terms of quantitative metrics, qualitative assessments, and human preference studies, while highlighting its strong generalization to unseen indoor scenes and general scenes without task-specific fine-tuning. The dataset and source code are available at \url{https://github.com/stonecutter-21/roomeditor}.


翻译:虚拟家具合成能够将参考物体无缝集成到室内场景中,同时保持几何一致性和视觉真实感,在家居设计和电子商务应用中具有广阔前景。然而,由于可复现基准的缺乏以及现有图像合成方法在实现高保真家具合成并保持背景完整性方面的局限性,该领域仍待深入探索。为克服这些挑战,我们首先提出了RoomBench++,一个专为此任务构建的全面且公开可用的基准数据集。该数据集包含从真实室内视频和逼真家居设计渲染中提取的112,851个训练对和1,832个测试对,从而支持实际场景下的鲁棒训练与评估。随后,我们提出了RoomEditor++,一种基于扩散的通用架构,其采用参数共享的双扩散主干网络,兼容U-Net和DiT架构。该设计统一了参考图像与背景图像的特征提取和修复过程。我们的深入分析表明,参数共享机制强制对齐特征表示,有助于实现精确的几何变换、纹理保持与无缝融合。大量实验验证表明,RoomEditor++在定量指标、定性评估和人工偏好研究中均优于现有先进方法,同时突显了其在未经任务特定微调的情况下,对未见室内场景及通用场景的强大泛化能力。数据集与源代码公开于\url{https://github.com/stonecutter-21/roomeditor}。

0
下载
关闭预览

相关内容

专知会员服务
22+阅读 · 2021年8月20日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
Polygon-RNN++图像分割数据集自动标注
论智
10+阅读 · 2018年8月16日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员