最近，CLIP引导的图像合成在将预训练的源域生成器适应于未见过的目标域方面表现出了诱人的性能。它不需要任何目标域样本，只需要文本域标签。训练是非常高效的，例如，几分钟。然而，现有方法在生成图像的质量方面仍然存在一定的局限性，并且可能会出现模式崩溃的问题。一个关键的原因是对所有的跨域图像对应用固定的自适应方向，从而导致相同的监督信号。为了解决这个问题，本文提出了一种图像特定提示学习(image -specific Prompt Learning, IPL)方法，为每个源域图像学习特定的提示向量。为每个跨域图像对生成一个更精确的自适应方向，使目标域生成器具有更大的灵活性。不同领域的定性和定量评估表明，IPL有效地提高了合成图像的质量和多样性，缓解了模式崩溃。此外，IPL独立于生成模型的结构，如生成对抗网络或扩散模型。代码可以在https://github.com/Picsart-AI-Research/IPLZero-Shot-Generative-Model-Adaptation上找到。
成为VIP会员查看完整内容
Zero-shot Generative Model Adaptation via Image-specific Prompt Learning
相关内容
CVPR 2023大会将于 6 月 18 日至 22 日在温哥华会议中心举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议，会议的主要内容是计算机视觉与模式识别技术。
CVPR 2023 共收到 9155 份提交，比去年增加了 12%，创下新纪录，今年接收了 2360 篇论文，接收率为 25.78%。作为对比，去年有 8100 多篇有效投稿，大会接收了 2067 篇，接收率为 25%。
专知会员服务
33+阅读 · 2020年6月19日
Arxiv
0+阅读 · 2023年5月24日
Arxiv
0+阅读 · 2023年5月23日
Arxiv
36+阅读 · 2023年4月19日
相关VIP内容
专知会员服务
33+阅读 · 2020年6月19日
相关资讯
相关论文
Arxiv
0+阅读 · 2023年5月24日
Arxiv
0+阅读 · 2023年5月23日
Arxiv
36+阅读 · 2023年4月19日
微信扫码咨询专知VIP会员