A recent spate of state-of-the-art semi- and un-supervised solutions disentangle and encode image "content" into a spatial tensor and image appearance or "style" into a vector, to achieve good performance in spatially equivariant tasks (e.g. image-to-image translation). To achieve this, they employ different model design, learning objective, and data biases. While considerable effort has been made to measure disentanglement in vector representations, and assess its impact on task performance, such analysis for (spatial) content - style disentanglement is lacking. In this paper, we conduct an empirical study to investigate the role of different biases in content-style disentanglement settings and unveil the relationship between the degree of disentanglement and task performance. In particular, we consider the setting where we: (i) identify key design choices and learning constraints for three popular content-style disentanglement models; (ii) relax or remove such constraints in an ablation fashion; and (iii) use two metrics to measure the degree of disentanglement and assess its effect on each task performance. Our experiments reveal that there is a "sweet spot" between disentanglement, task performance and - surprisingly - content interpretability, suggesting that blindly forcing for higher disentanglement can hurt model performance and content factors semanticness. Our findings, as well as the used task-independent metrics, can be used to guide the design and selection of new models for tasks where content-style representations are useful.


翻译:最近出现了一系列最先进的半和不受监督的解决方案,将图像“内容”分解并编码成空间拉度和图像外观或向量“风格”以在空间等同任务(如图像到任务翻译)中取得良好表现。为了实现这一点,它们采用了不同的模型设计、学习目标和数据偏差。虽然作出了相当大的努力,以衡量矢量表达中的分解,并评估其对任务业绩的影响,但缺乏对(空间)内容 - 风格分解的分析。在本文件中,我们进行了一项实证研究,以调查不同偏差在内容式分解环境中的作用,或将“风格”转换成向量向量向量,以揭示在空间差异程度和任务绩效之间的关联性关系。特别是,我们考虑了以下背景:(一) 确定三种流行内容类型分错乱模式的关键设计选择和学习限制;(二) 以淡化方式放松或消除这种制约;以及(三) 使用两种度指标衡量(空间) 风格分解度和风格分解的选) 。在本文中,我们用的是,我们所展示的分解性内容和分解性任务时,我们的工作是“我们所使用的,我们所展示的分解性任务—— 我们的实验是用于的分解性任务的分解性任务。

0
下载
关闭预览

相关内容

数字化健康白皮书,17页pdf
专知会员服务
107+阅读 · 2021年1月6日
大数据白皮书(2020年), 72页pdf
专知会员服务
58+阅读 · 2020年12月31日
最新《医学图像深度语义分割》综述论文
专知会员服务
94+阅读 · 2020年6月7日
【实用书】数据科学基础,484页pdf,Foundations of Data Science
专知会员服务
117+阅读 · 2020年5月28日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
1+阅读 · 2021年11月6日
Visualizing and Measuring the Geometry of BERT
Arxiv
7+阅读 · 2019年10月28日
VIP会员
相关VIP内容
数字化健康白皮书,17页pdf
专知会员服务
107+阅读 · 2021年1月6日
大数据白皮书(2020年), 72页pdf
专知会员服务
58+阅读 · 2020年12月31日
最新《医学图像深度语义分割》综述论文
专知会员服务
94+阅读 · 2020年6月7日
【实用书】数据科学基础,484页pdf,Foundations of Data Science
专知会员服务
117+阅读 · 2020年5月28日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员