We propose a novel approach for preserving topological structures of the input space in latent representations of autoencoders. Using persistent homology, a technique from topological data analysis, we calculate topological signatures of both the input and latent space to derive a topological loss term. Under weak theoretical assumptions, we construct this loss in a differentiable manner, such that the encoding learns to retain multi-scale connectivity information. We show that our approach is theoretically well-founded and that it exhibits favourable latent representations on a synthetic manifold as well as on real-world image data sets, while preserving low reconstruction errors.


翻译:我们提出了一种新颖的方法来保护输入空间的表层结构,将其保存在自动转换器的潜在代表中。我们利用持续同质学(一种来自地形数据分析的技术)来计算输入空间和潜在空间的表层特征,以得出一个表层损失的术语。在薄弱的理论假设下,我们用不同的方式构建了这一损失,这样编码就可以学会保留多尺度的连接信息。我们表明,我们的方法在理论上是有充分根据的,在合成元体和真实世界图像数据集上都表现出有利的潜在特征,同时保留了较低的重建错误。

1
下载
关闭预览

相关内容

自动编码器是一种人工神经网络,用于以无监督的方式学习有效的数据编码。自动编码器的目的是通过训练网络忽略信号“噪声”来学习一组数据的表示(编码),通常用于降维。与简化方面一起,学习了重构方面,在此,自动编码器尝试从简化编码中生成尽可能接近其原始输入的表示形式,从而得到其名称。基本模型存在几种变体,其目的是迫使学习的输入表示形式具有有用的属性。自动编码器可有效地解决许多应用问题,从面部识别到获取单词的语义。
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
131+阅读 · 2020年7月10日
因果图,Causal Graphs,52页ppt
专知会员服务
248+阅读 · 2020年4月19日
【反馈循环自编码器】FEEDBACK RECURRENT AUTOENCODER
专知会员服务
23+阅读 · 2020年1月28日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
已删除
将门创投
7+阅读 · 2018年8月28日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2020年11月25日
Arxiv
6+阅读 · 2018年4月4日
Arxiv
6+阅读 · 2018年1月29日
Arxiv
3+阅读 · 2018年1月10日
Arxiv
9+阅读 · 2018年1月4日
Arxiv
3+阅读 · 2017年7月6日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
已删除
将门创投
7+阅读 · 2018年8月28日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
0+阅读 · 2020年11月25日
Arxiv
6+阅读 · 2018年4月4日
Arxiv
6+阅读 · 2018年1月29日
Arxiv
3+阅读 · 2018年1月10日
Arxiv
9+阅读 · 2018年1月4日
Arxiv
3+阅读 · 2017年7月6日
Top
微信扫码咨询专知VIP会员