Multilayer-perceptrons (MLP) are known to struggle with learning functions of high-frequencies, and in particular cases with wide frequency bands. We present a spatially adaptive progressive encoding (SAPE) scheme for input signals of MLP networks, which enables them to better fit a wide range of frequencies without sacrificing training stability or requiring any domain specific preprocessing. SAPE gradually unmasks signal components with increasing frequencies as a function of time and space. The progressive exposure of frequencies is monitored by a feedback loop throughout the neural optimization process, allowing changes to propagate at different rates among local spatial portions of the signal space. We demonstrate the advantage of SAPE on a variety of domains and applications, including regression of low dimensional signals and images, representation learning of occupancy networks, and a geometric task of mesh transfer between 3D shapes.


翻译:多层接收器(MLP)已知要与高频的学习功能,特别是频带宽频带的学习功能挣扎。我们为 MLP 网络输入信号提出了一个空间适应性累进编码(SAPE)计划(SAPE)计划(SAPE)计划(SAPE)计划(SAPE)计划(SAPE)旨在让这些网络更好地适应广泛的频率,而不会牺牲培训稳定性或要求任何特定领域的预处理。SAPE 逐步解除模具信号组件,增加频率是时间和空间的函数。通过神经优化过程中的反馈循环监测频率的逐步接触,允许信号空间的局部空间以不同的速度传播变化。我们展示了SAPE在各种领域和应用方面的优势,包括低维信号和图像的回归、占用网络的学习以及3D形状之间的网形传输的几何性任务。

0
下载
关闭预览

相关内容

【Cell】神经算法推理,Neural algorithmic reasoning
专知会员服务
28+阅读 · 2021年7月16日
专知会员服务
60+阅读 · 2020年3月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
已删除
将门创投
6+阅读 · 2017年11月27日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
7+阅读 · 2020年6月29日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
3+阅读 · 2018年8月12日
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
已删除
将门创投
6+阅读 · 2017年11月27日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
7+阅读 · 2020年6月29日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
3+阅读 · 2018年8月12日
Arxiv
10+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员