Neural implicit functions are highly effective for representing many kinds of data, including images and 3D shapes. However, the implicit functions learned by neural networks usually include over-smoothed patches or noisy artifacts into the results if the data has many scales of details or a wide range of frequencies. Adapting the result containing both noise and over-smoothed regions usually suffers from either over smoothing or noisy issues. To overcome this challenge, we propose a new framework, coined FINN, that integrates a filtering module into the neural network to perform data generation while filtering artifacts. The filtering module has a smoothing operator that acts on the intermediate results of the network and a recovering operator that brings distinct details from the input back to the regions overly smoothed. The proposed method significantly alleviates over smoothing or noisy issues. We demonstrate the advantage of the FINN on the image regression task, considering both real-world and synthetic images, and showcases significant improvement on both quantitative and qualitative results compared to state-of-the-art methods. Moreover, FINN yields better performance in both convergence speed and network stability. Source code is available at https://github.com/yixin26/FINN.


翻译:神经隐含功能对于代表多种数据(包括图像和3D形状)非常有效。然而,神经网络所学的隐含功能通常包括过度移动的补丁或噪声制品,如果数据包含许多细节或频率范围很广,则这些隐含功能通常包括过度移动的补丁或噪音制品。调整含有噪音和过度拥挤区域的结果通常存在过于平滑或吵闹的问题。为了克服这一挑战,我们提议一个新的框架,即硬化的FINN,将过滤模块纳入神经网络,以便在过滤文物的同时进行数据生成。过滤模块有一个顺畅的操作器,对网络的中间结果采取行动,而恢复操作器则从输入到过于平滑的地区提供不同的细节。拟议方法大大缓解了平滑或吵闹的问题。我们展示了FINN在图像回归任务方面的优势,既考虑到真实世界图像,又考虑到合成图像,并展示了与艺术状态方法相比在定量和定性结果方面的显著改进。此外,FINN的过滤模块在趋同速度和网络稳定性两方面都有更好的性。源码可在 http://Nsix/FINDOR/FIN。

0
下载
关闭预览

相关内容

最新《Transformers模型》教程,64页ppt
专知会员服务
314+阅读 · 2020年11月26日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
79+阅读 · 2020年7月26日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
165+阅读 · 2020年3月18日
强化学习最新教程,17页pdf
专知会员服务
177+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
讲座报名丨 ICML专场
THU数据派
0+阅读 · 2021年9月15日
会议交流 | IJCKG: International Joint Conference on Knowledge Graphs
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
【推荐】用TensorFlow实现LSTM社交对话股市情感分析
机器学习研究会
11+阅读 · 2018年1月14日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
国家自然科学基金
3+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Simplicial Attention Networks
Arxiv
0+阅读 · 2022年4月20日
Salient Objects in Clutter
Arxiv
0+阅读 · 2022年4月18日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
26+阅读 · 2018年2月27日
VIP会员
相关资讯
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
讲座报名丨 ICML专场
THU数据派
0+阅读 · 2021年9月15日
会议交流 | IJCKG: International Joint Conference on Knowledge Graphs
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
【推荐】用TensorFlow实现LSTM社交对话股市情感分析
机器学习研究会
11+阅读 · 2018年1月14日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
相关论文
相关基金
国家自然科学基金
3+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员