Recently, the interpretability of deep learning has attracted a lot of attention. A plethora of methods have attempted to explain neural networks by feature visualization, saliency maps, model distillation, and so on. However, it is hard for these methods to reveal the intrinsic properties of neural networks. In this work, we studied the 1-D optimal piecewise linear approximation (PWLA) problem, and associated it with a designed neural network, named lattice neural network (LNN). We asked four essential questions as following: (1) What are the characters of the optimal solution of the PWLA problem? (2) Can an LNN converge to the global optimum? (3) Can an LNN converge to the local optimum? (4) Can an LNN solve the PWLA problem? Our main contributions are that we propose the theorems to characterize the optimal solution of the PWLA problem and present the LNN method for solving it. We evaluated the proposed LNNs on approximation tasks, forged an empirical method to improve the performance of LNNs. The experiments verified that our LNN method is competitive with the start-of-the-art method.


翻译:最近,深层学习的可解释性引起了人们的极大关注。 大量的方法试图通过地貌化、突出的地图、模型蒸馏等来解释神经网络。 然而,这些方法很难揭示神经网络的内在特性。 在这项工作中,我们研究了1-D最佳的片断线性近似(PWLA)问题,并将它与一个设计的神经网络(名为lattice神经网络)联系起来。 我们提出了以下四个基本问题:(1) 最佳解决PWLA问题的方法有哪些特点? (2) LNNN能否与全球最佳办法融合? (3) LNNN能否与当地最佳办法融合?(4) LNN能解决PWLA问题吗? 我们的主要贡献是,我们提出理论来说明最佳解决PWLA问题的方法,并提出解决LNN的方法。 我们评估了拟议的关于近似任务的LNNN(LN)方法,并形成了一种经验性方法来改进LNNW的绩效。 实验证实,我们的LNNN方法与开始的方法具有竞争力。

0
下载
关闭预览

相关内容

神经网络(Neural Networks)是世界上三个最古老的神经建模学会的档案期刊:国际神经网络学会(INNS)、欧洲神经网络学会(ENNS)和日本神经网络学会(JNNS)。神经网络提供了一个论坛,以发展和培育一个国际社会的学者和实践者感兴趣的所有方面的神经网络和相关方法的计算智能。神经网络欢迎高质量论文的提交,有助于全面的神经网络研究,从行为和大脑建模,学习算法,通过数学和计算分析,系统的工程和技术应用,大量使用神经网络的概念和技术。这一独特而广泛的范围促进了生物和技术研究之间的思想交流,并有助于促进对生物启发的计算智能感兴趣的跨学科社区的发展。因此,神经网络编委会代表的专家领域包括心理学,神经生物学,计算机科学,工程,数学,物理。该杂志发表文章、信件和评论以及给编辑的信件、社论、时事、软件调查和专利信息。文章发表在五个部分之一:认知科学,神经科学,学习系统,数学和计算分析、工程和应用。 官网地址:http://dblp.uni-trier.de/db/journals/nn/
专知会员服务
50+阅读 · 2020年12月14日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
已删除
将门创投
6+阅读 · 2019年4月22日
VIP会员
相关资讯
已删除
将门创投
6+阅读 · 2019年4月22日
Top
微信扫码咨询专知VIP会员