无限维度实时折叠深神经网络 (Infinite-dimensional Folded-in-time Deep Neural Networks)

from arxiv, The manuscript describes a delay system for deep learning (a continuous version of the Fit-DNN method from [1]). The main result is an algorithm for calculating functional derivatives for gradient descent training. We withdraw our paper because we discovered a more efficient existing algorithm in [2]. [1] Stelzer et al., arXiv:2011.10115. [2] Furuhata et al., Phys. Rev. Applied 15, 034092

The method recently introduced in arXiv:2011.10115 realizes a deep neural network with just a single nonlinear element and delayed feedback. It is applicable for the description of physically implemented neural networks. In this work, we present an infinite-dimensional generalization, which allows for a more rigorous mathematical analysis and a higher flexibility in choosing the weight functions. Precisely speaking, the weights are described by Lebesgue integrable functions instead of step functions. We also provide a functional back-propagation algorithm, which enables gradient descent training of the weights. In addition, with a slight modification, our concept realizes recurrent neural networks.

翻译：最近在 arXiv: 2011.10115 中引入的方法实现了一个只有单一非线性元素和延迟反馈的深神经网络。它适用于对实际实施的神经网络的描述。在这项工作中, 我们提出了一个无限的多维概括, 允许进行更严格的数学分析, 并在选择重量函数时有更大的灵活性。确切地说, 权重由 Lebesgue 不可调试的函数描述, 而不是由职级函数描述。我们还提供了功能性反向分析算法, 从而可以对重量进行梯度下移训练。此外, 我们的概念在稍作修改后, 实现了经常性神经网络。

相关内容

Neural Networks

关注 1637

神经网络（Neural Networks）是世界上三个最古老的神经建模学会的档案期刊:国际神经网络学会(INNS)、欧洲神经网络学会(ENNS)和日本神经网络学会(JNNS)。神经网络提供了一个论坛，以发展和培育一个国际社会的学者和实践者感兴趣的所有方面的神经网络和相关方法的计算智能。神经网络欢迎高质量论文的提交，有助于全面的神经网络研究，从行为和大脑建模，学习算法，通过数学和计算分析，系统的工程和技术应用，大量使用神经网络的概念和技术。这一独特而广泛的范围促进了生物和技术研究之间的思想交流，并有助于促进对生物启发的计算智能感兴趣的跨学科社区的发展。因此，神经网络编委会代表的专家领域包括心理学，神经生物学，计算机科学，工程，数学，物理。该杂志发表文章、信件和评论以及给编辑的信件、社论、时事、软件调查和专利信息。文章发表在五个部分之一:认知科学，神经科学，学习系统，数学和计算分析、工程和应用。官网地址：http://dblp.uni-trier.de/db/journals/nn/