连续时间神经网络是一类机器学习系统，可以处理时空决策任务的表示学习。这些模型通常用连续微分方程表示。然而，当它们被部署到计算机上时，它们的表达能力被数值微分方程求解器所限制。这种限制明显地减缓了对许多自然物理现象(如神经系统动力学)的扩展和理解。理想情况下，我们可以通过求解封闭形式的给定动力系统来绕过这个瓶颈。这是众所周知的棘手问题。在这里，我们展示了神经元和突触之间的相互作用是有可能接近的，突触是自然和人工神经网络的组成部分，由液体时间常数网络以封闭的形式高效地构建。为此，我们计算了液体时间常数动力学中出现的一个积分解的紧密边界近似解，该积分解迄今为止还没有已知的封闭解。这种封闭解影响了连续时间和连续深度神经模型的设计。例如，由于时间以封闭形式显式地出现，这个公式放松了对复杂数值求解器的需要。因此，与基于微分方程的对应模型相比，我们得到的模型在训练和推理方面要快1到5个数量级。更重要的是，与基于常微分方程的连续网络相比，与其他深度学习实例相比，闭型网络具有显著的扩展性。最后，由于这些模型来源于液体网络，与先进的循环神经网络模型相比，它们在时间序列建模中表现出了良好的性能。
https://www.nature.com/articles/s42256-022-00556-7
成为VIP会员查看完整内容
Closed-form continuous-time neural networks
相关内容
人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
Arxiv
11+阅读 · 2022年12月1日
Arxiv
77+阅读 · 2019年11月10日
相关VIP内容
相关资讯
相关论文
Arxiv
11+阅读 · 2022年12月1日
Arxiv
77+阅读 · 2019年11月10日
微信扫码咨询专知VIP会员