【Nature machine intelligence】闭型连续时间神经网络

连续时间神经网络是一类机器学习系统，可以处理时空决策任务的表示学习。这些模型通常用连续微分方程表示。然而，当它们被部署到计算机上时，它们的表达能力被数值微分方程求解器所限制。这种限制明显地减缓了对许多自然物理现象(如神经系统动力学)的扩展和理解。理想情况下，我们可以通过求解封闭形式的给定动力系统来绕过这个瓶颈。这是众所周知的棘手问题。在这里，我们展示了神经元和突触之间的相互作用是有可能接近的，突触是自然和人工神经网络的组成部分，由液体时间常数网络以封闭的形式高效地构建。为此，我们计算了液体时间常数动力学中出现的一个积分解的紧密边界近似解，该积分解迄今为止还没有已知的封闭解。这种封闭解影响了连续时间和连续深度神经模型的设计。例如，由于时间以封闭形式显式地出现，这个公式放松了对复杂数值求解器的需要。因此，与基于微分方程的对应模型相比，我们得到的模型在训练和推理方面要快1到5个数量级。更重要的是，与基于常微分方程的连续网络相比，与其他深度学习实例相比，闭型网络具有显著的扩展性。最后，由于这些模型来源于液体网络，与先进的循环神经网络模型相比，它们在时间序列建模中表现出了良好的性能。

https://www.nature.com/articles/s42256-022-00556-7

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“CFTN” 就可以获取《【Nature machine intelligence】闭型连续时间神经网络》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料