We explore the usage of the Levenberg-Marquardt (LM) algorithm for regression (non-linear least squares) and classification (generalized Gauss-Newton methods) tasks in neural networks. We compare the performance of the LM method with other popular first-order algorithms such as SGD and Adam, as well as other second-order algorithms such as L-BFGS , Hessian-Free and KFAC. We further speed up the LM method by using adaptive momentum, learning rate line search, and uphill step acceptance.
翻译：我们探索在神经网络中使用Levenberg-Marquardt(LM)算法来进行回归(非线性最低方)和分类(通用高斯-牛顿方法)任务。我们将LM方法的性能与SGD和Adam等其他受欢迎的一级算法以及L-BFGS、Hessian-free和KFAC等其他二级算法进行比较。我们利用适应性动力、学习率线搜索和上坡步接受等方法,进一步加快LM方法的速度。
相关内容
神经网络（Neural Networks）是世界上三个最古老的神经建模学会的档案期刊:国际神经网络学会(INNS)、欧洲神经网络学会(ENNS)和日本神经网络学会(JNNS)。神经网络提供了一个论坛，以发展和培育一个国际社会的学者和实践者感兴趣的所有方面的神经网络和相关方法的计算智能。神经网络欢迎高质量论文的提交，有助于全面的神经网络研究，从行为和大脑建模，学习算法，通过数学和计算分析，系统的工程和技术应用，大量使用神经网络的概念和技术。这一独特而广泛的范围促进了生物和技术研究之间的思想交流，并有助于促进对生物启发的计算智能感兴趣的跨学科社区的发展。因此，神经网络编委会代表的专家领域包括心理学，神经生物学，计算机科学，工程，数学，物理。该杂志发表文章、信件和评论以及给编辑的信件、社论、时事、软件调查和专利信息。文章发表在五个部分之一:认知科学，神经科学，学习系统，数学和计算分析、工程和应用。
官网地址：http://dblp.uni-trier.de/db/journals/nn/
Arxiv
0+阅读 · 2023年2月23日
Arxiv
0+阅读 · 2023年2月22日
相关VIP内容
相关资讯
相关论文
Arxiv
0+阅读 · 2023年2月23日
Arxiv
0+阅读 · 2023年2月22日
微信扫码咨询专知VIP会员