The connection between training deep neural networks (DNNs) and optimal control theory (OCT) has attracted considerable attention as a principled tool of algorithmic design. Despite few attempts being made, they have been limited to architectures where the layer propagation resembles a Markovian dynamical system. This casts doubts on their flexibility to modern networks that heavily rely on non-Markovian dependencies between layers (e.g. skip connections in residual networks). In this work, we propose a novel dynamic game perspective by viewing each layer as a player in a dynamic game characterized by the DNN itself. Through this lens, different classes of optimizers can be seen as matching different types of Nash equilibria, depending on the implicit information structure of each (p)layer. The resulting method, called Dynamic Game Theoretic Neural Optimizer (DGNOpt), not only generalizes OCT-inspired optimizers to richer network class; it also motivates a new training principle by solving a multi-player cooperative game. DGNOpt shows convergence improvements over existing methods on image classification datasets with residual and inception networks. Our work marries strengths from both OCT and game theory, paving ways to new algorithmic opportunities from robust optimal control and bandit-based optimization.


翻译:培训深心神经网络(DNNS)和最佳控制理论(OCT)之间的联系吸引了相当的注意,这是算法设计的一项原则工具。尽管没有做多少尝试,但仅限于层传播类似于Markovian动态系统的架构。这使人们怀疑这些网络对于高度依赖不同层之间非马尔科尼依赖的现代网络的灵活性,这些网络在很大程度上依赖不同层之间的非马尔科尼依赖(例如在剩余网络中跳过剩余网络的连接)。在这项工作中,我们提出一个新的动态游戏视角,将每一层看成以DNNNN本身为特点的动态游戏游戏中的玩家,从而提出新的动态游戏视角。通过这个镜头,不同类别的优化器类可以被视为匹配不同种类的Nash equilibria,这取决于每个(p)层的隐隐隐含信息结构。由此形成的方法,称为动态游戏理论性理论神经控制器(DGNOpt),不仅将OCT激发优化优化优化优化优化优化优化优化的优化者优化到网络类;它还通过解决多玩人合作游戏来激发新的培训原则,从而激励新的培训原则。DGNOp 显示现有方法在与保留和初始网络和初始网络的图像分类数据集和初始网络的图像分类数据集化数据设置上,我们最强的游戏控制力、从O-最强的拉的游戏中,以及最佳的拉将强的强的拉将强的强的强强的强的强的强的强的强的强的强的强的强的强力力力。

0
下载
关闭预览

相关内容

【Cell】神经算法推理,Neural algorithmic reasoning
专知会员服务
28+阅读 · 2021年7月16日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
0+阅读 · 2021年8月6日
Arxiv
15+阅读 · 2021年6月27日
Arxiv
7+阅读 · 2020年6月29日
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Simplifying Graph Convolutional Networks
Arxiv
12+阅读 · 2019年2月19日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
6+阅读 · 2018年10月3日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
相关论文
Arxiv
0+阅读 · 2021年8月6日
Arxiv
15+阅读 · 2021年6月27日
Arxiv
7+阅读 · 2020年6月29日
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Simplifying Graph Convolutional Networks
Arxiv
12+阅读 · 2019年2月19日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
6+阅读 · 2018年10月3日
Top
微信扫码咨询专知VIP会员