每日论文 | 基于模型的主动探索；实现权重衰减正则化的三种机制；基于注意力的自动图形代码生成器

1

Model-Based Active Exploration

在强化学习中，如何进行高效的探索一直是个难题。在这篇论文中，我们提出了基于模型的主动探索（MAX），这种算法能主动了解环境。它能用尽可能少的数据对环境进行全面建模，通过计划性地观察新事物，而不是仅仅对新事物最初反应。

地址：https://arxiv.org/abs/1810.12162

2

Three Mechanisms of Weight Decay Regularization

权重衰减是神经网络工具箱中常见问题，但是人们尚不清楚它的正则化的影响，并且最近对L2正则化的传统解释也受到了质疑。我们在三种优化算法（SGD、Adam和K-FAC）以及其他网络架构上进行了权重衰减的实证调查，我们发现了三种明显的实现正则化的机制：提高有效学习率、输入-输出雅克比范数近似正则化、减小二阶优化有效阻尼系数。

地址：https://arxiv.org/abs/1810.12281

3

Automatic Graphics Program Generation using Attention-Based Hierarchical Decoder

目前，深度学习技术可以将图形用户界面屏幕截图用编码-解码器框架转换成代码。虽然常用的图像解码器可以将图像特征提取到理想水平，但是将这些抽象的图像特征编译成上百个代码字符确实很困难的。由于用来描述图形用户界面的代码通常是分层的结构，我们提出了一种新的基于注意力的分层代码生成模型，可以对图形用户界面详细地表述出来，同时也能生成分层代码。

地址：https://arxiv.org/abs/1810.11536