【CVPR 2022】AME：超参数优化中的注意力和记忆增强，AME: Attention and Memory Enhancement in Hyper-Parameter Optimization

深度神经网络的训练受制于敏感的超参数和不及时的性能评估反馈。针对这两个难点，在深度强化学习的框架下，本文提出了一种高效的并行超参数优化模型，命名为AME。从技术上讲，本文开发了一种注意力和记忆增强结构，能够精准搜索嵌入到巨大搜索空间中的高性能配置。具体地，该结构应用了多头注意力机制和记忆机制，以增强神经网络捕捉不同超参数配置间的短期和长期关系的能力。在AME的优化过程中，本文采用了概念直观但功能强大的Bootstrap策略来解决由于性能评估反馈不及时而导致的样本数量不足的问题。最后，在图像分类、目标检测、语义分割这三个视觉任务上进行实验，证明了AME的有效性。

作者：Nuo Xu, Jianlong Xing, Xing Nie, Shiming Xiang, Chunhong Pan