题目： Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization
简介：
在过去的十年中，深度学习证明了计算机视觉和自然语言处理所带来的挑战的最新准确性，从而使这些领域发生了革命性变化。深度学习模型现在是自动驾驶，医学成像和神经机器翻译等应用程序的基本构建块。但是，在生产中部署这些模型时，仍然存在许多挑战。研究人员和从业人员必须解决各种各样的问题，包括如何有效地设计，培训和部署资源密集型深度学习模型，以及如何在确保对变化条件的鲁棒性的同时使这些方法自动化。本文提供并评估了提高深度学习训练和推理效率以及底层系统对环境变化的鲁棒性的新方法。我们通过关注为优化模型的准确性和资源使用而优化的许多超参数来解决这些问题。这些超参数包括模型架构的选择，训练数据集，优化算法，优化算法的超参数（例如学习率和动量）以及训练时间预算。当前，在实践中，几乎所有超参数在训练之前都进行了一次调整，此后保持不变，然而最佳的超参数值会随时间变化（例如，随着训练的进行或替换用于推理的硬件时）。我们将动态调整应用于传统上被认为是静态的超参数。通过三个案例研究，我们表明，使用运行时信息来动态适应传统上静态的超参数可以提高机器学习训练和推理的效率。 首先，我们提出并分析Selective-Backprop，这是一种新的重要采样方法，它以在线方式对高损失示例进行优先排序。在Selective-Backprop中，被认为具有挑战性的示例是可调超参数。通过优先处理这些具有挑战性的示例，Selective-Backprop可以将给定的目标错误率训练到比静态方法快3.5倍的目标。接下来，我们探索AdaptSB，它是Selective-Backprop的变体，可以动态调整我们对具有挑战性的示例进行优先级排序的方式。在“选择性反向传播”中，分配给难度不同示例的优先级保持不变。在AdaptSB中，我们将分配给不同类别示例的优先级视为可调超参数。通过对数据集和训练阶段动态地调整示例优先级，AdaptSB在出现标签错误的数据集上表现优于Selective-Backprop。 最后，我们提出并分析了Mainstream，这是一种视频分析系统，可让并发应用共享共享边缘资源，以最大程度地提高汇总结果质量。在Mainstream中，我们认为应用程序共享的程度是一个可调参数。 Mainstream在部署时使用更专业的DNN自动确定正确的权衡方案，以提高每帧的准确性并保留更多的非专业基础模型。结果显示，与静态ap方法相比，Mainstream将平均事件检测F1分数提高了多达87倍。
相关内容
微信扫码咨询专知VIP会员