【多伦多大学博士论文】深度学习中的训练效率和鲁棒性

深度学习彻底改变了机器学习和人工智能，在几个标准基准上取得了超人的表现。众所周知，深度学习模型训练效率低;它们通过多次处理数以百万计的训练数据来学习，并且需要强大的计算资源来同时并行处理大量数据，而不是顺序处理。深度学习模型也存在非预期失效模式;他们可能会被愚弄，做出错误的预测。

在本文中，我们研究了提高深度学习模型训练效率和鲁棒性的方法。在学习视觉语义嵌入的背景下，我们发现优先学习更多的信息训练数据可以提高收敛速度和提高测试数据的泛化性能。我们形式化了一个简单的技巧，称为硬负挖掘，作为学习目标函数的修改，没有计算开销。接下来，我们在深度学习的通用优化方法中寻求优化速度的改进。我们展示了对训练数据采样的冗余感知修改提高了训练速度，并开发了一种检测训练信号多样性的有效方法，即梯度聚类。最后，我们研究了深度学习中的对抗鲁棒性，以及在不使用额外数据训练的情况下实现最大对抗鲁棒性的方法。对于线性模型，我们证明保证最大的鲁棒性实现只有通过适当的选择优化器，正则化，或架构。

https://arxiv.org/pdf/2112.01423.pdf