【牛津大学博士论文】识别和开发可靠的深度学习结构，262页pdf

最近，深度学习研究在包括计算机视觉、自然语言处理和强化学习在内的广泛任务中取得了令人印象深刻的快速进展。这些系统的非凡性能常常给人一种印象，即它们可以用来使我们的生活变得更好。然而，正如最近的研究指出的，这些系统存在一些问题，使其在现实世界中使用不可靠，包括易受对抗性攻击(Szegedy等人[243])，倾向于记忆噪声(Zhang等人[286])，对错误的预测(错误校准)过于自信(Guo等人[99])，以及不适合处理私人数据(Gilad-Bachrach等人[88])。在本分析中，我们将详细研究这些问题，研究它们的原因，并提出在实践中减少它们的计算成本低廉的算法。为此，我们确定了深度神经网络中的结构，可以利用这些结构来减轻上述导致深度学习算法不可靠的原因。在第4章中，我们展示了最小化神经网络中单个权重矩阵的矩阵的一个属性，称为稳定秩，降低了网络记忆噪声的趋势，而不牺牲其在无噪声数据上的性能。在第5章中，我们证明了记忆标签噪声或进行不适当的表示学习使实现对抗鲁棒性成为不可能。第6章表明，神经网络表示空间上的低秩先验增加了神经网络对对抗性扰动的鲁棒性，而在实践中不会导致与精度的任何权衡。在第7章中，我们重点介绍焦点损失(focal loss)的使用，它根据神经网络对每个样本的分类情况，对单个样本的损失分量进行差异加权，作为交叉熵的替代损失函数，以最小化神经网络中的错误校准。在第8章中，我们首先定义了一个名为加密预测即服务(Encrypted Prediction As a Service, EPAAS)的新框架，以及一系列计算和隐私约束。然后，我们提出使用一种完全同态加密[84]方案，该方案可与二元神经网络[61]一起使用，以及一组代数和计算技巧，以满足我们对EPAAS的所有条件，同时计算效率高。

https://ora.ox.ac.uk/objects/uuid:1b9afe07-718b-404a-af25-470d476d5c30