【牛津大学博士论文】识别和开发可靠的深度学习结构，262页pdf

最近，深度学习研究在包括计算机视觉、自然语言处理和强化学习在内的广泛任务中取得了令人印象深刻的快速进展 。这些系统的非凡性能常常给人一种印象，即它们可以用来使我们的生活变得更好。然而，正如最近的研究指出的，这些系统存在一些问题，使其在现实世界中使用不可靠，包括易受对抗性攻击(Szegedy等人[243])，倾向于记忆噪声(Zhang等人[286])，对错误的预测(错误校准)过于自信(Guo等人[99])，以及不适合处理私人数据(Gilad-Bachrach等人[88])。在本分析中，我们将详细研究这些问题，研究它们的原因，并提出在实践中减少它们的计算成本低廉的算法。

为此，我们确定了深度神经网络中的结构，可以利用这些结构来减轻上述导致深度学习算法不可靠的原因。在第4章中，我们展示了最小化神经网络中单个权重矩阵的矩阵的一个属性，称为稳定秩，降低了网络记忆噪声的趋势，而不牺牲其在无噪声数据上的性能。

在第5章中，我们证明了记忆标签噪声或进行不适当的表示学习使实现对抗鲁棒性成为不可能。第6章表明，神经网络表示空间上的低秩先验增加了神经网络对对抗性扰动的鲁棒性，而在实践中不会导致与精度的任何权衡。

在第7章中，我们重点介绍焦点损失(focal loss)的使用，它根据神经网络对每个样本的分类情况，对单个样本的损失分量进行差异加权，作为交叉熵的替代损失函数，以最小化神经网络中的错误校准。

在第8章中，我们首先定义了一个名为加密预测即服务(Encrypted Prediction As a Service, EPAAS)的新框架，以及一系列计算和隐私约束。然后，我们提出使用一种完全同态加密[84]方案，该方案可与二元神经网络[61]一起使用，以及一组代数和计算技巧，以满足我们对EPAAS的所有条件，同时计算效率高。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“R262” 就可以获取《【【牛津大学博士论文】识别和开发可靠的深度学习结构，262页pdf》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料