最近,深度学习研究在包括计算机视觉、自然语言处理和强化学习在内的广泛任务中取得了令人印象深刻的快速进展。这些系统的非凡性能常常给人一种印象,即它们可以用来使我们的生活变得更好。然而,正如最近的研究指出的,这些系统存在一些问题,使其在现实世界中使用不可靠,包括易受对抗性攻击(Szegedy等人[243]),倾向于记忆噪声(Zhang等人[286]),对错误的预测(错误校准)过于自信(Guo等人[99]),以及不适合处理私人数据(Gilad-Bachrach等人[88])。在本分析中,我们将详细研究这些问题,研究它们的原因,并提出在实践中减少它们的计算成本低廉的算法。为此,我们确定了深度神经网络中的结构,可以利用这些结构来减轻上述导致深度学习算法不可靠的原因。在第4章中,我们展示了最小化神经网络中单个权重矩阵的矩阵的一个属性,称为稳定秩,降低了网络记忆噪声的趋势,而不牺牲其在无噪声数据上的性能。在第5章中,我们证明了记忆标签噪声或进行不适当的表示学习使实现对抗鲁棒性成为不可能。第6章表明,神经网络表示空间上的低秩先验增加了神经网络对对抗性扰动的鲁棒性,而在实践中不会导致与精度的任何权衡。在第7章中,我们重点介绍焦点损失(focal loss)的使用,它根据神经网络对每个样本的分类情况,对单个样本的损失分量进行差异加权,作为交叉熵的替代损失函数,以最小化神经网络中的错误校准。在第8章中,我们首先定义了一个名为加密预测即服务(Encrypted Prediction As a Service, EPAAS)的新框架,以及一系列计算和隐私约束。然后,我们提出使用一种完全同态加密[84]方案,该方案可与二元神经网络[61]一起使用,以及一组代数和计算技巧,以满足我们对EPAAS的所有条件,同时计算效率高。

https://ora.ox.ac.uk/objects/uuid:1b9afe07-718b-404a-af25-470d476d5c30

成为VIP会员查看完整内容
29

相关内容

牛津大学是一所英国研究型大学,也是罗素大学集团、英国“G5超级精英大学”,欧洲顶尖大学科英布拉集团、欧洲研究型大学联盟的核心成员。牛津大学培养了众多社会名人,包括了27位英国首相、60位诺贝尔奖得主以及数十位世界各国的皇室成员和政治领袖。2016年9月,泰晤士高等教育发布了2016-2017年度世界大学排名,其中牛津大学排名第一。

【牛津大学博士论文】鲁棒神经网络:评估与构建
专知会员服务
25+阅读 · 10月23日
【博士论文】多任务学习视觉场景理解,140页pdf
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
36+阅读 · 2021年10月4日
Arxiv
10+阅读 · 2021年8月19日
Arxiv
22+阅读 · 2021年7月7日
Arxiv
25+阅读 · 2020年12月24日
Deep Learning in Video Multi-Object Tracking: A Survey
Arxiv
49+阅读 · 2019年7月31日
Deep Face Recognition: A Survey
Arxiv
14+阅读 · 2019年2月12日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
相关论文
Arxiv
36+阅读 · 2021年10月4日
Arxiv
10+阅读 · 2021年8月19日
Arxiv
22+阅读 · 2021年7月7日
Arxiv
25+阅读 · 2020年12月24日
Deep Learning in Video Multi-Object Tracking: A Survey
Arxiv
49+阅读 · 2019年7月31日
Deep Face Recognition: A Survey
Arxiv
14+阅读 · 2019年2月12日
微信扫码咨询专知VIP会员