Deep neural networks (DNNs) have received tremendous attention and achieved great success in various applications, such as image and video analysis, natural language processing, recommendation systems, and drug discovery. However, inherent uncertainties derived from different root causes have been realized as serious hurdles for DNNs to find robust and trustworthy solutions for real-world problems. A lack of consideration of such uncertainties may lead to unnecessary risk. For example, a self-driving autonomous car can misdetect a human on the road. A deep learning-based medical assistant may misdiagnose cancer as a benign tumor. In this work, we study how to measure different uncertainty causes for DNNs and use them to solve diverse decision-making problems more effectively. In the first part of this thesis, we develop a general learning framework to quantify multiple types of uncertainties caused by different root causes, such as vacuity (i.e., uncertainty due to a lack of evidence) and dissonance (i.e., uncertainty due to conflicting evidence), for graph neural networks. We provide a theoretical analysis of the relationships between different uncertainty types. We further demonstrate that dissonance is most effective for misclassification detection and vacuity is most effective for Out-of-Distribution (OOD) detection. In the second part of the thesis, we study the significant impact of OOD objects on semi-supervised learning (SSL) for DNNs and develop a novel framework to improve the robustness of existing SSL algorithms against OODs. In the last part of the thesis, we create a general learning framework to quantity multiple uncertainty types for multi-label temporal neural networks. We further develop novel uncertainty fusion operators to quantify the fused uncertainty of a subsequence for early event detection.


翻译:深度神经网络在图像和视频分析、自然语言处理、推荐系统和药物发现等各方面应用广泛,但来自不同根源的内在不确定性成为深度神经网络寻找强健、可信解决方案的严重障碍。忽略这种不确定性可能会带来无谓的风险,例如自动驾驶汽车可能发生人行道上不明人物检测错误,深度学习为基础的医疗助手可能将癌症诊断为良性肿瘤。本研究旨在研究如何衡量DNN中的不同不确定性因素并利用它们更有效地解决各种决策问题。第一部分中,我们提出了针对图神经网络多种不同根源造成的多个不确定度量化方法的学习框架,如空虚(即由于缺乏证据导致的不确定性)和冲突(即由于相互冲突的证据导致的不确定性)。我们提供了不同不确定性类型之间关系的理论分析。我们进一步证明了,与其他类型不确定相关,冲突对于误分类检测最为有效,而空虚对于超出分布范围的检测最为有效。在论文的第二部分中,我们研究了过度的类别对深度学习半监督学习(SSL)的重要影响,并开发了一种新的框架来提高现有SSL算法对超出分布范围对象的鲁棒性。在该论文的最后部分,我们创建了一个学习框架,针对多标签时间神经网络量化多种不确定性类型,并制定了新型不确定度融合操作符,以量化子序列的融合不确定性,以实现早期事件检测。

0
下载
关闭预览

相关内容

专知会员服务
44+阅读 · 2020年10月31日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
深度学习医学图像分析文献集
机器学习研究会
18+阅读 · 2017年10月13日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
30+阅读 · 2021年7月7日
Arxiv
25+阅读 · 2021年3月20日
Arxiv
17+阅读 · 2020年11月15日
VIP会员
相关VIP内容
专知会员服务
44+阅读 · 2020年10月31日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
深度学习医学图像分析文献集
机器学习研究会
18+阅读 · 2017年10月13日
相关基金
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员