在实际情况下,决策面临很多不确定性状况,如何量化这些不确定性以及进行推理是个很关键的问题。最近来自弗吉尼亚理工最新《不确定性推理与量化的决策研究综述》,51页pdf阐述信念理论与深度学习结合下的不确定性决策,值得关注!

深入理解不确定性是在不确定性下做出有效决策的第一步。深度/机器学习(ML/DL)在解决涉及处理高维数据的复杂问题方面发挥了巨大作用。然而,与其他人工智能(AI)领域相比,ML/DL中对不同类型的不确定性进行推理和量化以实现有效决策的研究要少得多。特别是自20世纪60年代以来,KRR研究了信念/证据理论,以推理和衡量不确定性,以提高决策有效性。我们发现,只有少数研究利用ML/DL中信念/证据理论中成熟的不确定性研究来解决不同类型不确定性下的复杂问题。在这篇综述论文中,我们讨论了几种流行的关于不确定性原因和类型的信念理论及其核心思想,并对它们进行了量化,并讨论了它们在ML/DL中的适用性。此外,我们讨论了利用深度神经网络(DNNs)中的信念理论的三种主要方法,包括证据型DNNs、模糊型DNNs和粗糙型DNNs,就它们的不确定性原因、类型、量化方法及其在不同问题领域的适用性进行了讨论。在深入调研的基础上,我们讨论了目前最先进的连接信念理论与ML/DL的见解、经验教训、局限性以及未来的研究方向。

https://www.zhuanzhi.ai/paper/5ffe9344a3d2d7ed61531d9d1fcb859f

在各种业务流程和我们的私人生活中,我们面临着各种各样的决策,涉及多种选择和相对的不确定性。对不确定性的清晰认识是进行合理有效的决策的先决条件。尽管不确定性下的推理和决策问题已经在包括信念/证据理论、博弈论和机器/深度学习(ML/DL)在内的各种人工智能(AI)领域研究了几十年,但基于其根本原因的不确定性的不同表现尚未得到深入研究。互联网和大数据时代带来了大量可以用于决策的信息。在这种情况下,对及时、准确的决策的挑战不再是缺乏信息,而是缺乏对不可靠、不完整、具有欺骗性和相互冲突的信息所带来的内在不确定性的理解和管理的风险。

在人工智能中,一系列研究不确定性下的推理和/或决策的信念或证据理论有着悠久的历史。然而,人们对不确定性的理解仍然有限,因为不确定性不仅仅是由于缺乏证据或不可预测性造成的。此外,ML/DL算法还考虑了不确定性(如任意不确定性或认知不确定性),为有效决策提供解决方案。然而,对于多维不确定性,即使在追求有效决策的共同目标时,每个领域对不确定性的理解都是不同的和/或有限的,对多维不确定性没有共同的、坚实的理解。

我们的综述论文旨在对一系列信念模型进行深入的调研,并引入一个新的解决域,利用信念/证据理论中的不确定性研究来开发ML/DL解决方案,以实现有效的决策。我们特别感兴趣的是量化由不同根本原因引起的不同类型的不确定性。这将有助于ML/DL提供解决方案,通过提供不确定性是如何产生的,背后的原因是什么,以及最终它如何影响决策的有效性,从而满足可解释AI,即所谓的XAI。最先进的决策研究已经充分认识到考虑不确定性对有效决策的重要意义。然而,目前还很少有研究广泛综述已有的信念模型来研究不确定性及其在ML/DL领域的决策适用性。

在这项工作中,我们旨在回答以下研究问题:

RQ1。信念理论和深度学习研究的不确定性的主要原因和类型是什么? RQ2。如何根据信念模型和深度学习中研究的多维不确定性定义不确定性本体? RQ3。每个信念模型如何考虑和测量不确定性? RQ4。每个信念模型如何应用于深度学习,反之亦然,以便在不确定性下进行有效的决策? RQ5。信念理论和深度学习中不确定性推理和量化的关键区别是什么? RQ6。如何将信念模型应用于深度学习以解决复杂的决策问题?

虽然不确定性已经在许多领域得到了考虑,但本文将范围限制在信任模型及其在深度学习算法中的应用上。请注意,当我们提到“决策”时,我们指的是在多个选项中做出选择。例如,它可以是分类任务中的某个类以最大化预测精度,可以是在多个可用操作中选择的一个操作以最大化决策效用,或者是为了优化系统性能而选择的一个策略。在本文中,我们的主要贡献如下:(1)我们首次在识别各种信念模型和深度学习中研究的不确定性的原因和类型方面进行了广泛的调研,并提供了不确定性本体。(2)我们首先调研不同的信念理论如何考虑不确定性,并量化它,以有效的决策。(3)我们还首先讨论了信念理论如何有效地用于基于深度学习的决策解决方案。(4)我们确定了每个信念理论如何导致和量化不确定性,以及它如何在深度学习环境中应用或与之一起应用的关键共性和差异。(5)我们提供了从广泛调研中获得的见解和教训以及局限性的整体视角,并提出了有前景的未来研究方向。

第2节提供了不确定性的各种分类类型,以及不同类型不确定性产生的原因,并在调研不确定性多维概念的基础上提出了不确定性本体。

第3节提供了8个信念模型的细节,并讨论了信念的形成、不确定性的原因和类型、不确定性量化及其作为决策应用的应用。8种信念模型包括Dempster Shafer理论(DST)、可转移信念模型(TBM)、Dezert-Smarandache理论(DSmT)、不精确Dirichlet模型(IDM)、Kleene三值逻辑(TVL)、模糊逻辑(FL)、贝叶斯推理(BI)和主观逻辑(SL)。

第4节讨论如何将信念理论应用于DL的背景下,作为不确定性下的决策应用,特别是在证据神经网络、模糊深度神经网络和粗糙深度神经网络方面。

第5节提供了第1节中提出的关键研究问题的答案。 第6部分通过讨论从我们的调研中获得的局限性、见解和教训来总结我们的论文。在此基础上,展望了信念模型在解决基于深度学习的决策问题中的应用前景。

图1 不确定性分类

图2 不确定性体系

成为VIP会员查看完整内容
51

相关内容

强化学习实战:机遇与挑战,56页pdf
专知会员服务
53+阅读 · 5月7日
「深度学习注意力机制 」最新TKDE2022研究综述
专知会员服务
73+阅读 · 3月29日
专知会员服务
49+阅读 · 2021年10月15日
专知会员服务
58+阅读 · 2021年7月9日
【斯坦福2021新书】决策算法,694页pdf阐述不确定性决策
专知会员服务
141+阅读 · 2021年1月27日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
4+阅读 · 2008年12月31日
Arxiv
21+阅读 · 2021年10月1日
Arxiv
15+阅读 · 2021年6月25日
Arxiv
10+阅读 · 2021年2月18日
A Comprehensive Survey on Graph Neural Networks
Arxiv
10+阅读 · 2019年3月10日
Arxiv
14+阅读 · 2018年8月30日
Arxiv
14+阅读 · 2018年6月23日
Arxiv
14+阅读 · 2018年2月7日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
4+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员