当与人工智能系统合作时,我们需要评估何时信任它的建议。假设我们错误地相信了它可能出错的区域。在这种情况下,可能会发生灾难性的故障,因此需要使用贝叶斯方法进行推理和学习,以确定查询结果的概率的置信度(或认知不确定性)。然而,纯贝叶斯方法的计算成本很高。为了克服它们,我们恢复到高效和有效的逼近。在本教程中,博士生和早期研究人员将被介绍到技术的名称为证据推理和学习,从贝叶斯更新给定假设的过程中基于额外收集的证据。该教程为读者提供了一个关于证据推理与学习的调研领域,包括最新的研究成果。
为了确定人工智能系统可能出错的区域,我们需要(至少)区分两种不同的不确定性来源:偶然的(或任意的)和认知的不确定性。偶然性不确定性指的是由于固有的随机效应(如抛硬币)导致的实验结果的可变性:没有额外的信息来源,但拉普拉斯的守护进程可以减少这种可变性。认知不确定性指的是使用模型的代理的认知状态,因此它的知识缺乏,原则上可以根据额外的数据样本来减少。
本教程详细介绍了在推理和学习中量化偶然和认知不确定性的交叉研究,同时根据进一步收集到的支持(或反对)假设的证据,使用非常有效的逼近来更新贝叶斯后验。我们主要关注的情况下,不确定的概率表示为贝塔或狄利克雷分布遵循贝叶斯统计范式。与现有的关于(深度)学习中知识不确定性量化方法的调研不同,在本教程中,我们的目标是概述在存在知识不确定性的情况下进行推理以及在使用全部和部分数据进行学习时所面临的挑战。当希望限制对计算资源的需求时,存在偶然性和认知不确定性的逻辑推理带来了需要解决的全新问题。我们用概率电路的概念来说明这个想法,它可以包含大量的推理问题。我们进一步讨论了确定概率电路参数的认知不确定性和偶然不确定性的挑战,特别是训练数据的部分可观察性。最后讨论了如何从现实世界中确定不确定概率。不出所料,它们要么由先知(例如,情报分析师)提供,要么从原始数据中学习。
https://federico-cerutti.unibs.it/tutorials/2022-ijcai-erl/
贝叶斯统计 A primer in Bayesian Statistics: Fundamentals of statistics and Bayes Beta and Dirichlet distributions as uncertain probabilities.
证据推理 Evidential Reasoning: From logic to probabilistic circuits; Probabilistic circuits as a unifying method for probabilistic reasoning; Probabilistic circuits with uncertain probabilities.
证据参数学习 Evidential Parameter Learning: Learning with complete observations; Learning with partial observations: preliminary proposals and discussions.
从真实世界中寻找证据 Ascertain Evidence from the Real World: Intelligence analysis and uncertainty Evidential Deep Learning; Alternative proposals. 总结与结论 Summary and conclusion.