【KDD2023教程】不确定性量化在深度学习中的应用

深度神经网络（DNNs）在众多领域中都取得了巨大的成功，例如计算机视觉、自然语言处理和科学领域。然而，DNNs的一个关键瓶颈是它们对预测中的不确定性一无所知。它们可能会毫不察觉地产生严重错误的预测，甚至对自己的错误充满信心。这种错误可能导致误导性的决策 — 在关键应用中有时可能是灾难性的，从自动驾驶汽车到网络安全到自动医疗诊断都有涉及。在本教程中，我们介绍了DNNs不确定性量化的最新进展以及其在各个领域的应用。首先，我们概述了不确定性量化背后的动机、不同的不确定性来源和评估指标。然后，我们深入探讨了几种代表性的预测模型的不确定性量化方法，包括集成方法、贝叶斯神经网络、符合预测和其他方法。接下来，我们讨论如何利用不确定性进行标签高效学习、持续学习、稳健决策和实验设计。此外，我们展示了在各个领域中对不确定性有意识的DNNs的例子，如健康、机器人技术和科学机器学习。最后，我们总结了这一领域的开放挑战和未来方向。 图片