【剑桥大学博士论文】模型鲁棒性的因果视角:健康和传感器数据案例研究，125页pdf

**预测深度模型的鲁棒性是一个具有许多影响的具有挑战性的问题。当模型用于安全关键应用(如医疗保健)时，这一点尤为重要。**然而，对于一个模型的鲁棒性意味着什么，以及为什么会出现这些问题的理论，目前还没有一个全面的定义。鉴于问题的一般性质，现有的与鲁棒性相关的工作分散在不同的研究领域。现有的研究已经考虑了一系列的鲁棒性方面，例如对小输入扰动的鲁棒性，这来自对对抗性示例的研究，但对于同一任务的不同领域也有鲁棒性，以及来自物体放置、移植、照明、天气条件或物体样式的鲁棒性问题。 **本文根据产生观测数据的假设结构因果模型(SCM)探索了一种鲁棒性的表述。**SCM允许以一种统一的方式看待这些不同类型的鲁棒性问题。利用这一观点，这项工作进一步加强了预测鲁棒性和假设的结构因果模型之间的联系，表明在来自同一SCM的不同分布中对预测性能进行优化，将使模型更接近目标变量的因果预测器，为在训练和测试数据不是独立同分布的情况下仅为预测进行优化提供了理论基础。

**以这种方式制定鲁棒性表明，大型深度模型通常更容易受到鲁棒性问题的影响;虽然其中一些问题在计算机视觉等应用中已经观察到，但在其他应用中却很少讨论。**本文研究了最先进的深度(SotA)分类器在人体活动识别中的鲁棒性，用一个由因果公式提供信息的新基准，表明一个更简单的模型至少与SotA深度模型一样鲁棒，同时训练速度至少快10倍。鲁棒性的因果观点还暗示了这样一种观点，即数据越少越有利于鲁棒性，这与人们普遍认为的数据越多越好相反。为了验证这一想法，基于流行的表格数据因果推理过程的反转思想，提出了一种数据选择算法。通过合成和半合成数据实验，评估在选择的数据集上训练的模型的鲁棒性。在一定条件下，数据子集提高了鲁棒性和数据效率。