【ETHZ博士论文】认证神经网络的表达能力，86页pdf

神经网络对抗扰动样本的脆弱性是一个主要的可靠性问题，阻碍了它们在安全关键应用中的部署。为了解决这个问题，验证方法应运而生，用于分析局部鲁棒性，通常依赖于凸松弛来过度估计网络的行为。为了获得易于认证的网络，设计了专门的训练方法，旨在训练既准确又可认证鲁棒的网络。然而，除了最简单的情况外，这些训练方法仍然无效，因此尽管付出了重大努力，训练可认证的神经网络仍然是一个未解决的挑战。这引发了关于可认证神经网络表达能力的问题，特别是它们逼近给定函数的能力。在本论文中，我们研究了在凸松弛下ReLU神经网络的表达能力。我们的结果表明，虽然存在可认证的网络，但它们的表达能力相比标准网络是有限的。具体而言，我们展示了通过区间边界传播（IBP）认证的ReLU网络可以近似编码紧凑域上的连续函数，因此是通用的。这个通用性结果直接意味着通过更精确的凸松弛认证的ReLU网络的通用性。此外，我们展示了在使用IBP分析时，单隐层ReLU网络不是通用近似器，展示了一个基本的限制。进一步地，我们可以展示，即使是最精确的单神经元凸松弛也不能准确地编码简单的多变量单调和凸分段线性函数。这个不可能性结果令人惊讶，因为ReLU网络自然表达了分段线性函数类。如前所述，这个不可能性结果直接推广到所有不那么精确的凸松弛。然而，这些结果并没有通过表达能力区分不同的单神经元凸松弛。为了解决这个问题，我们提出了一系列结果，展示了更精确的松弛使得可认证网络能够编码更广泛的函数类或在编码相同函数时提供更大的灵活性。

神经网络是强大的函数近似器，被广泛应用于各种领域，包括图像分类、目标检测、自然语言处理、机器人技术、自动驾驶和金融等。过去十年的巨大进步引起了人们在现实世界应用中部署神经网络的浓厚兴趣。然而，关于神经网络的安全性和可靠性的问题仍然悬而未决。研究表明，神经网络不具有鲁棒性，可以通过对抗样本受到攻击。对抗样本是对输入的扰动，它在语义上接近或等同于原始输入，但会导致网络的行为与原始输入相比有很大不同。这在安全关键应用中可能导致不可接受的后果，如自动驾驶或医疗保健，从而阻碍了神经网络在这些领域的部署。

这促使了神经网络鲁棒性形式化认证方法的发展。这些方法旨在证明对于给定的网络、输入和对抗扰动不存在对抗样本。这些方法大致可以分为两类：完全方法和不完全方法。完全方法总是可以在给定输入和网络的情况下认证没有对抗样本或返回一个对抗样本。然而，由于验证问题是共NP完全的，这些方法无法扩展到较大的网络。不完全方法通过牺牲精度以提高速度来规避这个问题。如果可能，这些方法会返回一个认证，但即使要认证的属性成立，它们也可能无法做到这一点。这使得它们可以更好地扩展到较大的网络。

一种流行的不完全认证方法是基于凸松弛的方法。为了生成可以通过凸松弛进行认证的网络，开发了专门的训练方法。尽管在该领域取得了显著进展，但训练出具有高精度和可认证性的网络仍然具有挑战性。值得注意的是，即使在像CIFAR10这样相对简单的标准数据集上，令人满意的性能仍然遥不可及，尽管付出了大量努力。因此，问题在于是否存在表现良好的网络。我们看到的不令人满意的表现是否是由于应用于神经网络认证的凸松弛方法的根本限制？在标准设置中，神经网络作为通用函数近似器的理论依据是由通用近似定理提供的。虽然这些定理保证了存在可以近似大量函数的神经网络，但它们并不保证这些网络可以通过可扩展的证明方法（如通过凸松弛）进行认证逼近这些函数。这提出了以下关键研究问题：

可认证神经网络的表达能力是什么？

在本论文中，我们从理论角度解决这个问题。我们提供了一系列关于通过凸松弛认证的神经网络表达能力的结果。我们证明了虽然通过流行的IBP松弛认证的ReLU网络是通用近似器，但它们的表达能力比经典网络要弱，因为它们需要超过一层隐藏层。此外，虽然ReLU网络自然近似连续分段线性函数类，但它们无法精确编码简单的多变量连续分段线性函数。即使使用最精确的单神经元凸松弛（三角松弛）进行认证，这一情况依然存在。最后，我们展示了更精确的凸松弛具有更高的表达能力，允许ReLU网络表达更大的函数类。