【NeurIPS2021】模型可解释性的符号语言基础

最近提出了一些查询和评分来解释ML模型上的个人预测。考虑到ML模型需要灵活、可靠和易于应用的可解释性方法，我们预计需要开发声明性语言来自然地指定不同的可解释性查询。我们以一种有原则的方式来实现这一点，将这种语言根植于一个名为FOIL的逻辑中，该逻辑允许表达许多简单但重要的可解释性查询，并可能作为更具表现力的可解释性语言的核心。我们研究了FOIL查询在两类ML模型上的计算复杂性，这两类模型通常被认为是容易解释的: 策树和OBDDs。由于ML模型的可能输入的数量在其维数上是指数级的，因此FOIL评估问题的可处理性是微妙的，但可以通过限制模型的结构或被评估的FOIL片段来实现。我们还提出了一个用高级声明性语言包装的FOIL的原型实现，并进行了实验，表明这种语言可以在实践中使用。

https://www.zhuanzhi.ai/paper/2a8c253e156bd0c5f2599cbe2ec78d16