【论文推荐ICLR2020】组合语义解释Transformers/RNNs，explaining compositional semantics for Transformers/RNNs

论文题目

神经序列模型的合成语义解释：EXPLAINING COMPOSITIONAL SEMANTICS FOR NEURAL SEQUENCE MODELS

论文摘要

深层神经网络在处理自然语言中复杂的语义方面取得了令人印象深刻的性能，但大多被当作黑盒处理。为了说明该模型如何处理词和短语的组合语义，我们研究了层次解释问题。我们强调的关键挑战是计算单个单词和短语的非加性和上下文无关的重要性。我们发现，在层次解释方面的一些前期工作，例如上下文分解，在数学上不满足期望的性质，导致不同模型中的解释质量不一致。在本文中，我们提出了一种形式化的方法来量化每个单词或短语对生成分层解释的重要性。我们根据我们的公式修改了上下文分解算法，并提出了一种具有竞争性能的模型无关解释算法。在LSTM模型和微调的BERT变换器模型上进行的人工评估和自动度量评估都表明，我们的算法在层次扩展上的性能大大优于以前的工作。我们展示了我们的算法有助于解释语义的组成性，提取分类规则，提高模型的可信度。