Explanation faithfulness of model predictions in natural language processing is typically evaluated on held-out data from the same temporal distribution as the training data (i.e. synchronous settings). While model performance often deteriorates due to temporal variation (i.e. temporal concept drift), it is currently unknown how explanation faithfulness is impacted when the time span of the target data is different from the data used to train the model (i.e. asynchronous settings). For this purpose, we examine the impact of temporal variation on model explanations extracted by eight feature attribution methods and three select-then-predict models across six text classification tasks. Our experiments show that (i)faithfulness is not consistent under temporal variations across feature attribution methods (e.g. it decreases or increases depending on the method), with an attention-based method demonstrating the most robust faithfulness scores across datasets; and (ii) select-then-predict models are mostly robust in asynchronous settings with only small degradation in predictive performance. Finally, feature attribution methods show conflicting behavior when used in FRESH (i.e. a select-and-predict model) and for measuring sufficiency/comprehensiveness (i.e. as post-hoc methods), suggesting that we need more robust metrics to evaluate post-hoc explanation faithfulness.
翻译:自然语言处理中模型预测的准确性通常根据与培训数据相同的时间分布(即同步设置)的预留数据来评估自然语言处理中模型预测的忠实性。虽然模型性能由于时间差异(即时间概念漂移)而经常恶化,但目前尚不清楚当目标数据的时间跨度不同于用于培训模型的数据(即无同步设置)时,解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性模型性解释性(即选择和预选性定义性解释性分析性说明性解释性说明性解释性解释性解释性解释性解释性解释性分析性分析性分析性分析性说明性说明性(即选择和选择性定义性解释性解释性评估性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性解释性说明性解释性解释性解释性解释性分析性分析性解释性解释性解释性分析性解释性解释性解释性分析性分析性分析性分析性解释性解释性解释性分析性分析性解释性解释性解释性分析性分析性分析性分析性分析性解释性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性解释性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性分析性方法)。