Machine learning lies at the heart of new possibilities for scientific discovery, knowledge generation, and artificial intelligence. Its potential benefits to these fields requires going beyond predictive accuracy and focusing on interpretability. In particular, many scientific problems require interpretations in a domain-specific interpretable feature space (e.g. the frequency domain) whereas attributions to the raw features (e.g. the pixel space) may be unintelligible or even misleading. To address this challenge, we propose TRIM (TRansformation IMportance), a novel approach which attributes importances to features in a transformed space and can be applied post-hoc to a fully trained model. TRIM is motivated by a cosmological parameter estimation problem using deep neural networks (DNNs) on simulated data, but it is generally applicable across domains/models and can be combined with any local interpretation method. In our cosmology example, combining TRIM with contextual decomposition shows promising results for identifying which frequencies a DNN uses, helping cosmologists to understand and validate that the model learns appropriate physical features rather than simulation artifacts.
翻译:机器学习是科学发现、知识生成和人工智能的新可能性的核心。 机器学习对于这些领域的潜在好处要求超越预测准确性和注重可解释性。 特别是,许多科学问题要求在特定领域可解释的地物空间(例如频率域)中进行解释,而原始地物(例如像素空间)的归属可能无法理解甚至误导。 为了应对这一挑战,我们建议TRIM(TRansformation IMportance)(TRIM)(TRansformation IMportance)(TRIM))(TRIM)(TRansformation IMportance)(TRIM)(TRIM))(TIM)(TRansformation IMportance)(TRIM))(TRIM)(TRIM)(TER)(IM)(TRIP)(TH) (TH) (TH) (THOC) (TH) (TH) (THOC) (D) (THOC) (TH) (D) (D) (D) (POL) (D) (D) (THOC) (D) (D) (O) (DI) (D) (DI) (DI) (DI) (DI) (T) (DI) (D) (DI) (DI) (DI) (D) (TI) (DI) (DI) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (T) (D) (DI) (T) (T) (D) (D) (D) (DI) (D) (T) (D) (DI) (TI) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (D) (T) (T) (TH) (T) (T) (T) (T) (T) (T) (T) (T) (T) (T) (T) (T) (T) (T) (