【CVPR2020-浙江大学-阿里巴巴】深层知识迁移的深层归因图，DEPARA: Deep Attribution Graph for Deep Knowledge Transferability

主题： DEPARA: Deep Attribution Graph for Deep Knowledge Transferability

摘要： 探索经过PRe训练的深度神经网络（PR-DNN）编码的异构任务之间的知识之间的内在联系，揭示了它们的相互可移植性，从而使知识能够从一项任务转移到另一项任务，从而减少了后者的培训工作量。在本文中，我们提出了DEeP属性图（DEPARA），以研究从PR-DNN中获得的知识的可传递性。在DEPARA中，节点对应于输入，并由其相对于PR-DNN输出的矢量归因图表示。边缘表示输入之间的相关性，并通过从PR-DNN中提取的特征相似性来衡量。两个PR-DNN的知识可传递性是通过它们对应的DEPARA的相似性来衡量的。我们将DEPARA应用于转移学习中的两个重要但尚未充分研究的问题：预先训练的模型选择和层选择。进行了广泛的实验以证明所提出的方法在解决这两个问题上的有效性和优越性。