Rationalizing which parts of a molecule drive the predictions of a molecular graph convolutional neural network (GCNN) can be difficult. To help, we propose two simple regularization techniques to apply during the training of GCNNs: Batch Representation Orthonormalization (BRO) and Gini regularization. BRO, inspired by molecular orbital theory, encourages graph convolution operations to generate orthonormal node embeddings. Gini regularization is applied to the weights of the output layer and constrains the number of dimensions the model can use to make predictions. We show that Gini and BRO regularization can improve the accuracy of state-of-the-art GCNN attribution methods on artificial benchmark datasets. In a real-world setting, we demonstrate that medicinal chemists significantly prefer explanations extracted from regularized models. While we only study these regularizers in the context of GCNNs, both can be applied to other types of neural networks


翻译:将分子的哪个部分推导分子图形进化神经网络(GCNN)的预测可能很困难。为了帮助我们,我们建议了两种简单的正规化技术,在GCNN(GCNN)培训期间应用:批量代表Orthomanization(BRO)和Gini正规化(Gini) 。BRO在分子轨道理论的启发下,鼓励图变操作生成正态节点嵌入。 Gini 正规化适用于输出层的重量,并限制模型可用于预测的维度数量。我们表明,Gini 和BRO正规化可以提高人造基准数据集方面最先进的GCNN属性方法的准确性。在现实世界环境中,我们证明药用化学家非常喜欢从正规化模型中提取的解释。虽然我们只研究GCNN(GCNN)中的这些规范者,但两者都可以应用于其他类型的神经网络。

0
下载
关闭预览

相关内容

专知会员服务
43+阅读 · 2021年4月12日
【机器推理可解释性】Machine Reasoning Explainability
专知会员服务
34+阅读 · 2020年9月3日
一份简单《图神经网络》教程,28页ppt
专知会员服务
124+阅读 · 2020年8月2日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
150+阅读 · 2020年6月28日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
12+阅读 · 2018年9月15日
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关VIP内容
专知会员服务
43+阅读 · 2021年4月12日
【机器推理可解释性】Machine Reasoning Explainability
专知会员服务
34+阅读 · 2020年9月3日
一份简单《图神经网络》教程,28页ppt
专知会员服务
124+阅读 · 2020年8月2日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
150+阅读 · 2020年6月28日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
相关资讯
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
12+阅读 · 2018年9月15日
Arxiv
10+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员