The Evidential regression network (ENet) estimates a continuous target and its predictive uncertainty without costly Bayesian model averaging. However, it is possible that the target is inaccurately predicted due to the gradient shrinkage problem of the original loss function of the ENet, the negative log marginal likelihood (NLL) loss. In this paper, the objective is to improve the prediction accuracy of the ENet while maintaining its efficient uncertainty estimation by resolving the gradient shrinkage problem. A multi-task learning (MTL) framework, referred to as MT-ENet, is proposed to accomplish this aim. In the MTL, we define the Lipschitz modified mean squared error (MSE) loss function as another loss and add it to the existing NLL loss. The Lipschitz modified MSE loss is designed to mitigate the gradient conflict with the NLL loss by dynamically adjusting its Lipschitz constant. By doing so, the Lipschitz MSE loss does not disturb the uncertainty estimation of the NLL loss. The MT-ENet enhances the predictive accuracy of the ENet without losing uncertainty estimation capability on the synthetic dataset and real-world benchmarks, including drug-target affinity (DTA) regression. Furthermore, the MT-ENet shows remarkable calibration and out-of-distribution detection capability on the DTA benchmarks.


翻译:在本文中,目标是提高ENet的预测准确性,同时通过解决梯度缩进问题来保持其有效的不确定性估计。为了实现这一目标,建议了一个称为MT-ENet的多任务学习框架(MT-ENet),以实现这一目标。在MTL中,我们将Lipschitz修改过的平方差错(MSE)损失函数定义为另一个损失,并将其添加到现有的NLLL损失中。Lipschitz修改的MSE损失是为了通过动态调整Lipschitz的常数来减轻与NLLL损失的梯度冲突。这样做,Lipschitz MSE损失并不扰乱NLLL损失的不确定性估计。MT-ENet提高了ENet的预测性准确性,同时又不丧失了合成数据设定和基准的不确定性估计能力。Libschite-MTA-MT-MT基准, 包括Greamal-DA-DMT-MT的精确性测试能力。

11
下载
关闭预览

相关内容

零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
146+阅读 · 2019年10月12日
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
深度学习(deep learning)发展史
机器学习算法与Python学习
12+阅读 · 2018年3月19日
Arxiv
10+阅读 · 2021年2月18日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Learning Discriminative Model Prediction for Tracking
Arxiv
3+阅读 · 2018年11月19日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
5+阅读 · 2017年7月25日
VIP会员
相关资讯
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
深度学习(deep learning)发展史
机器学习算法与Python学习
12+阅读 · 2018年3月19日
相关论文
Arxiv
10+阅读 · 2021年2月18日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Learning Discriminative Model Prediction for Tracking
Arxiv
3+阅读 · 2018年11月19日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
5+阅读 · 2017年7月25日
Top
微信扫码咨询专知VIP会员