证据回归网络(ENet)估计一个连续目标及其预测的不确定性,无需昂贵的贝叶斯模型平均。然而,由于ENet原始损失函数的梯度收缩问题,即负对数边际似然损失,有可能导致目标预测不准确。本文的目标是通过解决梯度收缩问题来提高ENet的预测精度,同时保持其有效的不确定性估计。一个多任务学习(MTL)框架,被称为MT-ENet,被提出来实现这一目标。在MTL中,我们将Lipschitz修正均方误差(MSE)损失函数定义为另一种损失,并将其添加到现有的NLL损失中。设计了Lipschitz修正均方误差损失,通过动态调整其Lipschitz常数来缓解梯度与NLL损失之间的冲突。这样,李普希茨均方误差损失不影响NLL损失的不确定性估计。MT-ENet提高了ENet的预测精度,同时在合成数据集和现实基准上,包括药物-目标亲和(DTA)回归,不丧失不确定性估计能力。此外,MT-ENet在DTA基准上具有显著的校准和非分布检测能力。

https://www.zhuanzhi.ai/paper/c91e28221315b8539ea96695b53146dc

成为VIP会员查看完整内容
19

相关内容

【AAAI2022】通过自训练加强反事实分类
专知会员服务
24+阅读 · 2021年12月10日
【NeurIPS2021】序一致因果图的多任务学习
专知会员服务
19+阅读 · 2021年11月7日
专知会员服务
23+阅读 · 2021年10月20日
专知会员服务
13+阅读 · 2021年10月9日
专知会员服务
11+阅读 · 2021年7月16日
专知会员服务
51+阅读 · 2021年6月17日
专知会员服务
24+阅读 · 2021年6月15日
专知会员服务
44+阅读 · 2021年1月31日
【AAAI2021】记忆门控循环网络
专知会员服务
47+阅读 · 2020年12月28日
【NeurIPS2020-北大】非凸优化裁剪算法的改进分析
专知会员服务
28+阅读 · 2020年10月11日
【ICML2021】低秩Sinkhorn 分解
专知
9+阅读 · 2021年8月20日
深度神经网络中的多任务学习汇总
极市平台
10+阅读 · 2019年9月24日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
31+阅读 · 2019年4月7日
干货 | 多任务深度学习的三个经验教训
AI科技评论
5+阅读 · 2019年2月15日
该如何对「半监督学习算法」实际性应用进行评估?
炼数成金订阅号
7+阅读 · 2018年4月27日
机器学习(23)之GBDT详解
机器学习算法与Python学习
12+阅读 · 2017年10月25日
Arxiv
0+阅读 · 2022年2月22日
A Modern Introduction to Online Learning
Arxiv
20+阅读 · 2019年12月31日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
15+阅读 · 2018年4月3日
VIP会员
相关VIP内容
【AAAI2022】通过自训练加强反事实分类
专知会员服务
24+阅读 · 2021年12月10日
【NeurIPS2021】序一致因果图的多任务学习
专知会员服务
19+阅读 · 2021年11月7日
专知会员服务
23+阅读 · 2021年10月20日
专知会员服务
13+阅读 · 2021年10月9日
专知会员服务
11+阅读 · 2021年7月16日
专知会员服务
51+阅读 · 2021年6月17日
专知会员服务
24+阅读 · 2021年6月15日
专知会员服务
44+阅读 · 2021年1月31日
【AAAI2021】记忆门控循环网络
专知会员服务
47+阅读 · 2020年12月28日
【NeurIPS2020-北大】非凸优化裁剪算法的改进分析
专知会员服务
28+阅读 · 2020年10月11日
相关资讯
【ICML2021】低秩Sinkhorn 分解
专知
9+阅读 · 2021年8月20日
深度神经网络中的多任务学习汇总
极市平台
10+阅读 · 2019年9月24日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
31+阅读 · 2019年4月7日
干货 | 多任务深度学习的三个经验教训
AI科技评论
5+阅读 · 2019年2月15日
该如何对「半监督学习算法」实际性应用进行评估?
炼数成金订阅号
7+阅读 · 2018年4月27日
机器学习(23)之GBDT详解
机器学习算法与Python学习
12+阅读 · 2017年10月25日
相关论文
Arxiv
0+阅读 · 2022年2月22日
A Modern Introduction to Online Learning
Arxiv
20+阅读 · 2019年12月31日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
15+阅读 · 2018年4月3日
微信扫码咨询专知VIP会员