Deep neural networks (DNNs) are powerful black-box predictors that have achieved impressive performance on a wide variety of tasks. However, their accuracy comes at the cost of intelligibility: it is usually unclear how they make their decisions. This hinders their applicability to high stakes decision-making domains such as healthcare. We propose Neural Additive Models (NAMs) which combine some of the expressivity of DNNs with the inherent intelligibility of generalized additive models. NAMs learn a linear combination of neural networks that each attend to a single input feature. These networks are trained jointly and can learn arbitrarily complex relationships between their input feature and the output. Our experiments on regression and classification datasets show that NAMs are more accurate than widely used intelligible models such as logistic regression and shallow decision trees. They perform similarly to existing state-of-the-art generalized additive models in accuracy, but are more flexible because they are based on neural nets instead of boosted trees. To demonstrate this, we show how NAMs can be used for multitask learning on synthetic data and on the COMPAS recidivism data due to their composability, and demonstrate that the differentiability of NAMs allows them to train more complex interpretable models for COVID-19.


翻译:深心神经网络(DNNS)是强大的黑箱预测器,在各种各样的任务上取得了令人印象深刻的成绩。然而,它们的准确性是以不易感知的代价而来的:通常不清楚的是它们是如何做出决策的。这妨碍了它们对高利害决策领域的适用性,如医疗保健。我们提议神经添加模型,将DNS的一些表现性和普遍添加模型的内在内在智能结合起来。不结盟运动学习的是神经网络的线性组合,每个网络都参加一个单一输入特征。这些网络经过联合培训,可以任意了解其输入特征和输出之间的复杂关系。我们在回归和分类数据集方面的实验表明,不结盟运动比在物流回归和浅度决定树等广泛使用的不易感知模型更加准确。它们与现有最先进的通用添加模型类似,但更灵活,因为它们以神经网为基础,而不是以振动树为基础。为了证明这一点,我们展示了如何利用不结盟运动来在合成数据上进行多塔式学习,并学习COMAS的累进数据,因为其变异性能性性性能让COVI能够使用不同的COVI模型。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
181+阅读 · 2020年4月26日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Arxiv
7+阅读 · 2021年10月12日
Deep Learning for Energy Markets
Arxiv
10+阅读 · 2019年4月10日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
19+阅读 · 2018年10月25日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
Arxiv
4+阅读 · 2017年11月13日
Arxiv
4+阅读 · 2017年1月2日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
相关论文
Arxiv
7+阅读 · 2021年10月12日
Deep Learning for Energy Markets
Arxiv
10+阅读 · 2019年4月10日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
19+阅读 · 2018年10月25日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
Arxiv
4+阅读 · 2017年11月13日
Arxiv
4+阅读 · 2017年1月2日
Top
微信扫码咨询专知VIP会员