受到人工智能(AI)在高成本和安全关键应用中的潜力,以及最近人工智能在我们日常生活中日益普及的影响,可信赖的人工智能作为一个广泛的研究领域日益受到重视,涵盖了可解释性、鲁棒性、可验证安全、公平性、隐私、问责等主题。这在简单、透明的模型与复杂、黑箱模型之间造成了一种紧张关系,前者具有固有的信任相关好处,而后者在许多任务上的表现则无与伦比。为了弥补这一差距,我们提出并研究了一种对数值数据的不确定解释,并将其应用于基于树的模型,形成了一种新型模糊决策树,称为核密度决策树(KDDTs),它具有更好的性能、增强的可信特性和更广泛的实用性,使得这些树可以应用于更广泛的领域。我们将本论文的贡献分为三大支柱。

第一支柱是鲁棒性和验证。不确定解释通过考虑数据中的不确定性,并更一般地作为对模型表示的函数的一种正则化,可以改善模型在各种鲁棒性概念方面的表现。我们展示了它在应对噪声特征和噪声标签方面的鲁棒性,这在现实世界数据中很常见。接下来,我们展示了如何通过随机平滑理论有效地实现可验证的对抗鲁棒性。最后,我们讨论了相关主题的验证,并提出了第一个模糊决策树的验证算法。

第二支柱是可解释性。虽然决策树普遍被认为是可解释的,但基于树的模型的良好性能通常仅限于表格数据,并且需要特征工程,这增加了设计工作量,同时集成方法则大大降低了相较于单棵树模型的可解释性。通过利用KDDTs的高效拟合和可微性,我们提出了一种学习参数化特征变换的系统。通过选择可解释的特征类并应用稀疏正则化,我们可以获得具有竞争性能的紧凑单树模型。我们展示了其在表格数据、时间序列和简单图像数据上的应用。

第三支柱是务实的进展。半监督学习(SSL)是由标签成本的高昂而驱动的,从混合的标记和未标记数据中学习。树的半监督学习通常仅限于黑箱包装方法,而这并不适合树。我们提出了一种基于我们对数据的不确定解释的新颖内在SSL方法。联邦学习(FL)是由数据共享限制驱动的,通过通信模型从分布式数据中学习。我们引入了一种基于函数空间正则化的新FL算法,它借用了我们不确定解释形式中的概念和方法。与先前的FL方法不同,它支持非参数模型,并在温和的假设下具有收敛保证。最后,我们展示了我们的FL算法还提供了一种简单的集成合并实用工具。

成为VIP会员查看完整内容
0

相关内容

【ETHZ博士论文】在弱监督学习中施加和揭示群组结构
专知会员服务
20+阅读 · 2023年10月15日
【伯克利博士论文】将机器人的表征与人类对齐
专知会员服务
45+阅读 · 2023年8月27日
【干货书】可解释人工智能(xAI)方法和深度元学习模型
专知会员服务
57+阅读 · 2020年9月13日
「基于通信的多智能体强化学习」 进展综述
基于模型的强化学习综述
专知
27+阅读 · 2022年7月13日
深度学习人体姿态估计算法综述
AI前线
23+阅读 · 2019年5月19日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
斯坦福AI实验室机器学习编程新范式:弱监督
机器之心
12+阅读 · 2019年3月22日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
36+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
Arxiv
153+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
392+阅读 · 2023年3月31日
Arxiv
65+阅读 · 2023年3月26日
Arxiv
136+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
36+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员