Abstract: 近年来人工智能技术的发展,在诸多垂直领域取得了性能突破。但当我们将这些技术应用于医疗、司法、工业生产等风险敏感领域时,发现当前人工智能在稳定性、可解释性、公平性、可回溯性等“四性”方面存在严重缺陷。究其深层次原因,当前统计机器学习的基础——关联统计自身不稳定、不可解释、不公平、不可回溯可能是问题的根源。相对于关联统计,因果统计在保证“四性”方面具有更好的理论基础。但如何将因果统计融入机器学习框架,是一个开放并有挑战的基础性问题。本报告中,讲者将重点介绍因果推断的基础原理以及最新进展,因果启发的稳定学习理论和方法,及其在解决OOD泛化问题方面的机会和挑战。

成为VIP会员查看完整内容
0
36

相关内容

8月5日,ACM SIGKDD 2021 正式公布了最佳博士论文奖,Runner Up奖、新星奖、研究时间检验奖、应用数据科学时间检验奖、创新奖和服务奖。

其中斯坦福大学的Aditya Grover获得最佳博士论文奖,UIUC 的Shweta Jain获得Runner Up 奖

SIGKDD 博士论文奖

论文标题: Learning to Represent and Reason Under Limited Supervision 标题:在有限监督条件下的学习表征和推理 作者:Aditya Grover 机构:Facebook AI研究院

论文摘要:

自然智能体,如人类,擅长构建世界的表征,并使用这些表征来有效地进行推理和做决策。即使在有限的监督下,这种高级推理能力也可以发展起来。与此形成鲜明对比的是,基于机器学习 (ML) 的智能体在获得大规模标注数据集或模拟器的条件下取得主要进展,如目标识别和玩游戏等。

本论文由三部分组成。首先,论文建立了基础的学习概率生成模型,目标是模拟所有可用的数据,即使在监督受限的环境中,也能够为智能体提供一个自然的学习目标。论文讨论了很多使用这些模型进行高维学习和推理所需要的取舍(trade-off),包括选择特定的学习目标、优化流程和模型参数等。

基于这些结果,研究者开发了新算法来提高模型的性能,并在用未标记的数据集进行训练时降低偏置。之后,研究者将这些模型扩展到关系数据领域,用来学习这些数据的表征。这一过程是无监督的,研究者探索并展示了模型在分类和序列决策中的性能。最后,论文介绍了这些模型在加速科学研究的两个实际应用:1.学习压缩感知的数据相关先验;2.优化电池充电的实验设计。这些案例说明, 智能体能够克服现实世界中高维推理和决策问题的关键监督瓶颈。

本文分为三个主题部分。第1部分研究了概率生成建模的统计和计算基础。

在第二章,我们提供必要的背景设置的问题和回顾一些关键的工作。

在第三章中,我们讨论了生成模型的两种中心学习范式: 最大似然估计和对抗学习。

在第四章,我们提出了一个模型不可知的算法,以提高任何现有生成模型的性能。本章以[Gro+19a]为基础,以我们在[GE18]中的早期工作为基础。

在第五章中,我们提出了另一种模型无关的算法,以解决融合多个未标记数据源训练生成模型时的潜在数据集偏差问题。

第二部分深入研究了概率生成模型的使用,用于在关系域上表示和推理,其中数据点偏离了独立和同分布(i.i.d)假设。

在第六章中,我们提出了一个用于学习图节点表示的潜在变量生成模型。

在第七章中,我们提出了一种结合生成目标和对比目标的多智能体系统中智能体策略学习表示的算法。

第三部分讨论了在科学发现和可持续发展的现实世界中运应用概率方法的使用。

在第八章中,我们提出了一个生成建模框架,用于统计压缩感知中的学习获取和恢复过程。

在第九章中,我们提出了一种最优的实验设计方法,适用于设计空间大和实验时间密集的领域。作为一个案例研究,我们使用它来优化电池充电协议。

在第10章中,我们总结了本论文的主要贡献和未来的研究方向。

作者介绍:

Aditya Grover是Facebook AI核心机器学习团队的一位研究者,同时也是UCLA计算机系的一名助理教授。

Aditya的主要研究方向是用于概率建模的机器学习,无监督表征学习,以及序列决策,这些研究已用于物理学、气候变化等领域。Aditya于2020年毕业于斯坦福大学,获得博士学位,并在谷歌大脑、微软研究院、OpenAI等机构完成了实习。

https://aditya-grover.github.io/

成为VIP会员查看完整内容
0
23

本文综述了近年来在大间隔训练及其理论基础方面取得的进展,主要针对(非线性)深度神经网络(DNNs),这可能是过去十年来社区中针对大规模数据最著名的机器学习模型。我们概括了从经典研究到最新DNNs分类边界的形成,总结了间隔、网络泛化和鲁棒性之间的理论联系,并全面介绍了近年来在扩大DNNs分类间隔方面所做的努力。由于不同方法的观点存在差异,为了便于比较和讨论,本文将其分组。希望我们的讨论和概述能够启发社区中旨在提高DNNs性能的新研究工作,也为大间隔原则的验证指明方向,为DNNs的某些正则化在实践中发挥良好作用提供理论依据。我们设法缩短了论文,以便更好地强调大间隔学习的关键思想和相关方法。

https://www.zhuanzhi.ai/paper/617d18bafec0d3c2310043f9f6822010

成为VIP会员查看完整内容
0
17

深度神经网络在计算机视觉、计算语言学和人工智能等领域的广泛应用无疑带来了巨大的成功。然而,DNNs成功的基本原理、DNNs的可信性和DNNs对抗攻击的恢复能力仍然很大程度上缺乏。在可解释人工智能的范围内,对网络预测解释可信度的量化和DNN特征可信度的分析成为一个引人注目但又有争议的话题。相关问题包括: (1)网络特征可信度的量化; (2)DNNs解释的客观性、鲁棒性、语义严谨性; (3)可解释神经网络解释性的语义严谨性等。重新思考现有可解释机器学习方法的可信性和公平性,对可解释机器学习的进一步发展具有重要的价值。

本教程旨在将关注人工智能可解释性、安全性和可靠性的研究人员、工程师以及行业从业人员聚集在一起。本教程介绍了一些关于上述问题的新发现,这些发现来自演讲者最近的论文和一些经典研究。对当前可解释人工智能算法的优点和局限性的批判性讨论提供了新的前瞻性研究方向。本教程预计将对医疗诊断、金融和自动驾驶等关键工业应用产生深远影响。

https://ijcai20interpretability.github.io/

成为VIP会员查看完整内容
0
83

少样本学习(FSL)在机器学习领域具有重要意义和挑战性。成功地从很少的样本中学习和归纳的能力是区分人工智能和人类智能的一个明显的界限,因为人类可以很容易地从一个或几个例子中建立他们对新颖性的认知,而机器学习算法通常需要数百或数千个监督样本来保证泛化能力。尽管FSL的悠久历史可以追溯到21世纪初,近年来随着深度学习技术的蓬勃发展也引起了广泛关注,但迄今为止,有关FSL的调研或评论还很少。在此背景下,我们广泛回顾了2000年至2019年FSL的200多篇论文,为FSL提供了及时而全面的调研。在本综述中,我们回顾了FSL的发展历史和目前的进展,原则上将FSL方法分为基于生成模型和基于判别模型的两大类,并特别强调了基于元学习的FSL方法。我们还总结了FSL中最近出现的几个扩展主题,并回顾了这些主题的最新进展。此外,我们重点介绍了FSL在计算机视觉、自然语言处理、音频和语音、强化学习和机器人、数据分析等领域的重要应用。最后,我们对调查进行了总结,并对未来的发展趋势进行了讨论,希望对后续研究提供指导和见解。

地址:

https://www.zhuanzhi.ai/paper/ffc99a53aeb6629e21b9a42db76b9dd1

概述:

人类智能的一个令人印象深刻的特点是能够从一个或几个例子中迅速建立对新概念的认知。许多认知和心理学证据[184,224,371]表明,人类可以通过很少的图像[23]识别视觉物体,甚至儿童也可以通过一次偶见就记住一个新单词[35,51]。虽然从很少的样本中支持人类学习和归纳能力的确切原因仍是一个深刻的谜,但一些神经生物学研究[285,29,157]认为,人类显著的学习能力得益于人脑中的前额叶皮层(PFC)和工作记忆,特别是PFC特有的神经生物学机制与大脑中存储的以往经验之间的相互作用。相比之下,最先进的机器学习算法都需要大量数据,尤其是最广为人知的深度学习[186],它将人工智能推向了一个新的高潮。深度学习作为机器学习发展的重要里程碑,在视觉[172,319,120]、语言[231,318]、语言[127]、游戏[308]、人口学[97]、医学[74]、植物病理学[100]、动物学[252]等广泛的研究领域都取得了显著的成就。一般来说,深度学习的成功可以归结为三个关键因素:强大的计算资源(如GPU)、复杂的神经网络(如CNN[172]、LSTM[129])和大规模数据集(如ImageNet[287]、Pascal-VOC[75])。然而,在现实的应用场景中,比如在医学、军事、金融等领域,由于隐私、安全、数据标注成本高等因素,我们无法获得足够的标签训练样本。因此,使学习系统能够有效地从很少的样本中进行学习和归纳,成为几乎所有机器学习研究人员所期待的蓝图。

从高层次上看,研究少样本学习的理论和现实意义主要来自三个方面。首先,FSL方法不依赖于大规模的训练样本,从而避免了在某些特定应用中数据准备的高昂成本。第二,FSL可以缩小人类智能和人工智能之间的差距,是发展通用人工智能的必要之旅[191]。第三,FSL可以实现一个新兴任务的低成本和快速的模型部署,而这个任务只有几个暂时可用的样本,这有利于阐明任务早期的潜在规律。

少数样本学习(FSL),又称小样本学习、少样本学习或一次性学习,可以追溯到21世纪初。尽管该研究已有近20年的历史,在理论和应用层面上都具有重要意义,但到目前为止,相关的调查和综述还很少。在本文中,我们广泛调查了从21世纪头十年到2019年几乎所有与FSL相关的科学论文,以详细阐述一个系统的FSL调研。我们必须强调,这里讨论的FSL与zero-shot learning (ZSL)正交[346],这是机器学习的另一个热门话题。ZSL的设置需要与概念相关的侧面信息来支持跨概念的知识迁移,这与FSL有很大的不同。据我们所知,到目前为止,只有两份与fsl相关的预先打印的综述伦恩[305,349]。与他们相比,本次综述的新颖之处和贡献主要来自五个方面:

(1) 我们对2000年至2019年的200多篇与FSL相关的论文进行了更全面、更及时的综述,涵盖了从最早的凝固模型[233]到最新的元学习方法的所有FSL方法。详尽的阐述有助于把握FSL的整个发展过程,构建完整的FSL知识体系。

(2) 根据FSL问题的建模原则,我们提供了一种可理解的层次分类法,将现有的FSL方法分为基于生成模型的方法和基于判别模型的方法。在每个类中,我们根据可一般化的属性进一步进行更详细的分类。

(3) 我们强调当前主流目前的方法,例如,基于目前的元学习方法,和分类成五大类,他们希望通过元学习策略学习学习,包括Learn-to-Measure Learn-to-Finetune, Learn-to-Parameterize,学会调整和Learn-to-Remember。此外,本调查还揭示了各种基于元学习的FSL方法之间潜在的发展关系。

(4) 总结了最近在普通FSL之外出现的几个外延研究课题,并回顾了这些课题的最新进展。这些主题包括半监督FSL、无监督FSL、跨域FSL、广义FSL和多模态FSL,它们具有挑战性,同时也为许多现实机器学习问题的解决赋予了突出的现实意义。这些扩展主题在以前的综述中很少涉及。

(5) 我们广泛总结了现有FSL在计算机视觉、自然语言处理、音频和语音、增强学习和机器人、数据分析等各个领域的应用,以及目前FSL在基准测试中的表现,旨在为后续研究提供一本手册,这是之前综述中没有涉及到的。

本文的其余部分组织如下。在第2节中,我们给出了一个概述,包括FSL的发展历史、我们稍后将使用的符号和定义,以及现有FSL方法的分类建议。第3节和第4节分别详细讨论了基于生成模型的方法和基于判别模型的方法。然后,第5节总结了FSL中出现的几个扩展主题。在第6节中,我们广泛地研究了FSL在各个领域的应用以及FSL的基准性能。在第8节中,我们以对未来方向的讨论来结束这次综述。

成为VIP会员查看完整内容
0
156

在一个常见的机器学习问题中,使用对训练数据集估计的模型,根据观察到的特征预测未来的结果值。当测试数据和训练数据来自相同的分布时,许多学习算法被提出并证明是成功的。然而,对于给定的训练数据分布,性能最好的模型通常会利用特征之间微妙的统计关系,这使得它们在应用于分布与训练数据不同的测试数据时,可能更容易出现预测错误。对于学术研究和实际应用来说,如何开发能够稳定和稳健地转换数据的学习模型是至关重要的。

因果推理是指根据效果发生的条件得出因果关系的结论的过程,是一种强大的统计建模工具,用于解释和稳定学习。本教程侧重于因果推理和稳定学习,旨在从观察数据中探索因果知识,提高机器学习算法的可解释性和稳定性。首先,我们将介绍因果推论,并介绍一些最近的数据驱动方法,以估计因果效应从观测数据,特别是在高维设置。为了弥补因果推理和机器学习之间的差距,我们首先给出了稳定性和鲁棒性学习算法的定义,然后将介绍一些最近的稳定学习算法来提高预测的稳定性和可解释性。最后,我们将讨论稳定学习的应用和未来的发展方向,并提供稳定学习的基准。

http://kdd2020tutorial.thumedialab.com/

成为VIP会员查看完整内容
0
56

报告主题: 信息检索

报告摘要: 引入结构化的知识是目前辅助自然语言处理任务的重要方法之一。如何准确地从自由文本中获取结构化信息,以及进行有效的知识表示在近几年取得了广泛关注。在这次报告中,讲者将梳理知识表示与获取的发展脉络,分享相关领域的最新工作进展,报告人将会以他在知识表示与关系抽取上的若干代表工作为例子,对研究中遇到的具体问题进行深入探讨分析,并结合讲者个人的工作经验,讨论如何体系化地开展研究工作以及学术合作等问题,分享其在解决问题的过程中的一些心得体会。

邀请嘉宾: 韩旭 清华大学计算机系17级博士研究生,来自清华大学自然语言处理组,由刘知远副教授指导,主要研究方向为自然语言处理及信息抽取。目前已在人工智能、自然语言处理等领域的著名国际会议ACL,EMNLP,NAACL,COLING,AAAI发表相关论文多篇,在Github上维护开源工程多项。

成为VIP会员查看完整内容
0
30
小贴士
相关资讯
机器学习的可解释性:因果推理和稳定学习
DataFunTalk
5+阅读 · 2020年3月3日
清华大学图神经网络综述:模型与应用
机器之心
54+阅读 · 2018年12月26日
总结 | 清华大学韩旭:神经关系抽取模型
AI科技评论
7+阅读 · 2018年9月28日
【IJCAI 2018】30大Tutorial,人工智能百花齐放
德先生
3+阅读 · 2018年7月18日
【学界】融合对抗学习的因果关系抽取
GAN生成式对抗网络
13+阅读 · 2018年7月14日
干货来袭:漫谈概率统计方法与因果关系
数据猿
5+阅读 · 2018年2月23日
相关论文
Zhining Liu,Pengfei Wei,Zhepei Wei,Boyang Yu,Jing Jiang,Wei Cao,Jiang Bian,Yi Chang
0+阅读 · 11月24日
I3DOL: Incremental 3D Object Learning without Catastrophic Forgetting
Jiahua Dong,Yang Cong,Gan Sun,Bingtao Ma,Lichen Wang
5+阅读 · 2020年12月16日
Kemal Oksuz,Baris Can Cam,Emre Akbas,Sinan Kalkan
4+阅读 · 2020年10月23日
Meta Learning for Causal Direction
Jean-Francois Ton,Dino Sejdinovic,Kenji Fukumizu
3+阅读 · 2020年7月6日
Seongjun Yun,Minbyul Jeong,Raehyun Kim,Jaewoo Kang,Hyunwoo J. Kim
10+阅读 · 2020年2月5日
Jiangmiao Pang,Kai Chen,Jianping Shi,Huajun Feng,Wanli Ouyang,Dahua Lin
6+阅读 · 2019年4月4日
Yu Cheng,Mo Yu,Xiaoxiao Guo,Bowen Zhou
12+阅读 · 2019年1月26日
Ruobing Xie,Zhiyuan Liu,Fen Lin,Leyu Lin
10+阅读 · 2018年2月16日
Top