题目: Causal Inference and Stable Learning

简介:

在一个常见的机器学习问题中,使用一个根据训练数据集估计的模型,根据观察到的特征来预测未来的结果值。当测试数据和训练数据来自相同的分布时,许多学习算法被提出并证明是成功的。然而,对于给定的训练数据分布,性能最好的模型通常利用特征之间微妙的统计关系,这使得它们在应用于测试数据时更容易出现预测错误,因为测试数据的分布与训练数据的分布不同。对于学术研究和实际应用来说,如何建立稳定、可靠的学习模型是至关重要的。因果推理是一种强大的统计建模工具,用于解释和稳定的学习。因果推理是指基于某一效应发生的条件,对某一因果关系做出结论的过程。在本教程中,我们将重点讨论因果推理和稳定学习,旨在从观察数据中探索因果知识,以提高机器学习算法的可解释性和稳定性。首先,我们将介绍因果推理,并介绍一些最近的数据驱动的方法来估计因果效应的观测数据,特别是在高维设置。摘要为了弥补因果推理与机器学习在稳定学习上的差距,我们首先给出了学习算法的稳定性和鲁棒性的定义,然后介绍了一些最近出现的稳定学习算法,以提高预测的稳定性和可解释性。最后,我们将讨论稳定学习的应用和未来方向,并为稳定学习提供基准。

邀请嘉宾:

张潼,香港科技大学计算机科学与数学教授。此前,他是罗格斯大学(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和腾讯(Tencent)工作。张潼的研究兴趣包括机器学习算法和理论、大数据统计方法及其应用。他是ASA和IMS的研究员,曾在主要机器学习期刊的编委会和顶级机器学习会议的项目委员会任职。张潼在康奈尔大学获得数学和计算机科学学士学位,在斯坦福大学获得计算机科学博士学位。

崔鹏,清华大学计算机系长聘副教授,博士生导师。2010年于清华大学计算机系获得博士学位。研究兴趣包括社会动力学建模、大规模网络表征学习以及大数据驱动的因果推理和稳定预测。近5年在数据挖掘及人工智能领域高水平会议和期刊发表论文60余篇,曾5次获得顶级国际会议或期刊论文奖,并先后两次入选数据挖掘领域顶级国际会议KDD最佳论文专刊。目前担任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等国际期刊编委。曾获得国家自然科学二等奖、教育部自然科学一等奖、电子学会自然科学一等奖、CCF-IEEE CS青年科学家奖、ACM中国新星奖。入选中组部万人计划青年拔尖人才,并当选中国科协全国委员会委员。

成为VIP会员查看完整内容
0
120

相关内容

本文综述了元学习在图像分类、自然语言处理和机器人技术等领域的应用。与深度学习不同,元学习使用较少的样本数据集,并考虑进一步改进模型泛化以获得更高的预测精度。我们将元学习模型归纳为三类: 黑箱适应模型、基于相似度的方法模型和元学习过程模型。最近的应用集中在将元学习与贝叶斯深度学习和强化学习相结合,以提供可行的集成问题解决方案。介绍了元学习方法的性能比较,并讨论了今后的研究方向。

成为VIP会员查看完整内容
0
189

题目: Causal Relational Learning

摘要:

因果推理是自然科学和社会科学实证研究的核心,对科学发现和知情决策至关重要。因果推理的黄金标准是进行随机对照试验;不幸的是,由于伦理、法律或成本的限制,这些方法并不总是可行的。作为一种替代方法,从观察数据中进行因果推断的方法已经在统计研究和社会科学中得到发展。然而,现有的方法严重依赖于限制性的假设,例如由同质元素组成的研究总体,这些同质元素可以在一个单平表中表示,其中每一行都被称为一个单元。相反,在许多实际环境中,研究领域自然地由具有复杂关系结构的异构元素组成,其中数据自然地表示为多个相关表。在本文中,从关系数据中提出了一个正式的因果推理框架。我们提出了一种称为CaRL的声明性语言,用于捕获因果背景知识和假设,并使用简单的Datalog类规则指定因果查询。CaRL为在关系领域中推断复杂干预的影响的因果关系和推理提供了基础。我们对真实的关系数据进行了广泛的实验评估,以说明CaRL理论在社会科学和医疗保健领域的适用性。

成为VIP会员查看完整内容
0
113

统计学习理论是一个新兴的研究领域,它是概率论、统计学、计算机科学和最优化的交叉领域,研究基于训练数据进行预测的计算机算法的性能。以下主题将包括:统计决策理论基础;集中不平等;监督学习和非监督学习;经验风险最小化;complexity-regularized估计;学习算法的泛化界VC维与复杂性;极大极小下界;在线学习和优化。利用一般理论,我们将讨论统计学习理论在信号处理、信息论和自适应控制方面的一些应用。

成为VIP会员查看完整内容
0
90

数十年来,因果推理是一个跨统计、计算机科学、教育、公共政策和经济学等多个领域的重要研究课题。目前,与随机对照试验相比,利用观测数据进行因果关系估计已经成为一个有吸引力的研究方向,因为有大量的可用数据和较低的预算要求。随着机器学习领域的迅速发展,各种针对观测数据的因果关系估计方法层出不穷。在这项调查中,我们提供了一个全面的综述因果推理方法下的潜在结果框架,一个众所周知的因果推理框架。这些方法根据是否需要潜在结果框架的所有三个假设分为两类。对于每一类,分别对传统的统计方法和最近的机器学习增强方法进行了讨论和比较。并介绍了这些方法的合理应用,包括在广告、推荐、医药等方面的应用。此外,还总结了常用的基准数据集和开放源代码,便于研究者和实践者探索、评价和应用因果推理方法。

地址:

https://www.zhuanzhi.ai/paper/a37f27ed97e5318b30be2999e9a768c3

成为VIP会员查看完整内容
0
146

题目主题:

Temporal Point Processes Learning for Event Sequences

简介:

时点过程(TPP)是描述和建模连续时间域中事件序列的一个很好的数学框架,它通常带有位置、参与者等附加属性。近年来,越来越多的机器学习模型用于时点过程的学习和推理,在理解、预测和干预不同个体、群体和系统的动态行为方面有着广泛的背景。在大数据时代,利用这种时间事件序列进行有效的学习对企业和社会都具有重要的价值,而传统的基于时间序列的学习方法往往将原始事件离散为等间隔,忽略了时间戳的连续性。

在本教程中,我将首先对时间点过程的预备知识做一个基本的介绍,并通过几个应用实例回顾一些流行的和经典的表单。还将描述基于贝叶斯形式的学习。然后我将介绍点过程学习的最新进展,包括TPP的深度学习和强化学习。最后,我将展示一些新的场景,例如应用TPP模型时的缺失和删失观测,并讨论未来的方向,以便于在时间点过程中的进一步研究。

作者介绍:

Junchi Yan,是上海交通大学计算机科学与工程系和上海交通大学人工智能研究所的终身制独立研究教授。在2018年4月加入SJTU之前,Junchi自2011年4月起一直在IBM Research从事机器学习和计算机视觉研究及应用。在那段时间。曾任IBM中国研究实验室高级研究人员和工业检验首席科学家,并在工业预防性维修项目中广泛应用时间点过程模型。他还曾是IBM T.J.沃森研究中心(约克敦高地)、日本国家信息学研究所(东京)和腾讯人工智能实验室(深圳)的访问研究员。

Liangda Li,是雅虎研究公司搜索和搜索广告团队的资深研究科学家。领导科研团队的垂直搜索排名、查询理解、搜索广告、查询语言分析项目。在加入雅虎研究之前,他在佐治亚理工学院计算机科学学院获得了博士学位,并接受了zhaongyuan Zha教授的指导。2010年,他在上海交通大学计算机学院计算机科学荣誉班获得学士学位。他被授予2010年微软亚洲研究青年研究员奖。他的研究兴趣包括机器学习及其在信息检索和社交网络中的应用。特别是,他专注于各种真实行为数据中的影响建模,如搜索意图理解、城市智能和危机/犯罪。

教程大纲:

  • 时点过程:基础(15分钟)
    • 强度函数建模
    • TPP仿真
    • TPP学习的贝叶斯框架
  • 时间点过程的典型模型(30分钟)
    • 泊松过程
    • 霍克斯过程
    • 自校正过程(非线性霍克斯过程)
    • 时变霍克斯过程
    • 霍克斯过程的混合模型
    • 基于因子分解的特征过程
    • MLE解
    • LS解决方案
  • 时间点过程的深度学习(30分钟)
    • 神经时点过程
    • 时间点过程的GAN
    • 时间点过程的强化学习
  • 实践中的时间点过程(15分钟)
    • 从不完美的观察中学习
    • 从丢失的数据推断
    • 基于特征的随机拼接
    • 超级位置
    • 从扭曲序列中学习
    • 应用:社交网络分析、医疗保健、推荐、视频预告片生成、犯罪分析
    • 开源工具箱
成为VIP会员查看完整内容
0
35

报告题目: Bayesian Deep Learning

报告摘要: 深度神经网络是连接主义系统,通过它通过学习例子来完成任务,而不需要事先了解这些任务。它们可以很容易地扩展到数百万个数据点,并且可以通过随机梯度下降进行优化。贝叶斯方法可以用于学习神经网络权重的概率分布。贝叶斯深度学习与贝叶斯深度学习(如何对DNNs进行贝叶斯推理?如何学习分层结构的贝叶斯模型?),本篇报告给出一定解释。

嘉宾介绍: 朱军博士是清华大学计算机系长聘副教授、智能技术与系统国家重点实验室副主任、卡内基梅隆大学兼职教授。2013年,入选IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要从事机器学习研究,在国际重要期刊与会议发表学术论文80余篇。担任国际期刊IEEE TPAMI和Artificial Intelligence的编委、国际会议ICML 2014地区联合主席、以及ICML、NIPS等国际会议的领域主席。

成为VIP会员查看完整内容
Bayesian Deep Learning.pdf
0
81

主题: An Overview of the International Planning Competition

摘要: 本教程介绍了自然语言的深度贝叶斯和序列学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图片标题生成、句子生成、对话控制、情感分类,推荐系统,问答和机器翻译。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、Chinese restaurant 过程、分层Pitman-Yor过程、Indian buffet过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码,生成对抗网络,注意机制,记忆增强神经网络,随机神经网络,预测状态神经网络,策略梯度和强化学习。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的个案研究,以解决深度贝叶斯学习与理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

邀请嘉宾: Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
0
57

报告主题: Frontiers in Network Embedding and GCN

报告摘要: 如今,越来越多的网络广泛地用于应用程序中。 众所周知,网络数据既复杂又具有挑战性。 为了有效地处理图形数据,第一个关键挑战是网络数据表示,即如何正确表示网络,以便可以在时间和空间上高效执行高级分析任务,例如模式发现,分析和预测。 在本次演讲中,我将介绍网络嵌入和GCN的最新趋势和成就,包括解散的GCN,反攻击GCN以及用于网络嵌入的自动机器学习。

邀请嘉宾: 崔鹏 清华大学计算机系长聘副教授,博士生导师。研究兴趣聚焦于大规模网络表征学习以及大数据驱动的因果推理和稳定预测。近5年在数据挖掘及人工智能领域顶级会议发表论文100余篇,先后5次获得顶级国际会议或期刊论文奖,并先后两次入选 数据挖掘领域顶级国际会议KDD最佳论文专刊。担任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等国际期刊编委。曾获得国家自然科学二等奖、教育部自然科学一等奖、电子学会自然科学一等奖、CCF-IEEE CS青年科学家奖、ACM中国新星奖。入选中组部万人计划青年拔 尖人才,并当选中国科协全国委员会委员。

成为VIP会员查看完整内容
0
32

题目主题: Dual Learning for Machine Learning

简介:

许多AI任务以双重形式出现,例如英语法语翻译与法语英语翻译,语音识别与语音合成,问题解答与问题生成,图像分类与图像生成。虽然结构对偶性在AI中很常见,但大多数学习算法并未在学习/推理中利用它。双重学习是一种新的学习框架,它利用AI任务的原始-双重结构来获取有效的反馈或正则化信号,从而增强学习/推理过程。双重学习已在不同的学习环境中进行了研究,并应用于不同的应用程序。 在本教程中,我们将对双重学习进行介绍,它由三部分组成。在第一部分中,我们将介绍双重半监督学习,并展示如何有效地一起利用标记和未标记的数据。我们将从神经机器翻译开始,然后转移到其他应用程序。在第二部分中,我们介绍了双重无监督学习,其中的培训是完全无监督的。我们介绍了无监督机器翻译和无监督图像翻译。最后,我们介绍了双重监督学习及其以外的内容,其中包括双重监督学习,双重推理和双重对抗性学习。在本教程的最后,我们提出了双重学习的几个未来方向。

作者介绍:

Tao Qin博士是Microsoft Research Asia机器学习小组的高级首席研究经理。 他的研究兴趣包括机器学习(侧重于深度学习和强化学习),人工智能(对语言理解和计算机视觉的应用),游戏理论和多主体系统(对云计算,在线和移动广告的应用, 电子商务),信息检索和计算广告。 他拥有清华大学的博士学位和学士学位。 他是ACM和IEEE的高级会员,也是中国科学技术大学的兼职教授(博士生导师)。

大纲:

  • 动机与介绍
  • 双重半监督学习
  • 双重无监督学习
  • 双重监督学习
  • 总结与展望
成为VIP会员查看完整内容
0
17

题目: Never-Ending Learning

简介:

今天的机器学习方法与人类终身学习能力之间存在着明显的差异。人类学习许多不同的功能和技能,从多年来获得的不同经验,从一个阶段的课程中,他们首先学习更容易的任务,然后更困难的任务,保留所学的知识和技能,在随后的学习中使用,使它更容易或更有效。此外,人类会对自己不断进化的技能进行自我反思,随着时间的推移选择新的学习任务,相互教导,学习新的表现形式,阅读书籍,讨论相互竞争的假设等等。本教程将重点讨论如何设计具有类似功能的机器学习智能体,包括强化学习和其他智能体学习体系结构、迁移和多任务学习、表示学习、平摊学习、自然语言教学和演示学习、实验学习等主题的研究。

邀请嘉宾:

Tom M. Mitchell是卡内基梅隆大学(Carnegie Mellon University)计算机科学学院(School of Computer Science)临时院长。Mitchell从事机器学习工作多年,与Jaime Carbonell和Ryszard Michalski共同创办了ICML会议。最近,他指导了一个名为“永无止境的语言学习”(NELL)的项目,该项目持续运作了8年多,为如何构建学习系统提供了一个案例研究。Mitchell是美国国家工程学院的成员,美国艺术与科学学院的成员以及人工智能发展协会(AAAI)的前会长和研究员。

Partha Talukdar是班加罗尔的印度科学研究所(IISc)计算和数据科学(CDS)系的一名教员。他还是企业知识图谱公司KENOME的创始人,该公司的使命是帮助企业理解大数据。在此之前,Partha是卡内基梅隆大学机器学习系的博士后,与Tom Mitchell一起参与了NELL项目。Partha在宾夕法尼亚大学获得CIS博士学位(2010),Partha对机器学习、自然语言处理和认知神经科学有广泛的兴趣,尤其对大规模学习和推理感兴趣。Partha是IBM教员奖、谷歌重点研究奖和埃森哲开放创新奖的获得者。他与人合著了一本由Morgan Claypool出版社出版的关于基于图形的半监督学习的书。

成为VIP会员查看完整内容
0
10
小贴士
相关论文
Liuyi Yao,Zhixuan Chu,Sheng Li,Yaliang Li,Jing Gao,Aidong Zhang
78+阅读 · 2020年2月5日
Zhanqiu Zhang,Jianyu Cai,Yongdong Zhang,Jie Wang
16+阅读 · 2019年12月25日
Advances and Open Problems in Federated Learning
Peter Kairouz,H. Brendan McMahan,Brendan Avent,Aurélien Bellet,Mehdi Bennis,Arjun Nitin Bhagoji,Keith Bonawitz,Zachary Charles,Graham Cormode,Rachel Cummings,Rafael G. L. D'Oliveira,Salim El Rouayheb,David Evans,Josh Gardner,Zachary Garrett,Adrià Gascón,Badih Ghazi,Phillip B. Gibbons,Marco Gruteser,Zaid Harchaoui,Chaoyang He,Lie He,Zhouyuan Huo,Ben Hutchinson,Justin Hsu,Martin Jaggi,Tara Javidi,Gauri Joshi,Mikhail Khodak,Jakub Konečný,Aleksandra Korolova,Farinaz Koushanfar,Sanmi Koyejo,Tancrède Lepoint,Yang Liu,Prateek Mittal,Mehryar Mohri,Richard Nock,Ayfer Özgür,Rasmus Pagh,Mariana Raykova,Hang Qi,Daniel Ramage,Ramesh Raskar,Dawn Song,Weikang Song,Sebastian U. Stich,Ziteng Sun,Ananda Theertha Suresh,Florian Tramèr,Praneeth Vepakomma,Jianyu Wang,Li Xiong,Zheng Xu,Qiang Yang,Felix X. Yu,Han Yu,Sen Zhao
16+阅读 · 2019年12月10日
Bernhard Schölkopf
10+阅读 · 2019年11月24日
Sicheng Zhao,Shangfei Wang,Mohammad Soleymani,Dhiraj Joshi,Qiang Ji
8+阅读 · 2019年10月3日
Bryan Wilder,Eric Ewing,Bistra Dilkina,Milind Tambe
6+阅读 · 2019年5月31日
Adversarial Transfer Learning
Garrett Wilson,Diane J. Cook
10+阅读 · 2018年12月6日
Stephen Bonner,Flavian Vasile
17+阅读 · 2018年8月3日
Ignasi Clavera,Anusha Nagabandi,Ronald S. Fearing,Pieter Abbeel,Sergey Levine,Chelsea Finn
7+阅读 · 2018年3月30日
Guanghan Ning,Zhihai He
3+阅读 · 2017年10月27日
Top