我们提出了Omega,一种支持反事实推理的概率编程语言。反事实推理是指观察当前的某些事实,并推断如果过去采取某种干预措施会发生什么情况,例如,假设药物在x剂量时无效,那么在2剂量时有效的概率是多少?“我们通过在概率编程中引入一个新的操作符来实现这一点,类似于Pearl的做法,定义它的正式语义,提供一个实现,并通过各种仿真模型中的示例演示它的效用。

http://proceedings.mlr.press/v139/tavares21a/tavares21a.pdf

成为VIP会员查看完整内容
0
7

相关内容

作为人类,我们的目标和环境在我们的一生中不断变化,这是基于我们的经验、行动以及内在和外在的驱动力。相反,典型的强化学习问题设置考虑的决策过程是跨情景的静态过程。我们能不能开发一种强化学习算法来应对前者中更现实的问题设置的持续变化?虽然策略上的算法(如策略梯度)原则上可以扩展到非平稳设置,但更有效的非策略算法(在学习时回放过去的经验)却不能这么说。在这项工作中,我们形式化了这个问题设置,并借鉴了在线学习和概率推理文献的思想,得出了一个非策略RL算法,可以推理和处理这种终身非平稳性。我们的方法利用潜在变量模型从当前和过去的经验中学习环境的表示,并使用该表示执行非策略RL。我们进一步介绍了几个显示终生非平稳性的模拟环境,并根据经验发现,我们的方法大大优于那些不考虑环境变化的方法。

https://proceedings.mlr.press/v139/xie21c

成为VIP会员查看完整内容
0
6

最大似然(Maximum likelihood, ML)是最基本、最通用的统计估计技术之一。受最近分布函数估计进展的启发,我们提出压缩最大似然(CML),它将ML应用于压缩样本。然后,我们证明了CML对于离散和连续域上的几个基本学习任务是样本有效的,包括具有结构的学习密度、估计概率多集和推断对称分布函数。

https://proceedings.mlr.press/v139/hao21c.html

成为VIP会员查看完整内容
0
10

现有的视觉和语言学习方法通常需要为每个任务设计特定于任务的架构和目标。例如,用于视觉问答的多标签答案分类器、用于参考表达式理解的区域评分器和用于图像字幕的语言解码器等。为了减轻这些麻烦,在这项工作中,我们提出了一个统一的框架,在同一个语言建模目标的单一体系结构中学习不同的任务,即多模态条件文本生成,我们的模型学习在基于视觉和文本输入的文本中生成标签。在7个流行的视觉和语言基准测试中,包括视觉问答,参考表达理解,视觉常识推理,其中大多数之前被建模为判别性任务,我们的生成方法(具有单一统一的体系结构)达到了与最近特定任务的最先进的视觉和语言模型相当的性能。此外,我们的生成方法显示出更好的泛化能力的问题,有稀有的答案。此外,我们还表明,我们的框架允许在单一体系结构中使用单一参数集进行多任务学习,实现了与单独优化的单任务模型相似的性能。我们的代码在https://github.com/j-min/VL-T5上公开。

https://www.zhuanzhi.ai/paper/445856f3eda78c729919b0f51153c716

成为VIP会员查看完整内容
0
9

检测语义异常具有挑战性,因为它们可能以无数种方式出现在真实数据中。虽然增强网络的健壮性可能足以对简单异常进行建模,但没有一种已知的好方法来准备模型,以应对可能发生的所有潜在的、看不见的异常,比如出现新的对象类。在本文中,我们展示了一个以前被忽视的异常检测(AD)策略,即对从一些大型和多样的语义任务转移过来的表示引入一个显式的归纳偏差。我们在使用干预的对照试验中严格验证了我们的假设,并表明它产生了出乎意料的有效辅助目标,优于以往的AD范式。

http://proceedings.mlr.press/v139/deecke21a.html

成为VIP会员查看完整内容
0
11

元学习理论的一个关键问题是如何理解任务分布对迁移风险的影响,即从未知任务分布中得出的元学习器对新任务的预期错误。本文针对高斯噪声和高斯任务(或参数)分布的固定设计线性回归问题,给出了任意算法的分布相关的迁移风险下界,同时给出了一种新的,所谓的偏置正则化回归方法的加权版本能够将这些下界匹配到一个固定的常数因子。值得注意的是,权重是由高斯任务分布的协方差得到的。总之,我们的结果提供了在这种高斯设置下元学习的困难的精确表征。虽然这个问题设置可能看起来很简单,但我们证明它足够丰富,可以统一元学习的“参数共享”和“表示学习”流; 特别地,表示学习是作为任务分布的协方差矩阵未知的特殊情况得到的。在这种情况下,我们提出采用EM方法,这在我们的情况下显示了有效的更新。本文通过对EM的实证研究完成,实验结果表明,EM算法可以随着任务数量的增加而达到下界,同时在表示学习环境中,该算法也能成功地与其他算法相媲美。

https://icml.cc/Conferences/2021/Schedule?showEvent=10047

成为VIP会员查看完整内容
0
13

在本教程中,我们将介绍可解释性的新兴方向,我们将其称为自然- xai。自然- xai旨在建立人工智能模型(1)在训练时从自然语言中学习地面真实标签的解释,(2)在部署时为它们的预测提供这样的解释。例如,自动驾驶汽车不仅会在训练时看到它必须在某个环境中停车,还会被告知为什么会这样,例如,“因为前面的交通灯是红色的。”在使用时,自动驾驶汽车也可以为其行为提供这样自然的语言解释,从而让乘客放心。这一方向最近受到越来越多的关注。

成为VIP会员查看完整内容
0
34

在统一鲁棒半监督变分自编码器(URSVAE)中,通过同时处理噪声标签和异常值,提出了一种新的噪声鲁棒半监督深度生成模型。输入数据的不确定性通常是将不确定性优先于概率密度分布的参数,以确保变分编码器对异常值的鲁棒性。随后,我们将噪声转换模型自然地集成到我们的模型中,以减轻噪声标签的有害影响。此外,为了进一步增强鲁棒性,采用鲁棒散度测度,推导并优化了新的变分下界来推断网络参数。通过证明对所提证据下界的影响函数是有界的,证明了所提模型在存在复合噪声的情况下在分类方面的巨大潜力。通过对图像分类任务的评价和与现有方法的比较,实验结果表明了该框架的优越性。

http://proceedings.mlr.press/v139/chen21a.html

成为VIP会员查看完整内容
0
19

零次学习是指让机器分类没见过的对象类别,开集识别要求让机器把没见过的对象类别标成“不认识”,两个任务都依赖想象能力。《反事实的零次和开集识别》提出了一种基于反事实的算法框架,通过解耦样本特征(比如对象的姿势)和类别特征(比如是否有羽毛),再基于样本特征进行反事实生成。在常用数据集上,该算法的准确率超出现有顶尖方法 2.2% 到 4.3%。论文作者岳中琪指出,AI 认知智能的进化刚刚开始,业界的探索仍处在早期阶段,今后他们将不断提升和优化相关算法。

https://www.zhuanzhi.ai/paper/70853146dd56cd4468837754a1478949

成为VIP会员查看完整内容
0
17

生成式常识推理是文本生成的一个关键瓶颈,它旨在使机器能够根据一组概念生成具有推理能力的句子。即使是最先进的预训练语言生成模型也难以完成这一任务,而且常常产生不合逻辑和异常的句子。其中一个原因是,他们很少考虑将知识图谱整合进来,因为知识图谱可以在常识概念之间提供丰富的关系信息。为了提高常识性推理生成文本的能力,我们提出了一种新的知识图谱增强的预训练语言生成模型KG-BART,该模型通过知识图谱包含了复杂的概念关系,并生成了更符合逻辑和自然的句子作为输出。此外,KG-BART可以利用图上的注意力来聚集丰富的概念语义,从而增强对看不见的概念集的模型泛化。在基准commonen数据集上进行的实验验证了本文方法的有效性,并与几个强的预训练语言生成模型进行了比较,特别是在BLEU - 3,4方面,KG-BART的性能比BART高出5.80、4.60。此外,我们还表明,通过我们的模型生成的上下文可以作为背景场景,从而有利于下游的常识性QA任务。

https://www.zhuanzhi.ai/paper/5478cc149a0d6a523665d68c6d3c170a

成为VIP会员查看完整内容
0
40

基于用户交互来优化排名系统是一个被广泛研究的问题。基于用户交互的优化排名系统的最先进方法分为在线方法(通过直接与用户交互进行学习)和反事实方法(通过历史交互进行学习)。现有的在线方法在没有在线干预的情况下会受到阻碍,因此不应该被用到反事实方法中。相反,反事实的方法不能直接从在线干预中获益。我们提出了一种新的干预感知估计器,用于反事实和在线学习排序(LTR)。随着干预感知估计器的引入,我们的目标是连接在线/反事实LTR部门,因为它在在线和反事实场景中都被证明是非常有效的。通过使用基于日志策略行为和在线干预(在收集点击数据期间对日志策略所做的更改)的校正,估计器可以校正位置偏差、信任偏差和项目选择偏差的影响。我们的实验结果,在一个半合成的实验设置中进行,结果表明,不像现有的反事实LTR方法,干预感知估计器可以从在线干预大大获益。

https://www.zhuanzhi.ai/paper/a7538e130a7fc65679e6e7d950bb4016

成为VIP会员查看完整内容
0
3
小贴士
相关VIP内容
专知会员服务
10+阅读 · 9月23日
专知会员服务
9+阅读 · 9月13日
专知会员服务
11+阅读 · 9月8日
专知会员服务
13+阅读 · 8月15日
专知会员服务
19+阅读 · 7月11日
专知会员服务
17+阅读 · 5月7日
专知会员服务
3+阅读 · 2020年12月14日
相关论文
Jiaming Zhang,Chaoxiang Ma,Kailun Yang,Alina Roitberg,Kunyu Peng,Rainer Stiefelhagen
0+阅读 · 10月21日
Alain Rakotomamonjy,Mokhtar Z. Alaya,Maxime Berar,Gilles Gasso
0+阅读 · 10月20日
Sefik Emre Eskimez,Takuya Yoshioka,Huaming Wang,Xiaofei Wang,Zhuo Chen,Xuedong Huang
0+阅读 · 10月18日
Steffen W. R. Werner,Ion Victor Gosea,Serkan Gugercin
0+阅读 · 10月18日
Maxime Peyrard,Sarvjeet Singh Ghotra,Martin Josifoski,Vidhan Agarwal,Barun Patra,Dean Carignan,Emre Kiciman,Robert West
0+阅读 · 10月16日
Don't Blame Distributional Semantics if it can't do Entailment
Matthijs Westera,Gemma Boleda
3+阅读 · 2019年5月17日
Andrei Popescu-Belis
4+阅读 · 2019年1月25日
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Zihang Dai,Zhilin Yang,Yiming Yang,William W. Cohen,Jaime Carbonell,Quoc V. Le,Ruslan Salakhutdinov
3+阅读 · 2019年1月9日
Jyh-Jing Hwang,Tsung-Wei Ke,Jianbo Shi,Stella X. Yu
7+阅读 · 2018年5月18日
Xiaolong Wang,Yufei Ye,Abhinav Gupta
18+阅读 · 2018年4月8日
Top