大量的机器学习模型假设训练数据和测试数据来源于相同的数据分布(IID假设)。然而,在实际情况下,这个条件并不一定满足,比如,我们在不同的时间段和区域内收集的数据可能会有不同的数据分布,从而导致训练和测试数据的分布不同。更严重的是,最近有文献指出,模型偏差可能会引入更大的泛化误差。为了解决训练和测试偏差的问题,已经提出了一些方法,比如,迁移学习,然而其需要预先知道测试数据分布,然而真实情况下测试数据是不可知的。最近,有研究考虑了模型偏差问题,并尝试通过样本重加权实现变量去相关以学习具有稳定性保证的模型。然而,他们尝试通过以下方删除所有变量之间的相关性新的学习样本权重集。但是,这种激进的目标可能会导致样本量过分减少,这种情况会影响机器学习模型性能。

不同于之前去除所有的变量相关性,本文认为并不是所有的相关性都有必要去除。例如,当您想在图像分类任务中识别狗时,尽管狗的鼻子,耳朵和嘴巴可能会由不同的变量代表,它们作为一个整体这样的相关性在不同的环境中都是稳定的。同样,可能存在另一堆变量代表背景(即草)。由于选择偏差,我们可能会观察到这两种变量之间的强相关性在有偏差的训练数据上。但是,这样的“虚假”相关不能推广到新的环境。因此,对于这种情况,我们仅需要消除显著变量和背景变量之间的虚假相关性来获得准确的狗分类器。

成为VIP会员查看完整内容
0
12

相关内容

我们提出并分析了具有条件风险值(CVaR)的凸损失分布鲁棒优化算法和有条件风险值的χ2发散不确定性集。我们证明了我们的算法需要大量的梯度评估,独立于训练集的大小和参数的数量,使它们适合大规模的应用。对于χ2的不确定性集,这些是文献中第一个这样的保证,对于CVaR,我们的保证在不确定性水平上是线性的,而不是像之前的工作中那样是二次的。我们还提供了下界来证明我们的CVaR算法的最坏情况的最优性和一个惩罚性的版本的χ2问题。我们的主要技术贡献是基于[Blanchet & Glynn, 2015]的批量鲁棒风险估计偏差的新界和多层蒙特卡洛梯度估计器的方差。

https://arxiv.org/abs/2010.05893

成为VIP会员查看完整内容
0
14

【导读】人工智能顶会 ICLR 2021 即国际表征学习大会, 是人工智能领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,今年共有3013篇论文提交。ICLR 采用公开评审,可以提前看到这些论文。小编发现基于因果推理(Causal Inference)相关的投稿paper很多,因果推理,以及反事实等相关理论方法在CV、NLP都开始有相关的应用了,这个前沿的方法受到了很多人的关注。

为此,这期小编继续为大家奉上ICLR 2021必读的七篇因果推理(Causal Inference)投稿相关论文——领域自适应、时间序列数据、连续终身因果效应、反事实生产式网络、解纠缠生成式因果表示

ICLR 2021 Submitted Paper: https://openreview.net/group?id=ICLR.cc/2021/Conference

ICML2020CI

1、Accounting for unobserved confounding in domain generalization

摘要:从观察到的环境到在新的相关环境进行推断或推广的能力是可靠机器学习的核心,然而大多数方法在数据过多时都会失败。在某些情况下,由于对所支配数据的因果结构的误解,特别是未观察到的干扰因子的影响,这些干扰因子使观察到的分布发生变化,并扭曲了相关性。在这篇文章中,我们提出定义关于更广泛类别的分布移位(distribution shifts)的泛化(定义为由潜在因果模型中的干预引起的),包括观察到的、未观察到的和目标变量分布的变化。我们提出了一种新的鲁棒学习原则,它可以与任何基于梯度的学习算法配对。这一学习原则具有明确的泛化保证,并将鲁棒性与因果模型中的某些不变性联系起来,表明了为什么在某些情况下,测试性能落后于训练性能。我们展示了我们的方法在来自不同模态的医疗数据(包括图像和语音数据)上的性能。

网址: https://openreview.net/forum?id=ZqB2GD-Ixn

2、Amortized causal discovery learning to infer causal graphs from time series data

摘要:标准的因果发现方法无论何时遇到来自新的基本因果图的样本,都必须适合一个新的模型。然而,这些样本经常共享相关信息(例如,描述因果关系影响的动态信息),这些信息在遵循这种方法时会丢失。我们提出了一个新的框架-摊销因果发现(Amortized Causal Discovery),它利用这种共享的动力来学习从时间序列数据中推断因果关系。这使我们能够训练一个单一的摊销模型,该模型推断具有不同基本因果图的样本之间的因果关系,从而利用共享的信息。我们通过实验证明了这种以变分模型实现的方法在因果发现性能方面有了显著的改进,并展示了如何将其扩展以在 hidden confounding情况下很好地执行。

网址: https://openreview.net/forum?id=gW8n0uD6rl

3、Continual lifelong causal effect inference with real world evidence

摘要:当前观测数据非常容易获取,这极大地促进了因果关系推理的发展。尽管在克服因果效应估计方面的挑战方面取得了重大进展,在缺少反事实数据(counterfactual outcomes)和选择偏差的情况下,但是现有方法只关注特定于源的和稳定的观测数据。本文研究了从增量观测数据中推断因果关系的一个新的研究问题,并相应地提出了三个新的评价标准,包括可扩展性、适应性和可达性。我们提出了一种连续因果效应表示学习(Continual Causal Effect Representation Learning )方法,用于估计非平稳数据分布中增量可用的观测数据的因果效应。我们的方法不是访问所有可见的观测数据,而是仅存储从先前数据学习的有限的特征表示子集。该方法将选择性均衡表示学习、特征表示提炼和特征变换相结合,在不影响对原始数据估计能力的前提下,实现了对新数据的连续因果估计。大量实验证明了连续因果推理的重要性和方法的有效性。

网址: https://openreview.net/forum?id=IOqr2ZyXHz1

4、Counterfactual generative networks

摘要:神经网络很容易找到学习捷径--它们经常对简单的关系进行建模,而忽略了可能更好地概括更复杂的关系。以往的图像分类工作表明,深度分类器不是学习与物体形状的联系,而是倾向于利用与低层纹理或背景的虚假相关性来解决分类任务。在这项工作中,我们朝着更健壮和可解释的分类器迈进,这些分类器显式地揭示了任务的因果结构。基于目前在深度生成建模方面的进展,我们提出将图像生成过程分解为独立的因果机制,我们在没有直接监督的情况下对这些机制进行训练。通过利用适当的归纳偏差,这些机制将对象形状、对象纹理和背景分开;因此,它们允许生成反事实图像。我们演示了我们的模型在MNIST和ImageNet上生成此类图像的能力。此外,我们还表明,尽管反事实图像是人工合成的,但它们可以在原始分类任务的性能略有下降的情况下,提高分布外的稳健性。最后,我们的生成式模型可以在单个GPU上高效地训练,利用常见的预训练模型作为归纳偏差(inductive biases)。

网址: https://openreview.net/forum?id=BXewfAYMmJw

5、Disentangled generative causal representation learning

摘要:这篇文章提出了一种解缠的生成式因果表示(Disentangled Generative Causal Representation,DEPE)学习方法。与现有的强制独立于潜在变量的解缠方法不同,我们考虑的是潜在因素可以因果关联的一般情况。我们表明,以前的方法与独立的先验不能解开因果相关的因素。受这一发现的启发,我们提出了一种新的解缠学习方法DELE,该方法实现了因果可控生成和因果表示学习。这一新公式的关键是使用结构因果模型(SCM)作为双向生成模型的先验。然后,使用适当的GAN损失与生成器和编码器联合训练先验。我们给出了所提公式的理论证明,保证了在适当条件下的解缠因果表示学习。我们在合成和真实数据上进行了广泛的实验,以证明DEAR在因果可控生成方面的有效性,以及学习的表示在样本效率和分布稳健性方面对下游任务的好处。

网址: https://openreview.net/forum?id=agyFqcmgl6y

6、Explaining the efficacy of counterfactually augmented data

摘要:为了减少机器学习模型对训练数据中虚假模式的依赖,研究人员最近提出通过human-in-the-loop进程来生成与事实相反的增强数据。正如在NLP中所应用的那样,给定一些文档及其(初始)标签,人类的任务是修改文本以使(给定的)反事实标签适用。重要的是,这些说明禁止进行翻转适用标签时不必要的编辑。在扩充(原始和修订)数据上训练的模型已被证明较少依赖语义无关的单词,并能更好地概括域外。虽然这项工作借鉴了因果思维,将编辑塑造为干预措施,并依靠人类的理解来评估结果,但潜在的因果模型并不清楚,也不清楚在域外评估中观察到的改进背后的原则。在这篇文章中,我们探索了一个模拟玩具(toy analog),使用线性高斯模型。我们的分析揭示了因果模型、测量噪声、域外泛化和对虚假信号的依赖之间的有趣关系。有趣的是,我们的分析表明,通过向因果特征添加噪声而损坏的数据将降低域外性能,而向非因果特征添加噪声可能会使模型在域外更加健壮。这一分析产生了有趣的见解,有助于解释反事实增强数据的有效性。最后,我们提出了一个支持这一假说的大规模实证研究。

网址: https://openreview.net/forum?id=HHiiQKWsOcV

7、Selecting treatment effects models for domain adaptation using causal knowledge

摘要:从观察数据中选择因果推断模型来估计个体化治疗效果(ITE)是一个挑战,因为从来没有观察到反事实的结果。该问题在无监督域自适应(UDA)设置中进一步受到挑战,在该设置中,我们只能访问源域中的已标记样本,但是我们希望选择在仅有未标记样本可用的目标域上实现良好性能的模型。现有的用于UDA模型选择的技术是针对预测设置设计的。这些方法检查源域和目标域中输入协变量之间的判别密度比,并且不考虑模型在目标域中的预测。正因为如此,在源域上具有相同性能的两个模型通过现有方法将获得相同的风险分数,但在现实中,它们在测试域上具有显著不同的性能。我们利用因果结构跨域的不变性来引入一种新的模型选择度量,该度量专门针对UDA设置下的ITE模型而设计。特别是,我们建议选择对干预效果的预测满足目标领域中已知因果结构的模型。在实验上,我们的方法在几个合成和真实的医疗数据集上选择对协变量变化更稳健的ITE模型,包括估计来自不同地理位置的新冠肺炎患者的通风效果。

网址: https://openreview.net/forum?id=AJY3fGPF1DC

成为VIP会员查看完整内容
0
57

在关系抽取任务中,注释大量的句子集是费时且昂贵的,因此标记数据的数量非常有限。通常的解决方法是采用远程监督,然而远程监督的缺陷是生成的数据噪声较多。因为两个实体之间可能存在多种关系,很难确定实体对在特定的上下文中属于哪一种关系,或者句子是否表达了某种关系。

目前人们倾向于使用元学习的方法来提取关系。元学习的思想是用大量不同的任务来训练模型,每个任务都有几个例子来演示,这样学习的模型就可以快速推广到只有几个例子的新任务。但该方法训练数据的信息量仍然有限,其性能仍然不尽人意。为了更有效地推广到新的关系和任务,作者提出了利用全局图的方法建模不同的关系。全局关系图提供了不同关系之间关系的先验知识,允许我们在关系之间转移监督以及在没有扩充带标签的句子的情况下推广这些关系。此外,作者提出了一种新的贝叶斯元学习方法,通过学习基于标记句子的关系原型向量(即支持集)和全局关系图实现小样本关系抽取。

https://arxiv.org/abs/2007.02387

成为VIP会员查看完整内容
0
27

在一个常见的机器学习问题中,使用对训练数据集估计的模型,根据观察到的特征预测未来的结果值。当测试数据和训练数据来自相同的分布时,许多学习算法被提出并证明是成功的。然而,对于给定的训练数据分布,性能最好的模型通常会利用特征之间微妙的统计关系,这使得它们在应用于分布与训练数据不同的测试数据时,可能更容易出现预测错误。对于学术研究和实际应用来说,如何开发能够稳定和稳健地转换数据的学习模型是至关重要的。

因果推理是指根据效果发生的条件得出因果关系的结论的过程,是一种强大的统计建模工具,用于解释和稳定学习。本教程侧重于因果推理和稳定学习,旨在从观察数据中探索因果知识,提高机器学习算法的可解释性和稳定性。首先,我们将介绍因果推论,并介绍一些最近的数据驱动方法,以估计因果效应从观测数据,特别是在高维设置。为了弥补因果推理和机器学习之间的差距,我们首先给出了稳定性和鲁棒性学习算法的定义,然后将介绍一些最近的稳定学习算法来提高预测的稳定性和可解释性。最后,我们将讨论稳定学习的应用和未来的发展方向,并提供稳定学习的基准。

http://kdd2020tutorial.thumedialab.com/

成为VIP会员查看完整内容
0
56

有几个主要的主题贯穿全书。这些主题主要是对两个不同类别的比较。当你阅读的时候,很重要的一点是你要明白书的不同部分适合什么类别,不适合什么类别。

统计与因果。即使有无限多的数据,我们有时也无法计算一些因果量。相比之下,很多统计是关于在有限样本中解决不确定性的。当给定无限数据时,没有不确定性。然而,关联,一个统计概念,不是因果关系。在因果推理方面还有更多的工作要做,即使在开始使用无限数据之后也是如此。这是激发因果推理的主要区别。我们在这一章已经做了这样的区分,并将在整本书中继续做这样的区分。

识别与评估。因果效应的识别是因果推论所独有的。这是一个有待解决的问题,即使我们有无限的数据。然而,因果推理也与传统统计和机器学习共享估计。我们将主要从识别因果效应(在第2章中,4和6)之前估计因果效应(第7章)。例外是2.5节和节4.6.2,我们进行完整的例子估计给你的整个过程是什么样子。

介入与观察。如果我们能进行干预/实验,因果效应的识别就相对容易了。这很简单,因为我们可以采取我们想要衡量因果效应的行动,并简单地衡量我们采取行动后的效果。观测数据变得更加复杂,因为数据中几乎总是引入混杂。

假设。将会有一个很大的焦点是我们用什么假设来得到我们得到的结果。每个假设都有自己的框来帮助人们注意到它。清晰的假设应该使我们很容易看到对给定的因果分析或因果模型的批评。他们希望,清晰地提出假设将导致对因果关系的更清晰的讨论。

https://www.bradyneal.com/causal-inference-course

成为VIP会员查看完整内容
0
155

领域适应(DA)提供了重用数据和模型用于新问题领域的有价值的方法。然而,对于具有不同数据可用性的时间序列数据,还没有考虑到健壮的技术。在本文中,我们做出了三个主要贡献来填补这一空白。我们提出了一种新的时间序列数据卷积深度域自适应模型(CoDATS),该模型在现实传感器数据基准上显著提高了最先进的DA策略的准确性和训练时间。通过利用来自多个源域的数据,我们增加了CoDATS的有用性,从而进一步提高了与以前的单源方法相比的准确性,特别是在域之间具有高度可变性的复杂时间序列数据集上。其次,我们提出了一种新的弱监督域自适应(DA-WS)方法,利用目标域标签分布形式的弱监督,这可能比其他数据标签更容易收集。第三,我们对不同的真实数据集进行了综合实验,以评估我们的域适应和弱监督方法的有效性。结果表明,用于单源DA的CoDATS比最先进的方法有了显著的改进,并且我们使用来自多个源域和弱监督信号的数据实现了额外的准确性改进。

成为VIP会员查看完整内容
0
39
小贴士
相关VIP内容
专知会员服务
53+阅读 · 2月3日
专知会员服务
14+阅读 · 2020年10月13日
专知会员服务
57+阅读 · 2020年10月6日
专知会员服务
31+阅读 · 2020年8月26日
专知会员服务
155+阅读 · 2020年8月25日
专知会员服务
88+阅读 · 2020年7月9日
专知会员服务
39+阅读 · 2020年5月25日
专知会员服务
66+阅读 · 2020年1月20日
相关资讯
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
5+阅读 · 2020年8月26日
基于深度元学习的因果推断新方法
图与推荐
5+阅读 · 2020年7月21日
【基于元学习的推荐系统】5篇相关论文
专知
7+阅读 · 2020年1月20日
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
ICLR 2019 | 基于复杂空间关系旋转的知识表示方法
KDD 18 & AAAI 19 | 异构信息网络表示学习论文解读
PaperWeekly
19+阅读 · 2019年2月25日
【学界】基于生成对抗网络的多视图学习与重构算法
GAN生成式对抗网络
6+阅读 · 2018年7月12日
相关论文
Learning from Few Samples: A Survey
Nihar Bendre,Hugo Terashima Marín,Peyman Najafirad
64+阅读 · 2020年7月30日
Qi Liu,Matt J. Kusner,Phil Blunsom
24+阅读 · 2020年3月16日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Jianhong Zhang,Manli Zhang,Zhiwu Lu,Tao Xiang,Jirong Wen
4+阅读 · 2020年3月9日
Guneet S. Dhillon,Pratik Chaudhari,Avinash Ravichandran,Stefano Soatto
7+阅读 · 2020年3月1日
Marvin Teichmann,Andre Araujo,Menglong Zhu,Jack Sim
5+阅读 · 2019年5月14日
Learning Graph Embeddings from WordNet-based Similarity Measures
Andrey Kutuzov,Alexander Panchenko,Sarah Kohail,Mohammad Dorgham,Oleksiy Oliynyk,Chris Biemann
3+阅读 · 2018年8月16日
Vikram Mullachery,Vishal Motwani
9+阅读 · 2018年5月13日
Yongfeng Zhang,Qingyao Ai,Xu Chen,Pengfei Wang
21+阅读 · 2018年3月22日
Yi-Nan Li,Mei-Chen Yeh
5+阅读 · 2018年2月21日
Bryan Perozzi,Rami Al-Rfou,Steven Skiena
7+阅读 · 2014年6月27日
Top