近期必读的七篇 ICLR 2021【因果推理】相关投稿论文

2020 年 10 月 6 日 专知
近期必读的七篇 ICLR 2021【因果推理】相关投稿论文

【导读】人工智能顶会 ICLR 2021 即国际表征学习大会, 是人工智能领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,今年共有301 3篇论文提交。ICLR 采用公开评审,可以提前看到这些论文小编发现基于因果推理(Causal Inference)相关的投稿paper很多,因果推理,以及反事实等相关理论方法在CV、NLP都开始有相关的应用了,这个前沿的方法受到了很多人的关注。

为此,这期小编继续为大家奉上ICLR 2021必读的七篇因果推理(Causal Inference)投稿相关论文—— 领域自适应、时间序列数据、连续终身因果效应、反事实生产式网络、解纠缠生成式因果表示

ICLR 2021 Submitted Paper :
https://openreview.net/group?id=ICLR.cc/2021/Conference

ICML2020CI

1、Accounting for unobserved confounding in domain generalization 

摘要:从观察到的环境到在新的相关环境进行推断或推广的能力是可靠机器学习的核心,然而大多数方法在数据过多时都会失败。在某些情况下,由于对所支配数据的因果结构的误解,特别是未观察到的干扰因子的影响,这些干扰因子使观察到的分布发生变化,并扭曲了相关性。在这篇文章中,我们提出定义关于更广泛类别的分布移位(distribution shifts)的泛化(定义为由潜在因果模型中的干预引起的),包括观察到的、未观察到的和目标变量分布的变化。我们提出了一种新的鲁棒学习原则,它可以与任何基于梯度的学习算法配对。这一学习原则具有明确的泛化保证,并将鲁棒性与因果模型中的某些不变性联系起来,表明了为什么在某些情况下,测试性能落后于训练性能。我们展示了我们的方法在来自不同模态的医疗数据(包括图像和语音数据)上的性能。

网址:

https://openreview.net/forum?id=ZqB2GD-Ixn


2、Amortized causal discovery learning to infer causal graphs from time series data

摘要:标准的因果发现方法无论何时遇到来自新的基本因果图的样本,都必须适合一个新的模型。然而,这些样本经常共享相关信息(例如,描述因果关系影响的动态信息),这些信息在遵循这种方法时会丢失。我们提出了一个新的框架-摊销因果发现(Amortized Causal Discovery),它利用这种共享的动力来学习从时间序列数据中推断因果关系。这使我们能够训练一个单一的摊销模型,该模型推断具有不同基本因果图的样本之间的因果关系,从而利用共享的信息。我们通过实验证明了这种以变分模型实现的方法在因果发现性能方面有了显著的改进,并展示了如何将其扩展以在 hidden confounding情况下很好地执行。

网址

https://openreview.net/forum?id=gW8n0uD6rl


3、Continual lifelong causal effect inference with real world evidence

摘要:当前观测数据非常容易获取,这极大地促进了因果关系推理的发展。尽管在克服因果效应估计方面的挑战方面取得了重大进展,在缺少反事实数据(counterfactual outcomes)和选择偏差的情况下,但是现有方法只关注特定于源的和稳定的观测数据。本文研究了从增量观测数据中推断因果关系的一个新的研究问题,并相应地提出了三个新的评价标准,包括可扩展性、适应性和可达性。我们提出了一种连续因果效应表示学习(Continual Causal Effect Representation Learning )方法,用于估计非平稳数据分布中增量可用的观测数据的因果效应。我们的方法不是访问所有可见的观测数据,而是仅存储从先前数据学习的有限的特征表示子集。该方法将选择性均衡表示学习、特征表示提炼和特征变换相结合,在不影响对原始数据估计能力的前提下,实现了对新数据的连续因果估计。大量实验证明了连续因果推理的重要性和方法的有效性。

网址:

https://openreview.net/forum?id=IOqr2ZyXHz1


4、Counterfactual generative networks

摘要:神经网络很容易找到学习捷径--它们经常对简单的关系进行建模,而忽略了可能更好地概括更复杂的关系。以往的图像分类工作表明,深度分类器不是学习与物体形状的联系,而是倾向于利用与低层纹理或背景的虚假相关性来解决分类任务。在这项工作中,我们朝着更健壮和可解释的分类器迈进,这些分类器显式地揭示了任务的因果结构。基于目前在深度生成建模方面的进展,我们提出将图像生成过程分解为独立的因果机制,我们在没有直接监督的情况下对这些机制进行训练。通过利用适当的归纳偏差,这些机制将对象形状、对象纹理和背景分开;因此,它们允许生成反事实图像。我们演示了我们的模型在MNIST和ImageNet上生成此类图像的能力。此外,我们还表明,尽管反事实图像是人工合成的,但它们可以在原始分类任务的性能略有下降的情况下,提高分布外的稳健性。最后,我们的生成式模型可以在单个GPU上高效地训练,利用常见的预训练模型作为归纳偏差(inductive biases)。

网址:

https://openreview.net/forum?id=BXewfAYMmJw


5、Disentangled generative causal representation learning

摘要:这篇文章提出了一种解缠的生成式因果表示(Disentangled Generative Causal Representation,DEPE)学习方法。与现有的强制独立于潜在变量的解缠方法不同,我们考虑的是潜在因素可以因果关联的一般情况。我们表明,以前的方法与独立的先验不能解开因果相关的因素。受这一发现的启发,我们提出了一种新的解缠学习方法DELE,该方法实现了因果可控生成和因果表示学习。这一新公式的关键是使用结构因果模型(SCM)作为双向生成模型的先验。然后,使用适当的GAN损失与生成器和编码器联合训练先验。我们给出了所提公式的理论证明,保证了在适当条件下的解缠因果表示学习。我们在合成和真实数据上进行了广泛的实验,以证明DEAR在因果可控生成方面的有效性,以及学习的表示在样本效率和分布稳健性方面对下游任务的好处。

网址:

https://openreview.net/forum?id=agyFqcmgl6y


6、Explaining the efficacy of counterfactually augmented data

摘要:为了减少机器学习模型对训练数据中虚假模式的依赖,研究人员最近提出通过human-in-the-loop进程来生成与事实相反的增强数据。正如在NLP中所应用的那样,给定一些文档及其(初始)标签,人类的任务是修改文本以使(给定的)反事实标签适用。重要的是,这些说明禁止进行翻转适用标签时不必要的编辑。在扩充(原始和修订)数据上训练的模型已被证明较少依赖语义无关的单词,并能更好地概括域外。虽然这项工作借鉴了因果思维,将编辑塑造为干预措施,并依靠人类的理解来评估结果,但潜在的因果模型并不清楚,也不清楚在域外评估中观察到的改进背后的原则。在这篇文章中,我们探索了一个模拟玩具(toy analog),使用线性高斯模型。我们的分析揭示了因果模型、测量噪声、域外泛化和对虚假信号的依赖之间的有趣关系。有趣的是,我们的分析表明,通过向因果特征添加噪声而损坏的数据将降低域外性能,而向非因果特征添加噪声可能会使模型在域外更加健壮。这一分析产生了有趣的见解,有助于解释反事实增强数据的有效性。最后,我们提出了一个支持这一假说的大规模实证研究。

网址:

https://openreview.net/forum?id=HHiiQKWsOcV


7、Selecting treatment effects models for domain adaptation using causal knowledge

摘要:从观察数据中选择因果推断模型来估计个体化治疗效果(ITE)是一个挑战,因为从来没有观察到反事实的结果。该问题在无监督域自适应(UDA)设置中进一步受到挑战,在该设置中,我们只能访问源域中的已标记样本,但是我们希望选择在仅有未标记样本可用的目标域上实现良好性能的模型。现有的用于UDA模型选择的技术是针对预测设置设计的。这些方法检查源域和目标域中输入协变量之间的判别密度比,并且不考虑模型在目标域中的预测。正因为如此,在源域上具有相同性能的两个模型通过现有方法将获得相同的风险分数,但在现实中,它们在测试域上具有显著不同的性能。我们利用因果结构跨域的不变性来引入一种新的模型选择度量,该度量专门针对UDA设置下的ITE模型而设计。特别是,我们建议选择对干预效果的预测满足目标领域中已知因果结构的模型。在实验上,我们的方法在几个合成和真实的医疗数据集上选择对协变量变化更稳健的ITE模型,包括估计来自不同地理位置的新冠肺炎患者的通风效果。

网址:

https://openreview.net/forum?id=AJY3fGPF1DC


请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“ICLR2021CI” 就可以获取《7篇顶会ICLR 2021因果推理(Causal Inference)相关论文的pdf下载链接~ 

文为专知编译,转载请联系本公众号获得授权

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
19

相关内容

因果推断是研究如何更加科学地识别变量间的因果关系。 客观事物普遍存在着内在的因果联系,人们只有弄清事物发展变化的前因后果,才能全面地、本质地认识事物。基干事物发展的这种规律,在论证观点时,有时就可以直接从事物本身的因果关系中进行推论,这就叫因果推断法

【导读】机器学习顶会 NeurIPS 2020, 是人工智能领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,今年NeurIPS 2020 共收到论文投稿 9454 篇,接收 1900 篇(其中 oral 论文 105 篇、spotlight 论文 280 篇),论文接收率为 20.1%。近期,NeurIPS 2020快开会了,小编发现域自适应(Domain Adaptation)相关的接受paper很多,这块研究方向近几年一直很火,并且各个CV和NLP的域自适应任务也非常多。

为此,这期小编为大家奉上NeurIPS 2020必读的六篇域自适应(Domain Adaptation)相关论文——One-shot 无监督域自适应、图模型、启发式域自适应、自监督、多源域自适应

NeurIPS 2020 Accepted Papers : https://proceedings.neurips.cc/paper/2020

NIPS2020CI、ICLR2020CI、ICML2020CI

1. Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation

作者:Yawei Luo, Ping Liu, Tao Guan, Junqing Yu, Yi Yang

摘要:我们针对One-Shot无监督域自适应的问题。与传统的无监督域适应不同,它假定学习适应时只能使用一个未标记的目标样本。这种设置是现实的,但更具挑战性,在这种情况下,传统的自适应方法由于缺少未标记的目标数据而容易失败。为此,我们提出了一种新颖的对抗式风格挖掘方法,该方法将风格迁移模块和特定于任务模块组合成对抗的方式。具体来说,风格迁移模块会根据当前的学习状态,迭代搜索One-Shot目标样本周围的较难的风格化图像,从而使任务模型探索在不可知的目标领域中难以解决的潜在风格,从而增强了数据稀缺情况下的适应性能。对抗学习框架使风格迁移模块和特定于任务模块在竞争中彼此受益。在跨域分类和分割基准方面的大量实验证明,ASM在具有挑战性的One-Shot设置下达到了最新的自适应性能。

网址:

https://www.zhuanzhi.ai/paper/a17a6668db3b566cb625eb7ac40e87c7

https://proceedings.neurips.cc/paper/2020/hash/ed265bc903a5a097f61d3ec064d96d2e-Abstract.html

2. Domain Adaptation as a Problem of Inference on Graphical Models

作者:Kun Zhang, Mingming Gong, Petar Stojanov, Biwei Huang, QINGSONG LIU, Clark Glymour

摘要:本文涉及数据驱动的无监督域自适应,在这种情况下,事先不知道跨域的联合分布如何变化,即数据分布的哪些因素或模块保持不变或跨域变化。为了研究具有多个源域的域自适应方法,我们提出使用图模型作为一种紧凑(compact)的方式来编码联合分布的变化属性,该属性可以从数据中学习,然后将域自适应视为一个关于图模型的贝叶斯推断问题。这种图模型区分了分布的恒定和变化模块,并指定了跨域变化的特性,这是变化模块的先验知识,目的是得出目标域中目标变量Y的后验。这提供了域自适应的端到端框架,可以将关于联合分布如何变化的其他知识(如果可用)直接合并以改善图表示。我们讨论如何将基于因果关系的域适应置于此保护之下。和真实数据的实验结果证明了所提出的域适应框架的功效。

代码:

https://github.com/mgong2/DA_Infer

网址:

https://www.zhuanzhi.ai/paper/0818d6de3a6b41761d811cadd46688c2

3. Heuristic Domain Adaptation

作者:shuhao cui, Xuan Jin, Shuhui Wang, Yuan He, Qingming Huang

摘要:在视觉域自适应(DA)中,将特定于域的特征与不依赖于域的表示形式分开是一个病态(ill-posed)问题。现有方法采用不同的先验方法或直接最小化域差异来解决此问题,这在处理实际情况时缺乏灵活性。另一个研究方向是将特定域的信息表示为逐步迁移的过程,这在准确删除特定域的属性方面往往不是最佳选择。在本文中,我们从启发式搜索的角度解决了域不变和域特定信息的建模问题。我们将现有的特征标识为启发式表示形式,从而导致更大的域差异。在启发式表示的指导下,我们制定了一个具有良好理论依据的启发式域自适应(HDA)原则框架。为了执行HDA,在学习过程中,将域不变和域特定表示之间的余弦相似性评分和独立性度量放入初始和最终状态的约束中。类似于启发式搜索的最终条件,我们进一步推导出一个约束,以强制约束启发式网络输出的最终范围较小。因此,我们提出了启发式域自适应网络(HDAN),该网络明确学习了具有上述约束的域不变和域特定表示。大量实验表明,HDAN在无监督DA,多源DA和半监督DA方面已超过了最新技术。

代码:

https://github.com/cuishuhao/HDA

网址:

https://proceedings.neurips.cc/paper/2020/hash/555d6702c950ecb729a966504af0a635-Abstract.html

4. Transferable Calibration with Lower Bias and Variance in Domain Adaptation

作者:Ximei Wang, Mingsheng Long, Jianmin Wang, Michael Jordan

摘要:域自适应(DA)可以将学习器从标记的源域转移到未标记的目标域。尽管已经取得了显著的进步,但大多数现有的DA方法都专注于提高推理的目标精度。如何估计DA模型的预测不确定性对于安全重要型场景中的决策至关重要,但其仍然是研究的边界。在本文中,我们研究了DA校准(Calibration)中的开放性问题,该问题是由于域转移和缺少目标标签共存所造成的,这一问题极具挑战性。我们首先揭示了DA模型以经过良好校准的概率为代价来学习更高的精度的困境。基于这一发现,我们提出了可迁移校准(TransCal),以在统一的无超参数优化框架中以较低的偏差和方差实现更准确的校准。作为常规的post-hoc 校准方法,TransCal可以轻松地应用于重新校准现有的DA方法。从理论上和经验上都证明了其有效性。

网址:

https://www.zhuanzhi.ai/paper/95aa0a2fa32cdaea974fc9d7eb4387fe

5. Universal Domain Adaptation through Self-Supervision

作者:Kuniaki Saito, Donghyun Kim, Stan Sclaroff, Kate Saenko

摘要:传统上,无监督域自适应方法假定所有源类别都存在于目标域中。实际上,对于两个域之间的类别重叠知之甚少。虽然某些方法使用部分或开放类别来解决目标设置,但它们假定特定设置是先验的。我们提出了一种更通用的域自适应框架,该框架可以处理任意类别转换,称为通过熵优化(DANCE)的域自适应邻域聚类。DANCE结合了两种新颖的思想:首先,由于我们不能完全依靠源类别来学习针对目标的判别性特征,因此我们提出了一种新颖的邻域聚类技术,以一种自监督的方式来学习目标域的结构。其次,我们使用基于熵的特征对齐和拒绝来将目标特征与源对齐,或基于它们的熵将它们拒绝为未知类别。我们通过广泛的实验表明,在开放集,开放部分和部分域适应设置中,DANCE的性能均优于基线。

代码: https://github.com/VisionLearningGroup/DANCE

网址: https://www.zhuanzhi.ai/paper/91e073dfcdb3b34bf9599e7f28185884

6. Your Classifier can Secretly Suffice Multi-Source Domain Adaptation

作者:Naveen Venkat, Jogendra Nath Kundu, Durgesh Singh, Ambareesh Revanur, R. Venkatesh Babu

摘要:多源域适应(MSDA)解决在域转移(domain-shift)下将任务知识从多个标记的源域转移到未标记的目标域。现有方法旨在使用辅助分布对齐目标来最小化该域偏移。在这项工作中,我们提出了与MSDA不同的观点,我们观察到了深度模型以在标签监督下隐式对齐域。因此,我们旨在利用隐式对齐方式而无需其他训练目标来进行适应。为此,我们使用伪标记的目标样本并在伪标记上执行分类器协议,此过程称为自监督隐式比对(SImpA1)。我们发现,即使在源域之间的类别转换下,SImpAl仍然可以轻松工作。此外,我们提出了分类器一致性作为确定训练收敛的线索,从而产生了一种简单的训练算法。我们在五个基准上对我们的方法进行了全面的评估,并对方法的每个组成部分进行了详细的分析。

网址:

https://proceedings.neurips.cc/paper/2020/hash/3181d59d19e76e902666df5c7821259a-Abstract.html

成为VIP会员查看完整内容
0
28

【导读】机器学习顶会 NeurIPS 2020, 是人工智能领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,今年NeurIPS 2020 共收到论文投稿 9454 篇,接收 1900 篇(其中 oral 论文 105 篇、spotlight 论文 280 篇),论文接收率为 20.1%。近期,所有paper list 放出,小编发现因果推理(Causal Inference)相关的接受paper很多,这块研究方向这几年受到了学术界的广泛关注,并且在CV、NLP等领域也开始应用起来。

为此,这期小编为大家奉上NeurIPS 2020必读的六篇因果推理(Causal Inference)相关论文——Covid-19传播因果分析、反事实概率方法、因果图发现、因果模仿学习、弱监督语义分割、不确定性因果效应

NeurIPS 2020 Accepted Papers : https://neurips.cc/Conferences/2020/AcceptedPapersInitial

ICLR2020CI、ICML2020CI

1. Causal analysis of Covid-19 spread in Germany

作者:Atalanti A. Mastakouri, Bernhard Schölkopf

摘要:在这项工作中,我们研究了自大流行开始以来,德国各地区在Covid-19传播方面的因果关系,并考虑了不同联邦州实施的限制政策。本文提出并证明了时间序列数据因果特征选择方法的新定理,该定理对潜在混杂因素具有鲁棒性,并将其应用于Covid-19病例编号。我们报告了病毒在德国传播的发现和限制措施的因果影响,讨论了各种政策在控制传播中的作用。由于我们的结果是基于相当有限的目标时间序列(仅是报告的病例数),因此在解释它们时应谨慎行事。然而,我们发现如此有限的数据似乎包含了因果信号。这表明,随着获得更多数据,我们的因果方法可能有助于对影响Covid-19发展的政治干预措施进行有意义的因果分析,从而也有助于制定合理的、以数据为驱动的方法来选择干预措施。

网址: https://arxiv.org/abs/2007.11896

2. Algorithmic recourse under imperfect causal knowledge: a probabilistic approach

作者:Amir-Hossein Karimi, Julius von Kügelgen, Bernhard Schölkopf, Isabel Valera

摘要:最近的工作已经讨论了反事实解释(counterfactual explanations)的局限性,以为算法追索权(algorithmic recourse)推荐行动,并认为需要考虑特征之间的因果关系。但是,在实践中,真正的潜在结构因果模型通常是未知的。在这项工作中,我们首先表明,它是不可能保证追索权(recourse)没有获得真正的结构方程。为了解决这一局限性,我们提出了两种概率方法来选择在有限的因果知识(例如:仅因果图)下以高概率实现追索的最优行动。第一个模型捕捉了加高斯噪声下结构方程的不确定性,并使用贝叶斯模型平均估计反事实分布。第二种方法通过计算追索权行为对类似于寻求追索权的平均影响,消除了结构方程上的任何假设,从而产生了一种基于亚群体的新型干预(subpopulation-based interventional notion)追索权概念。然后我们推导了一个基于梯度的程序来选择最优的追索权行动,并且经验地表明,在不完全因果知识下,所提出的方法比非概率基线下的建议更可靠。

网址: https://arxiv.org/abs/2006.06831

3. CASTLE: Regularization via Auxiliary Causal Graph Discovery

作者:Trent Kyono, Yao Zhang, Mihaela van der Schaar

摘要:正则化改进了监督模型对样本外数据的泛化。先前的研究表明,在因果方向(由原因产生的结果)上的预测比在反因果方向上的预测能产生更低的测试误差。然而,现有的正则化方法不知道因果关系。我们引入因果结构学习(CASTLE)正则化,并提出通过共同学习变量之间的因果关系来对神经网络进行正则化。CASTLE学习了因果有向无环图(DAG)作为嵌入在神经网络输入层的邻接矩阵,从而促进了最佳预测器的发现。此外,CASTLE只有效地重构具有因果邻接的因果DAG中的特征,而基于重构的正则化器则次最优地重构所有输入特征。我们为这个方法提供了一个理论泛化边界,并在大量合成和真实的公开数据集上进行实验,证明与其他流行的基准规则相比CASTLE始终导致更好的样本外预测。

网址: https://arxiv.org/abs/2009.13180

4. Causal Imitation Learning with Unobserved Confounders

作者:Junzhe Zhang, Daniel Kumor, Elias Bareinboim

摘要:儿童学习的一种常见方式就是模仿成年人。模仿学习的重点是学习策略与适当的表现,该策略具有由专家产生的演示的适当性能,并具有未指定的性能度量和未观察到的奖励信号。模仿学习的流行方法首先是直接模仿专家的行为策略(行为克隆),或者学习优先观察专家轨迹的奖励函数(逆强化学习)。然而,这些方法依赖于这样一种假设,即专家用来确定其行动的协变量得到了充分观察。在本文中,我们放松这一假设,在学习者和专家的感官输入不同的情况下研究模仿学习。首先,我们提供了一个完整的(既必要又充分的)非参数的图形标准,用于确定模仿的可行性,该标准由有关潜在环境的示范数据和定性假设的组合,以因果模型的形式表示。然后我们表明,当这样一个标准不成立时,模仿仍然可以利用专家轨迹的定量知识。最后,我们开发了一个从专家轨迹学习模仿政策的有效程序。

网址: https://causalai.net/r66.pdf

5. Causal Intervention for Weakly-Supervised Semantic Segmentation

作者:Dong Zhang, Hanwang Zhang, Jinhui Tang, Xiansheng Hua, Qianru Sun

摘要:我们提出了一个因果推理框架来改进弱监督语义分割。具体来说,我们的目标是通过仅使用图像级标签(WSSS中最关键的一步)来生成更好的像素级伪图像。我们将伪掩码(pseudo-masks)的边界不明确的原因归因于混淆的上下文。例如,“马”和“人”的正确图像级别分类可能不仅是由于每个实例的识别,还包括它们的共同作用,而且在他们共现的背景下,使模型检验(如:CAM)难以区分界限。受此启发,我们提出一个结构因果模型来分析图像、上下文和类别标签之间的因果关系。在此基础上,我们提出了一种新的方法:上下文调整(CONTA),以消除图像级分类中的混淆偏差,从而为后续的分割模型提供更好的伪掩码(pseudo-masks)作为ground-truth。在PASCAL VOC 2012和MS-COCO上,我们展示了CONTA将各种流行的WSSS方法提升到新的状态。

代码: https://github.com/ZHANGDONG-NJUST/CONTA

网址: https://arxiv.org/abs/2009.12547

6. Identifying Causal-Effect Inference Failure with Uncertainty-Aware Models

作者:Andrew Jesson, Sören Mindermann, Uri Shalit, Yarin Gal

摘要:为个人推荐最佳的行动是个人级别因果效应估计的主要应用。在诸如医疗保健等对安全至关重要的领域中,经常需要此应用程序,在这些领域中,对不确定性进行评估并与决策者进行交流至关重要。我们介绍了一种实用的方法,将不确定性估计集成到一类先进的神经网络方法用于个体水平的因果估计。我们的方法使我们能够优雅地处理高维数据中常见的“无重叠”情况,在这种情况下,因果效应方法的标准应用失败了。此外,我们的方法允许我们处理协变量变换,即训练和测试分布不同的情况,这在系统实际部署时很常见。我们表明,当这种协变量变化发生时,正确的建模不确定性可以防止我们给出过度自信和潜在的有害建议。我们用一系列最先进的模型来演示我们的方法。在协变量转移和缺乏重叠的情况下,我们的 uncertainty-equipped方法可以在预测不可信时向决策者发出警告,同时性能优于使用倾向评分来识别缺乏重叠的标准方法。

网址: https://arxiv.org/abs/2007.00163

成为VIP会员查看完整内容
0
53

【导读】机器学习顶会 NeurIPS 2020, 是人工智能领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,今年NeurIPS 2020 共收到论文投稿 9454 篇,接收 1900 篇(其中 oral 论文 105 篇、spotlight 论文 280 篇),论文接收率为 20.1%。近期,所有paper list 放出,小编发现**对比学习(Contrastive Learning)**相关的投稿paper很多,这块研究方向这几年受到了学术界的广泛关注,并且在CV、NLP等领域也应用颇多。

为此,这期小编为大家奉上NeurIPS 2020必读的七篇对比学习相关论文——对抗自监督对比学习、局部对比学习、难样本对比学习、多标签对比预测编码、自步对比学习、有监督对比学习

NeurIPS 2020 Accepted Papers:https://neurips.cc/Conferences/2020/AcceptedPapersInitial

ICLR2020CI ICML2020CI

1. Adversarial Self-Supervised Contrastive Learning

作者: Minseon Kim, Jihoon Tack, Sung Ju Hwang

摘要: 现有的对抗性学习方法大多使用类别标签来生成导致错误预测的对抗性样本,然后使用这些样本来增强模型的训练,以提高鲁棒性。虽然最近的一些工作提出了利用未标记数据的半监督对抗性学习方法,但它们仍然需要类别标签。然而,我们真的需要类别标签来进行反向的深度神经网络的健壮训练吗?本文提出了一种新的针对未标记数据的对抗性攻击,使得该模型混淆了扰动数据样本的实例级身份。此外,我们还提出了一种自监督对比学习(Contrastive Learning)框架来对抗性地训练未标记数据的鲁棒神经网络,其目的是最大化数据样本的随机扩充与其实例对抗性扰动之间的相似度。我们在多个基准数据集上验证了我们的方法-鲁棒对比学习(RoCL),在这些数据集上,它获得了与最新的有监督对抗性学习方法相当的鲁棒准确率,并且显著地提高了对黑盒和不可见类型攻击的鲁棒性。此外,与单独使用自监督学习相比,RoCL进一步结合有监督对抗性损失进行联合微调,获得了更高的鲁棒精度。值得注意的是,RoCL在稳健的迁移学习方面也显示出令人印象深刻的结果。

网址: https://arxiv.org/abs/2006.07589

2. Contrastive learning of global and local features for medical image segmentation with limited annotations

作者: Krishna Chaitanya, Ertunc Erdil, Neerav Karani, Ender Konukoglu

摘要: 有监督深度学习成功的一个关键要求是一个大的标记数据集——这是医学图像分析中难以满足的条件。自监督学习(SSL)可以在这方面提供帮助,因为它提供了一种用未标记的数据预训练神经网络的策略,然后用有限的样本标注对下游任务进行微调。对比学习是SSL的一种特殊变体,是一种学习图像级表征的强大技术。在这项工作中,我们提出了一种策略,通过利用领域内一些特点,在标注有限的半监督场景下来扩展volumetric 医疗图像分割的对比学习框架。具体地,我们提出了:(1)新颖的对比策略,它利用volumetric 医学图像之间的结构相似性(领域特定线索);(2)对比损失的局部信息来学习对每个像素分割有用的局部区域的独特表示(问题特定线索)。我们在三个磁共振成像(MRI)数据集上进行了广泛的评估。在有限的标注环境下,与其他的自监督和半监督学习技术相比,本文提出的方法有了很大的改进。当与简单的数据增强技术相结合时,该方法仅使用两个标记的MRI体积用于训练,达到基准性能的8%以内,相当于用于训练基准的训练数据ACDC的4%。

网址: https://arxiv.org/abs/2006.10511

3. LoCo: Local Contrastive Representation Learning

作者: Yuwen Xiong, Mengye Ren, Raquel Urtasun

摘要: 深度神经网络通常执行端到端反向传播来学习权重,该过程在跨层的权重更新步骤中创建同步约束(synchronization constraints),并且这种约束在生物学上是不可信的。无监督对比表示学习的最新进展指出一个问题,即学习算法是否也可以是局部的,即下层的更新不直接依赖于上层的计算。虽然Greedy InfoMax分别学习每个块的局部目标,但我们发现,在最新的无监督对比学习算法中,可能是由于贪婪的目标以及梯度隔离,会一直损害readout的准确性。在这项工作中,我们发现,通过重叠局部块堆叠在一起,我们有效地增加了解码器的深度,并允许较高的块隐式地向较低的块发送反馈。这种简单的设计首次缩小了局部学习算法和端到端对比学习算法之间的性能差距。除了标准的ImageNet实验,我们还展示了复杂下游任务的结果,例如直接使用readout功能进行对象检测和实例分割。

网址: https://arxiv.org/abs/2008.01342

4. Hard Negative Mixing for Contrastive Learning

作者: Yannis Kalantidis, Mert Bulent Sariyildiz, Noe Pion, Philippe Weinzaepfel, Diane Larlus

摘要: 对比学习已成为计算机视觉中自监督学习方法的重要组成部分。通过学习将同一图像的两个增强版本相互靠近地图像嵌入,并将不同图像的嵌入分开,可以训练高度可迁移的视觉表示。最近的研究表明,大量的数据增强和大量的负样本集对于学习这样的表征都是至关重要的。同时,无论是在图像层面还是在特征层面,数据混合策略都通过合成新的示例来改进监督和半监督学习,迫使网络学习更健壮的特征。在这篇文章中,我们认为对比学习的一个重要方面,即hard negatives的影响,到目前为止被忽视了。为了获得更有意义的负样本,目前最流行的对比自监督学习方法要么大幅增加batch sizes大小,要么保留非常大的内存库;然而,增加内存需求会导致性能回报递减。因此,我们从更深入地研究一个表现最好的框架开始,并展示出证据,为了促进更好、更快的学习,需要更难的难样本(harder negatives)。基于这些观察结果,并受到数据混合策略成功的激励,我们提出了特征级别的难例混合策略,该策略可以用最小的计算开销在运行中进行计算。我们在线性分类、目标检测和实例分割方面对我们的方法进行了详尽的改进,并表明使用我们的难例混合过程提高了通过最先进的自监督学习方法学习的视觉表示的质量。

代码: https://europe.naverlabs.com/mochi

网址: https://arxiv.org/abs/2010.01028

5. Multi-label Contrastive Predictive Coding

作者: Jiaming Song, Stefano Ermon

摘要: 变量互信息(mutual information, MI)估计器广泛应用于对比预测编码(CPC)等无监督表示学习方法中。MI的下界可以从多类分类问题中得到,其中critic试图区分从潜在联合分布中提取的正样本和从合适的建议分布中提取的(m−1)个负样本。使用这种方法,MI估计值超过log m,因此有效下界可能会严重低估,除非m非常大。为了克服这一局限性,我们引入了一种新的基于多标签分类问题的估计器,其中critic需要同时联合识别多个正样本。我们证明了在使用相同数量的负样本的情况下,多标签CPC能够超过log m界,同时仍然是互信息的有效下界。我们证明了所提出的方法能够带来更好的互信息估计,在无监督表示学习中获得经验上的改进,并且在13个任务中超过了最先进的10个知识提取方法。

网址:

https://arxiv.org/abs/2007.09852

6. Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

作者: Yixiao Ge, Feng Zhu, Dapeng Chen, Rui Zhao, Hongsheng Li

摘要: 域自适应目标Re-ID旨在将学习到的知识从已标记的源域转移到未标记的目标域,以解决开放类(open-class)的重识别问题。虽然现有的基于伪标签的方法已经取得了很大的成功,但是由于域的鸿沟和聚类性能的不理想,它们并没有充分利用所有有价值的信息。为了解决这些问题,我们提出了一种新的具有混合记忆的自适应对比学习框架。混合存储器动态地生成用于学习特征表示的源域类级、目标域簇级和未聚类实例级监督信号。与传统的对比学习策略不同,该框架联合区分了源域类、目标域簇和未聚类实例。最重要的是,所提出的自适应方法逐渐产生更可靠的簇来提炼混合记忆和学习目标,这被证明是我们方法的关键。我们的方法在目标 Re-ID的多域适配任务上的性能优于现有技术,甚至在源域上不需要任何额外的标注就能提高性能。在Market1501和MSMT17数据上,我们的无监督目标Re-ID的通用版本分别比最先进的算法高出16.7%和7.9%。

代码: https://github.com/yxgeee/SpCL

网址: https://arxiv.org/abs/2006.02713

7. Supervised Contrastive Learning

作者: Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan

摘要: 交叉熵是图像分类模型监督训练中应用最广泛的损失函数。在本文中,我们提出了一种新的训练方法,该方法在不同的体系结构和数据增强的监督学习任务中始终优于交叉熵。我们修正了批量对比损失,它最近被证明在自监督环境下学习强大的表示是非常有效的。因此,我们能够比交叉熵更有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉在一起,同时推开来自不同类的样本簇。除此之外,我们还利用了大的batch sizes和标准化嵌入等关键因素,这些因素已被证明有利于自监督学习。在ResNet-50和ResNet-200上,我们的性能都比交叉熵高出1%以上,在使用 AutoAugment数据增强的方法中创造了78.8%的新技术水平。在校准和准确度方面,这一损失也显示出在标准基准上对自然损坏的稳健性有明显的好处。与交叉熵相比,我们的监督对比损失对诸如优化器或数据增强等超参数设置更稳定。

网址: https://arxiv.org/abs/2004.11362

成为VIP会员查看完整内容
0
53

【导读】人工智能顶会 ICLR 2021 即国际表征学习大会, 是人工智能领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,今年共有3013篇论文提交。ICLR 采用公开评审,可以提前看到这些论文。小编发现推荐系统(Recommendation System)相关的投稿paper很多,和常见的推荐系统paper不太一样,投稿的大部分理论研究偏多,希望大家多多关注。

为此,这期小编继续为大家奉上ICLR 2021必读的六篇推荐系统投稿相关论文——深度隐变量模型、可解释关系表示模型、多方面信任推荐、不确定性推荐、循环探索网络、分解推荐

ICLR 2021 Submitted Paper: https://openreview.net/group?id=ICLR.cc/2021/Conference

ICLR2020CI、ICML2020CI

1. DEEPLTRS: A Deep Latent Recommender System based on User Ratings and Reviews

摘要:为了给用户提供基于观察到的用户评分和商品评论文本的高质量推荐,我们引入了一个深度隐变量推荐系统(deep latent recommender system, deepLTRS)。Latent的动机是,当用户只给几个产品打分时,评论中的文本信息是一个重要的信息来源。评论信息的加入可以缓解数据稀疏性,从而增强模型的预测能力。我们的方法采用变分自编码器结构作为生成性深度隐变量模型,用于编码用户对产品的评分的有序矩阵(ordinal matrix)和评论的文档术语矩阵。此外,与唯一的基于用户或基于项目的模型不同,Deep LTRS假定用户和产品都具有潜在的表示。我们提出了一种交替的用户/产品小批量优化结构,用于联合捕获用户和商品的偏好。在模拟和真实数据集上的数值实验表明,Deep LTRS的性能优于最新技术,特别是在极端数据稀疏的情况下。

网址: https://openreview.net/forum?id=JUc6-1xuOX

2. Interpretable Relational Representations For Food Ingredient Recommendation Systems

摘要:食物配料推荐系统支持厨师创造新的食谱是具有挑战性的,因为好的配料组合取决于许多因素,如味道、气味、烹饪风格、质地等。使用机器学习来解决这些问题的尝试很少。重要的是,有用的模型不仅需要准确,更重要的是-特别是对于食品专业人士-是可解释的。为了解决这些问题,我们提出了可解释关系表示模型(Interpretable Relational Representation Model, IRRM)。该模型的主要组成部分是一个键-值记忆网络,用于表示成分之间的关系。我们提出并测试了该模型的两个变体。一个可以通过可训练的记忆网络(隐式模型)学习潜在的关系表示,而另一个可以通过集成外部知识库(显式模型)的预训练的记忆网络学习可解释的关系表示。模型产生的关系表示是可解释的-它们允许核对为什么建议某些配料配对。显式模型还允许集成任何数量的手动指定的约束。我们在分别有45,772个食谱的CulinaryDB和55,001个食谱的Flavorne这两个食谱数据集上进行了实验。实验结果表明,我们的模型具有预测性和信息性。

网址: https://openreview.net/forum?id=48goXfYCVFX

3. Multi-faceted Trust Based Recommendation System

摘要:推荐系统对用户在互联网上做出的选择中起着决定性的作用。他们寻求为用户量身定做决策。由于人们认为用户与他们信任的人相似,会做出与这些用户相似的选择,这使得信任(trust)成为推荐系统中的一个非常重要的因素。在协同推荐系统(collaborative recommendation systems)中,信任及其对人们选择的影响已经被广泛研究。可以理为,信任不是一层不变的,而是可以随上下文变化的。最近在基于信任的推荐系统领域的研究表明,使用基于trust的方法极大地提高了推荐质量(Mauro等人,2019年;Fang等人,2015年)。我们提出了一个推荐系统,该系统在考虑产是否适合特定用户的同时,考虑了信任的多个方面。这种基于多方面信任的推荐器(MFTBR)体系结构考虑到了可扩展性--不需要太多的努力就可以添加新的信任方面--并且不会对动态性信任方面进行任意加权。取而代之的是,通过神经网络优化权重以获得最佳结果。这里考虑的信任方面是本地信任、全局信任和类别信任。MFTBR的性能明显好于基本协同过滤-U2UCF(C.Desrosiers,2011),以及社交和基于信任的推荐系统领域的一些成熟模型-MTR(Mauro等人,2019年)和SocialFD(Yu等人,2017年)。因此,我们的模型不仅考虑了信任对推荐的影响,而且考虑了信任建立的上下文,从而提供了更接近现实生活中的推荐。

网址: https://openreview.net/forum?id=tUNXLHsIx3r

4. PURE: an Uncertainty-aware Recommendation Framework for Maximizing Expected Posterior Utility of Platform

摘要:商业推荐可以看作是推荐平台与其目标用户之间的互动过程。平台的一个关键问题是如何充分利用其优势,使其效用最大化,即推荐所带来的商业利益。本文提出了一种新的推荐框架,该框架有效地利用了用户在不同项目维度上的不确定性信息,并且显式地考虑了展示策略对用户的影响,从而使平台获得最大的期望后验概率(maximal expected posterior)。我们将获得最大期望后验概率的最优策略问题描述为一个约束非凸优化问题,并进一步提出了一种基于ADMM的解来导出近似最优策略。通过对从真实推荐平台收集的数据进行了大量的实验,验证了该框架的有效性。此外,我们亦采用建议的架构框架进行试验,以揭示平台如何取得商业效益。研究结果表明,平台应满足用户对用户喜欢的商品维度的偏好,而对于用户不确定性较高的商品维度,该平台可以通过推荐实用性高的商品来获得更多的商业收益。

网址: https://openreview.net/forum?id=D5Wt3FtvCF

5. Recurrent Exploration Networks for Recommender Systems

摘要:循环神经网络已被证明在推荐系统建模序列用户反馈方面是有效的。然而,它们通常只关注项目相关性,而不能有效地为用户挖掘多样化的项目,从而在长远来看损害了系统的性能。为了解决这个问题,我们提出了一种新型的循环神经网络,称为循环探索网络( recurrent exploration networks, REN),在潜在空间中联合进行表示学习和有效探索。试图平衡相关性和探索性,同时考虑到表征中的不确定性。我们的理论分析表明,即使在学习的表示存在不确定性的情况下,REN也可以保持速率最优的 sublinear regret(Chu等人,2011)。我们的实验研究表明,REN在合成和真实推荐数据集上都能获得令人满意的长期回报,表现优于最先进的模型。

网址: https://openreview.net/forum?id=WN_6sThEI_-

6. Untangle: Critiquing Disentangled Recommendations

摘要:大多数协同过滤方法背后的核心原则是将用户和项目嵌入到潜在空间中,在潜在空间中,独立于任何特定项目属性学习各个维度。因此,用户很难基于特定方面(评论)控制他们的推荐。在这项工作中,我们提出了Untangle:一种推荐模型,它允许用户相对于特定的项目属性(例如,不那么暴力的、更有趣的电影)控制推荐列表,这些属性在用户偏好中具有因果关系。Untangle使用精细化的训练过程,通过训练:(i)一部分监督的β-VAE来解开(disentangles)项目表示,以及(ii)第二阶段,其优化以生成对用户的推荐。Untangle可以根据用户喜好控制对推荐的评论,而不会牺牲推荐的准确性。此外,只需要极少的标签项就可以创建与属性无关的偏好表示。

网址: https://openreview.net/forum?id=pdsec2YIOCx

成为VIP会员查看完整内容
0
36

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会已于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。小编发现基于域自适应(Domain Adaptation)相关的paper也不少,域自适应及其在不同方式的转换和应用等等都是这几年比较火的topic,受到了很多人的关注。

为此,这期小编继续为大家奉上ICML 2020必读的六篇域自适应(Domain Adaptation)相关论文——连续域自适应、多源域自适应、无监督域自适应、少样本域自适应、开放集域自适应

ICML 2020 Accepted Paper: https://proceedings.icml.cc/book/2020

ICML2020ML、ICML2020CL、ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、Continuously Indexed Domain Adaptation

作者:Hao Wang, Hao He, Dina Katabi

摘要:现有的域自适应集中于在具有分类索引的领域之间(例如,在数据集A和B之间)传递知识。然而,许多任务涉及连续索引的域。例如,在医疗应用中,人们经常需要在不同年龄的患者之间进行疾病分析和预测,而年龄是连续领域的指标。这样的任务对于现有的域自适应方法是有挑战性的,因为它们忽略了领域之间的潜在关系。在本文中,我们第一个提出了连续索引域自适应的方法。该方法将传统的对抗性适应与新颖的鉴别器相结合,该鉴别器对编码条件下的域索引分布进行建模。我们的理论分析证明了利用域索引在连续域范围内生成不变特征的意义。我们的实验结果表明,我们的方法在综合医学数据集和实际医学数据集上均优于最先进的域自适应方法。

代码链接: https://github.com/hehaodele/CIDA

网址: https://proceedings.icml.cc/paper/2020/hash/9a1756fd0c741126d7bbd4b692ccbd91

2、Domain Aggregation Networks for Multi-Source Domain Adaptation

作者:Junfeng Wen, Russell Greiner, Dale Schuurmans

摘要:在许多实际应用中,我们希望利用多个源数据集为不同但相关的目标数据集建立模型。尽管最近在经验上取得了成功,但大多数现有的研究都是采用特别的方法来组合多种来源,从而导致理论与实践之间的差距。本文提出了一种基于域差异的有限样本泛化边界,并据此提出了一种理论上合理的优化方法。我们的算法,Domain AggRegation Network(DARN),能够自动、动态地平衡包含更多数据以增加有效样本量和排除无关数据以避免训练过程中的负面影响。我们发现,DARN在多个实际任务(包括数字/对象识别和情感分析)上性能明显优于现有的最新技术。

网址: https://proceedings.icml.cc/paper/2020/hash/89d3d7800304002cd469f0c402bd3ea0

3、Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation

作者:Jian Liang, Dapeng Hu, Jiashi Feng

摘要:无监督域自适应(UDA)的目的是利用从标记的源数据集中学习的知识来解决新的未标记域中的相似任务。以前的UDA方法通常需要在学习适应模型时访问源数据,这使得它们对于分散的私有数据来说风险很大,效率低下。这项工作解决了一个只有经过训练的源模型可用的新环境,并研究了如何在没有源数据的情况下有效地利用这种模型来解决UDA问题。我们提出了一个简单而通用的表示学习框架,称为源假设迁移(SHOT)。SHOT冻结了源模型的分类器模块(假设),通过利用信息最大化和自监督伪标记将目标域的表示隐式地与源假设对齐,从而学习了特定于目标的特征提取模块。为了验证它的通用性,我们对SHOT在各种适应情况下进行了评估,包括闭集、部分集和开集域适配。实验表明,SHOT在多个域自适应基准中产生了最先进的结果。

代码链接: https://github.com/tim-learn/SHOT

网址: https://proceedings.icml.cc/paper/2020/hash/a597e50502f5ff68e3e25b9114205d4a

4、Few-shot Domain Adaptation by Causal Mechanism Transfer

作者:Takeshi Teshima, Issei Sato, Masashi Sugiyama

摘要:我们研究将少样本自监督域自适应方法应用于回归类问题,其中只有少量的已标记的目标域数据和大量的已标记源域数据可用。目前的许多域适应方法的转移条件都是基于参数化分布偏移或明显的分布相似性,例如相同的条件或很小的分布差异。然而,这些假设排除了在复杂的迁移环境或者明显不同的分布中适应的可能性。为了克服这个问题,我们提出了机制迁移(mechanism transfer),这是一种元分布场景,其中数据生成机制在域之间是不变的。这种迁移假设可以适应非参数化偏移所导致的明显的分布差异,同时也为域自适应学习提供一个坚实的统计基础。本文以因果模型中的结构方程为例,提出了一种新的域自适应学习方法,该方法在理论和实验上都表明了良好的可用性。我们提出的方法可以看做是第一次尝试利用结构因果模型来进行域自适应学习。

代码链接: https://github.com/takeshi-teshima/few-shot-domain-adaptation-by-causal-mechanism-transfer

网址:

https://proceedings.icml.cc/paper/2020/hash/3a15c7d0bbe60300a39f76f8a5ba6896

5、Margin-aware Adversarial Domain Adaptation with Optimal Transport

作者:Sofien Dhouib, Ievgen Redko, Carole Lartizien

摘要:本文对于无监督域适应学习提出了一种新的理论分析方法,涉及大边际分离,对抗性学习和最优传输。我们提出这种分析方法一般化了之前通过对目标边界违规率进行限定的工作,结果表明出对目标域类别进行分离质量控制优于对误分类率进行限定。该边界还强调了源域上的边际分离对自适应的好处,并引入了基于最优传输(OT)的域间距离,该距离与其他方法不同之处在于其依赖于具体的任务。从目前所获得的结果看,我们得到了一个新的域自适应解决方案,该方案引入了一种新的基于浅OT的对抗方法,并且在一些现实世界中的分类任务上优于其他域自适应方法。

代码链接: https://github.com/sofiendhouib/MADAOT

网址: https://proceedings.icml.cc/paper/2020/hash/1102a326d5f7c9e04fc3c89d0ede88c9

6、Progressive Graph Learning for Open-Set Domain Adaptation

作者:Yadan Luo, Zijian Wang, Zi Huang, Mahsa Baktashmotlagh

摘要:域偏移是计算机视觉识别中的一个基本问题,通常在源数据和目标数据遵循不同的分布时出现。现有的域适应方法都是在闭集环境下工作的,即假设源数据和目标数据共享完全相同的对象。在这篇论文中,我们解决了一个开放域在迁移时所面临的现实问题:目标域中所包含的一些样本类别在源域中并不存在。具体来说,本文提出了一种端到端的渐进式(PGL)学习框架,该框架集成了一个已训练过的图神经网络来抑制潜在的条件转移,并采用对抗性学习来缩小源域和目标域之间的分布差异。与目前的开放域自适应方法相比,我们的方法能够保证更加接近目标误差的上限。在三个公共基准数据集上的大量实验证明,我们的方法在开放域适应方面的性能明显优于目前的其他方法。

网址: https://proceedings.icml.cc/paper/2020/hash/42a0e188f5033bc65bf8d78622277c4e

成为VIP会员查看完整内容
0
40

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会已于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。小编发现基于因果推理(Causal Inference)相关的paper很多,因果推理,以及反事实等相关理论方法在CV、NLP都开始有相关的应用了,这个前沿的方法受到了很多人的关注。

为此,这期小编继续为大家奉上ICML 2020必读的六篇因果推理(Causal Inference)相关论文——隐私攻击、因果效应估计、分层贝叶斯模型、反事实交叉验证、协变量表示

ICML 2020 Accepted Paper: https://proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、

1、Alleviating Privacy Attacks via Causal Learning

作者:Shruti Tople, Amit Sharma, Aditya V. Nori

摘要:机器学习模型,特别是深度神经网络,已经被证明容易受到隐私攻击,例如成员关系推理(membership inference),在这种情况下,对手可以检测到数据点是否被用于训练黑盒模型。当模型用于预测不可知数据分布时,这样的隐私风险就会加剧。为了减轻隐私攻击,我们展示了基于输入特征和结果之间因果关系预测模型的好处。我们首先表明,使用因果结构学习的模型可以更好地推广到不可知数据(unseen data),特别是在与训练分布具有不同分布的数据上。基于这一性质,我们建立了因果关系和隐私之间的理论联系:与关联模型相比,因果模型提供了更强的区分隐私保证,并且对成员关系推理攻击具有更强的鲁棒性。在模拟的Bayesian networks和colored-MNIST数据集上的实验表明,在不同的测试分布和样本大小情况下,关联模型的攻击准确率高达80%,而因果模型的攻击准确率接近随机猜测。

网址: https://proceedings.icml.cc/paper/2020/file/4a11654ad1e1e48352252859ff3032a0-Paper.pdf

2、Causal Effect Estimation and Optimal Dose Suggestions in Mobile Health International Conference on Machine Learning

作者:Liangyu Zhu, Wenbin Lu, Rui Song

摘要:在这篇文章中,我们提出了新的结构性嵌套模型(nested models)来估计基于移动健康数据的持续治疗的因果效应(causal effects)。为了找到优化患者预期短期结果的治疗方案,我们将加权lag-K advantage定义为价值函数。然后将最优干预方案为使价值函数最大化的方案。我们的方法对数据生成过程施加了最小的假设。对估计的参数进行统计推断。模拟研究和在Ohio type 1 diabetes 数据集的应用表明,我们的方法可以为移动健康数据的剂量建议提供有意义的见解。

网址: https://proceedings.icml.cc/paper/2020/file/286674e3082feb7e5afb92777e48821f-Paper.pdf

3、Causal Inference using Gaussian Processes with Structured Latent Confounders

作者:Sam Witty, Kenta Takatsu, David Jensen, Vikash Mansinghka

摘要:潜在干扰因子(confounders)-影响介入选择和结果的一些未观察到的变量-可能会对因果效应的估计产生偏差。在某些情况下,这些干扰因子在不同的观察中是相同的,例如,一所学校的所有学生除了单独接受任何教育的干预外,还受到学校文化的影响。本文展示了如何对具有这种结构的潜在干扰因子进行建模,从而改进对因果效应的估计。主要创新点是分层贝叶斯模型、带结构干扰因子的高斯过程(Gaussian processes with structured latent confounders, GP-SLC)和基于椭圆切片采样(elliptical slice sampling)的蒙特卡罗推理(Monte Carlo inference)算法。GP-SLC提供个体治疗效果的原则性贝叶斯不确定性估计,对与干扰因子、协变量、介入和结果相关的函数形式的假设最少。本文还证明,对于线性函数形式,考虑潜在干扰因子中的结构对于因果效应的渐近相容估计是充分的。最后,本文证明了GP-SLC与等级线性模型( multi-level linear models)和贝叶斯加性回归树(Bayesian additive regression trees)等广泛使用的因果推理技术相比具有竞争力或更高的精确度。基准数据集包括 Infant Health 和Development Program ,以及显示温度变化对整个新英格兰全州能源消耗的影响的数据集。

网址: https://proceedings.icml.cc/paper/2020/file/56bd37d3a2fda0f2f41925019c81011d-Paper.pdf

4、Counterfactual Cross-Validation:Stable Model Selection Procedure for Causal Inference Models

作者:Yuta Saito, Shota Yasui

摘要:本文研究了conditional average treatment effect(CATE)预测中的模型选择问题。与以往的研究工作不同,我们的重点是保持候选CATE预测器性能的等级顺序,以便能够准确和稳定地选择模型。为此,我们分析了模型的性能排名问题,并制定了指导方针,以获得更好的评价指标。然后,我们提出了一种新的度量方法,它可以高置信度地识别CATE预测器的性能排名。实验评估表明,我们的度量方法在模型选择和超参数调整任务上都优于现有的度量方法。

网址: https://proceedings.icml.cc/paper/2020/file/dc6a70712a252123c40d2adba6a11d84-Paper.pdf

5、DeepMatch: Balancing Deep Covariate Representations for Causal Inference Using Adversarial Training

作者:Nathan Kallus

摘要:当丰富的协变量(covariates)和复杂的关系需要灵活的神经网络建模时,我们研究了从观测数据中进行因果推理时,如何平衡其协变量表示。在这种情况下,诸如倾向于加权和匹配/平衡之类的标准方法分别会因为未正确校正的倾向网络和不合适的协变量表示而失败。我们提出了一种基于权重和判别器网络的对抗训练的新方法,可以有效地解决这种方法上的差距。这是经过新的理论特征和基于合成与临床数据的经验结果证明的,这些结果表明在这种挑战性的环境中如何解决因果分析。

网址: https://proceedings.icml.cc/paper/2020/file/6e3197aae95c2ff8fcab35cb730f6a86-Paper.pdf

6、Efficient Identification in Linear Structural Causal Models with Auxiliary Cutsets

作者:Daniel Kumor, Carlos Cinelli, Elias Bareinboim

摘要:我们提出了一种新的多项式时间(polynomial-time)算法来识别线性因果模型中的结构系数,它包含了以前最先进的方法,统一了几种不同的识别方法。在这些结果的基础上,我们开发了一种识别线性系统中总因果效应的程序。

网址: https://proceedings.icml.cc/paper/2020/file/b635f9e3c038855c68c2704f08caeee1-Paper.pdf

成为VIP会员查看完整内容
0
77

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会已于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。ICML官网公布了接受论文列表,小编发现基于Graph相关的paper依然很多,为此,上个月专知小编为大家整理了图神经网络相关的论文,这期小编继续为大家奉上ICML 2020必读的五篇图神经网络(GNN)相关论文-Part 2——贝叶斯GNN、连续GNN、Faster图嵌入、深度GCN、图Pooling、

ICML 2020 Accepted Paper: https://proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、

1. Bayesian Graph Neural Networks with Adaptive Connection Sampling

作者:Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffifield, Krishna Narayanan, Xiaoning Qian

摘要:我们提出了一个用于图神经网络(GNNs)自适应连接采样(connection sampling)的统一框架,该框架概括了现有的用于训练GNN的随机正则化方法。该框架不仅缓解了深层GNNs的过平滑和过拟合趋势,而且使得GNNs在图分析任务中的不确定性学习成为可能。与现有的随机正则化方法那样使用固定的采样率或手动调整它们作为模型超参数不同,我们的自适应连接采样可以与GNN模型参数以全局和局部的方式联合训练。具有自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上的消融实验结果验证了自适应学习采样率是在半监督节点分类任务中提高GNNs性能的关键,使其不容易过平滑和过拟合,具有更稳健的预测能力。

网址: https://proceedings.icml.cc/book/4229.pdf

2.Continuous Graph Neural Networks

作者:Louis-Pascal A. C. Xhonneux, Meng Qu, Jian Tang

摘要:本文建立在图神经网络与传统动力系统之间的联系之上。我们提出了连续图神经网络(Continuous Graph Neural Networks, CGNN),由于CGNN可以看作是一种特定的离散化方案,它进一步推广了现有的具有离散动力学的图神经网络。其核心思想是如何刻画节点表示的连续动力学,即节点表示的导数。受现有的基于图扩散的方法(如社会网络上的PageRank模型和流行病模型)的启发,我们将导数定义为当前节点表示、邻居表示和节点初始值的组合。我们提出并分析了图上的两种可能的动力学--包括节点表示的每一维(也称为特征通道)独立改变或者彼此交互-这两者都有理论上的合理性。所提出的连续图神经网络对过于过平滑具有较强的鲁棒性,因此可以建立更深层次的网络,从而能够捕获节点之间的长期依赖关系。在节点分类任务上的实验结果证明了我们提出的方法在与基线模型竞争上的有效性。

网址: https://proceedings.icml.cc/book/3916.pdf

3.Faster Graph Embeddings via Coarsening

作者:Matthew Fahrbach, Gramoz Goranci, Richard Peng, Sushant Sachdeva, Chi Wang

摘要:图嵌入是一种普遍适用于机器学习任务的工具,如图结构数据上的节点分类和连接预测。然而,即使我们只对相关顶点的一小部分感兴趣,计算大规模图嵌入的效率也是很低的。为了解决这个问题,我们提出了一种基于Schur补(Schur complements)的有效图粗化方法,用于计算相关顶点的嵌入。我们证明了这些嵌入被不相关顶点上通过高斯消去法得到的Schur补图精确地保存。由于计算Schur补的代价很高,我们给出了一个近似线性的时间算法,该算法在每次迭代中在相关顶点上生成一个粗化图,该粗化图在期望上与Schur补相匹配。我们在图上进行的预测任务实验表明,计算嵌入到粗化图上,而不是整个图上,在不牺牲精度的情况下,可以节省大量的时间。

网址: https://proceedings.icml.cc/book/4104.pdf

4. Simple and Deep Graph Convolutional Networks

作者:Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li

摘要:图卷积网络(GCNS)是一种强大的图结构数据深度学习方法。最近,GCNS及其变体在真实数据集上的各个应用领域都显示出了优异的性能。尽管取得了成功,但由于过平滑的问题,目前的大多数GCN模型都很浅。本文研究了深图卷积网络的设计与分析问题。我们提出了GCNII模型,它是对普通GCN模型的扩展,使用了两个简单而有效的技术:初始残差和恒等映射(Identity mapping)。我们提供了理论和实验证据,证明这两种技术有效地缓解了过平滑问题。我们的实验表明,深度GCNII模型在各种半监督和全监督任务上的性能优于最先进的方法。

网址: https://proceedings.icml.cc/book/3586.pdf

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连接社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一集群节点的池化操作。然而,Laplacian特征分解的代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛(continuous relaxation )公式,并训练GNN来计算最小化这一目标的聚类分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚合函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://proceedings.icml.cc/book/3494.pdf

成为VIP会员查看完整内容
0
64

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会将于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。在会议开始前夕,专知小编为大家整理了ICML 2020图神经网络(GNN)的六篇相关论文供参考——核GNN、特征变换、Haar 图池化、无监督图表示、谱聚类、自监督GCN。

ICML 2020 Accepted Papers https://icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者:Dexiong Chen, Laurent Jacob, Julien Mairal

摘要:我们引入了一系列多层图核,并在图卷积神经网络和核方法之间建立了新的联系。我们的方法通过将图表示为核特征映射序列将卷积核网络推广到图结构数据,其中每个节点携带关于局部图子结构的信息。一方面,核的观点提供了一种无监督的、有表现力的、易于正规化的数据表示,这在样本有限的情况下很有用。另一方面,我们的模型也可以在大规模数据上进行端到端的训练,从而产生了新型的图卷积神经网络。我们的方法在几个图分类基准上取得了与之相当的性能,同时提供了简单的模型解释。

网址: https://arxiv.org/abs/2003.05189

代码链接: https://github.com/claying/GCKN

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt

摘要:本文提出了一种新的基于特征线性调制(feature-wise linear modulation,FiLM)的图神经网络(GNN)。许多标准GNN变体仅通过每条边的源的表示来计算“信息”,从而沿着图的边传播信息。在GNN-FILE中,边的目标节点的表示被附加地用于计算可以应用于所有传入信息的变换,从而允许对传递的信息进行基于特征的调制。基于基线方法的重新实现,本文给出了在文献中提到的三个任务上的不同GNN体系结构的实验结果。所有方法的超参数都是通过广泛的搜索找到的,产生了一些令人惊讶的结果:基线模型之间的差异比文献报道的要小。尽管如此,GNN-FILE在分子图的回归任务上的表现优于基线方法,在其他任务上的表现也具有竞争性。

网址: https://arxiv.org/abs/1906.12192

3. Haar Graph Pooling

作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要:深度图神经网络(GNNs)是用于图分类和基于图的回归任务的有效模型。在这些任务中,图池化是GNN适应不同大小和结构的输入图的关键因素。本文提出了一种新的基于压缩Haar变换的图池化操作-HaarPooling。HaarPooling实现了一系列池化操作;它是通过跟随输入图的一系列聚类序列来计算的。HaarPooling层将给定的输入图变换为节点数较小、特征维数相同的输出图;压缩Haar变换在Haar小波域中过滤出细节信息。通过这种方式,所有HaarPooling层一起将任何给定输入图的特征合成为大小一致的特征向量。这种变换提供了数据的稀疏表征,并保留了输入图的结构信息。使用标准图卷积层和HaarPooling层实现的GNN在各种图分类和回归问题上实现了最先进的性能。

网址: https://arxiv.org/abs/1909.11580

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon

摘要:我们提出了Interferometric Graph Transform(IGT),这是一类用于构建图表示的新型深度无监督图卷积神经网络。我们的第一个贡献是提出了一种从欧几里德傅立叶变换的推广得到的通用复数谱图结构。基于一个新颖的贪婪凹目标,我们的学习表示既包括可区分的特征,也包括不变的特征。通过实验可以得到,我们的学习过程利用了谱域的拓扑,这通常是谱方法的一个缺陷,特别是我们的方法可以恢复视觉任务的解析算子。我们在各种具有挑战性的任务上测试了我们的算法,例如图像分类(MNIST,CIFAR-10)、社区检测(Authorship,Facebook graph)和3D骨架视频中的动作识别(SBU,NTU),在谱图非监督环境下展示了一种新的技术水平。

网址:

https://arxiv.org/abs/2006.05722

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连通社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一簇的节点的池化操作。然而,Laplacian的特征分解代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛公式,并训练GNN来计算最小化这一目标的簇分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚类函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://arxiv.org/abs/1907.00481

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:自监督作为一种新兴的技术已被用于训练卷积神经网络(CNNs),以提高图像表示学习的可传递性、泛化能力和鲁棒性。然而,自监督对操作图形数据的图卷积网络(GCNS)的介绍却很少被探索。在这项研究中,我们首次将自监督纳入GCNS的系统探索和评估。我们首先阐述了将自监督纳入GCNS的三种机制,分析了预训练&精调和自训练的局限性,并进而将重点放在多任务学习上。此外,我们还提出了三种新的GCNS自监督学习任务,并进行了理论分析和数值比较。最后,我们进一步将多任务自监督融入到图对抗性训练中。研究结果表明,通过合理设计任务形式和合并机制,自监督有利于GCNS获得更强的泛化能力和鲁棒性。

网址: https://arxiv.org/abs/2006.09136

代码链接: https://github.com/Shen-Lab/SS-GCNs

成为VIP会员查看完整内容
0
106

【导读】ICLR 2020大会共收到近2600篇投稿,相比ICLR 2019的1580篇论文投稿,今年增幅约为62.5%, 竞争尤其激烈。 图神经网络(GNN)相关的论文依然很火爆,为此,专知小编提前为大家筛选了五篇Open代码的GNN相关论文供参考和学习!后续小编还会整理ICLR 2020的相关论文和最新信息,尽请期待。

1、Unsupervised Learning of Graph Hierarchical Abstractions with Differentiable Coarsening and Optimal Transport

摘要:层次抽象是解决各种学科中大规模图数据问题的一种方法。Coarsening就是这样一种方法:它生成一个金字塔形的图,其中下一层图是上一层图的结构总结。科学计算历史悠久,许多Coarsening策略是基于数学驱动的启发式算法发展起来的。近年来,人们对通过可微参数化设计可学习的层次方法的研究又有了新的兴趣。这些方法与下游任务配对以进行监督学习。在这项工作中,我们提出了一种无监督的方法,称为OTCoarsening,使用最优transport。OTCoarsening矩阵和transport成本矩阵都是参数化的,这样就可以学习最优coarsening策略并针对给定的一组图进行裁剪。结果表明,与监督方法相比,该方法能生成有意义的coarse图,且具有较好的分类性能。

网址: https://www.zhuanzhi.ai/paper/88cab6f00b1315551169090d041a7c39

代码: https://github.com/anonymousOPT/OTCoarsening

2、Fractional Graph Convolutional Networks (FGCN) for Semi-Supervised Learning

摘要:由于在许多应用程序(从社交网络到区块链到电网)中的高实用性,对非欧几里德对象(如图和流形)的深入学习继续获得越来越多的兴趣。目前大多数可用的技术都是基于这样的思想,即在spectral域中使用适当选择的非线性可训练滤波器进行卷积运算,然后使用有限阶多项式逼近滤波器。然而,这种多项式逼近方法往往对图结构的变化不具有鲁棒性,而且主要用于捕获全局图拓扑。在本文中,我们提出一种新的Fractional Generalized Graph Convolutional Networks (FGCN)方法,该方法将L'evy Fights投射到图上的随机游走中,因此,可以更准确地解释内在图拓扑和大幅度提高分类性能,尤其是对异构图形。

网址: https://openreview.net/forum?id=BygacxrFwS

代码: https://github.com/yuzhouchen92/

3、Transfer Active Learning For Graph Neural Networks

摘要:图神经网络在节点分类等多种图数据预测任务中已被证明是非常有效的。一般来说,训练这些网络需要大量的标记数据。然而,在现实中,在大型图数据中获取大量标记数据的成本可能非常高。本文研究了图神经网络的主动学习(active learning)问题。,即如何有效地标记图上的节点来训练图神经网络。我们将该问题描述为一个连续的决策过程,该过程对信息节点进行了连续的标记,并训练了一个策略网络来最大化图神经网络在特定任务中的性能。此外,我们还研究了如何学习一个通用的策略,用多个训练图在图上标记节点,然后将学习到的策略迁移到不可见的图上。在单一图和多重训练图(迁移学习设置)的实验结果证明了我们提出的方法在许多竞争性baseline上的有效性。

网址: https://openreview.net/forum?id=BklOXeBFDS

代码: https://drive.google.com/drive/folders/1GFGR2WFEuG49MQN-nX4pkZj9Y_E7vPP5

4、Chordal-GCN: Exploiting sparsity in training large-scale graph convolutional networks

摘要:尽管图卷积网络(GCNs)在众多应用中取得了令人瞩目的成功,但大规模稀疏网络的训练仍然具有挑战性。当前的算法需要大量的内存空间来存储GCN输出以及所有的中间嵌入。此外,这些算法大多涉及随机抽样或邻接矩阵的近似,这可能会很不幸地丢失重要的结构信息。在这篇论文中,我们建议使用Chordal-GCN来进行半监督节点分类。该模型利用了精确的图结构(即不需要采样或近似),而与原来的GCN相比,需要有限的内存资源。此外,它还利用了图的稀疏模式和集群结构。该模型首先将一个大规模的稀疏网络分解成几个小的稠密子图(称为cliques),然后构造一个clique树。通过遍历树,GCN训练是按clique进行的,并通过树层次结构利用clique之间的连接。此外,我们在大规模数据集上实现了Chordal-GCN,并展示了优越的性能。

网址: https://openreview.net/forum?id=rJl05AVtwB

代码: https://www.dropbox.com/s/0vby5gbu9qkbigr/chordal-gcn.zip?dl=0

5、Graph Neural Networks for Soft Semi-Supervised Learning on Hypergraphs

摘要:基于图的半监督学习(SSL)将标签分配给图中最初未标记的顶点。图神经网络(GNNs),特别是图卷积网络(GCNs),启发了当前基于图的SSL问题的最新模型。GCN本质上假定目标标签是数值或类别变量。然而,在许多实际应用中,如coauthorship网络、推荐网络等,顶点标签可以很自然地用概率分布或直方图来表示。此外,真实世界的网络数据集具有复杂的关系,超出了两两关联的范畴。这些关系可以通过超图自然而灵活地建模。在本文中,我们探讨了基于图的直方图SSL的GNN。受现实网络中复杂关系(超越两两关系)的启发,我们提出了一种新的有向超图方法。我们的工作基于现有的graph-based SSL 直方图,源自optimal transportation理论。本文的一个重要贡献是在算法稳定性的框架下建立了单层GNN的泛化误差边界。我们还通过对真实数据的详细实验,证明了我们提出的方法的有效性。我们已经提供了代码。

网址: https://openreview.net/forum?id=ryestJBKPB

代码: https://drive.google.com/file/d/1i7l5jPBPZ3TRG7YkG6NvJ10j19dnAfOf/view?usp=sharing

成为VIP会员查看完整内容
0
41
小贴士
相关VIP内容
专知会员服务
28+阅读 · 2020年12月1日
专知会员服务
53+阅读 · 2020年10月31日
专知会员服务
53+阅读 · 2020年10月20日
专知会员服务
36+阅读 · 2020年10月13日
专知会员服务
40+阅读 · 2020年9月29日
专知会员服务
77+阅读 · 2020年9月8日
【ICLR2020】五篇Open代码的GNN论文
专知会员服务
41+阅读 · 2019年10月2日
相关论文
Hanqing Zeng,Muhan Zhang,Yinglong Xia,Ajitesh Srivastava,Rajgopal Kannan,Viktor Prasanna,Long Jin,Andrey Malevich,Ren Chen
1+阅读 · 2020年12月2日
Ivan Stelmakh,Charvi Rastogi,Nihar B. Shah,Aarti Singh,Hal Daumé III
0+阅读 · 2020年11月30日
Yang Cai,Grigoris Velegkas
0+阅读 · 2020年11月30日
Bryan Cai,John P. A. Ioannidis,Eran Bendavid,Lu Tian
0+阅读 · 2020年11月29日
Yang Song,Jascha Sohl-Dickstein,Diederik P. Kingma,Abhishek Kumar,Stefano Ermon,Ben Poole
0+阅读 · 2020年11月26日
A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications
Jie Gui,Zhenan Sun,Yonggang Wen,Dacheng Tao,Jieping Ye
43+阅读 · 2020年1月20日
Zhiming Zhou,Jiadong Liang,Yuxuan Song,Lantao Yu,Hongwei Wang,Weinan Zhang,Yong Yu,Zhihua Zhang
8+阅读 · 2019年2月15日
Training Generative Adversarial Networks Via Turing Test
Jianlin Su
3+阅读 · 2018年10月25日
Shaohui Liu,Yi Wei,Jiwen Lu,Jie Zhou
3+阅读 · 2018年3月27日
Aishwarya Agrawal,Jiasen Lu,Stanislaw Antol,Margaret Mitchell,C. Lawrence Zitnick,Dhruv Batra,Devi Parikh
8+阅读 · 2016年10月27日
Top