题目: Adversarial-Learned Loss for Domain Adaptation

摘要: 近年来,在跨领域学习可转移表征方面取得了显著的进展。以往的领域适应研究主要基于两种技术:领域对抗学习和自我训练。然而,领域对抗性学习只会调整领域之间的特征分布,而不考虑目标特征是否具有区分性。另一方面,自训练利用模型预测来增强目标特征的识别,但无法明确地指定领域分布。为了将这两种方法的优点结合起来,我们提出了一种新的领域自适应的通用学习损失(ALDA)方法,首先分析了一种典型的自训练方法伪标签方法。然而,伪标签和地面真实性之间存在差距,这可能导致错误的训练。因此,我们引入了混淆矩阵,通过对抗性的方式在ALDA中学习,以减少gap并对齐特征分布。最后,从学习的混淆矩阵中自动构造一个新的损失函数,作为未标记目标样本的损失。在四标准域自适应数据集中,OurALDA优于最新方法。

作者简介: Haifeng Liu,博士,浙江大学计算机学院副教授。个人主页:https://person.zju.edu.cn/en/hfliu

成为VIP会员查看完整内容
0
50

相关内容

计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: Laplacian Regularized Few-Shot Learning

简介:

我们为小样本学习提出了一个拉普拉斯正则化推断。给定从基类中学习到的任何特征嵌入,我们将包含两个项的二次二进制赋值函数最小化:(1)将查询样本分配给最近的类原型的一元项,以及(2)鼓励附近查询样本成对使用的成对拉普拉斯项具有一致的标签。我们的推论不会重新训练基本模型,并且可以将其视为查询集的图形聚类,但要受到支持集的监督约束。我们导出了函数松弛的计算有效边界优化器,该函数在保证收敛的同时为每个查询样本计算独立(并行)更新。在基础类上进行简单的交叉熵训练,并且没有复杂的元学习策略后,我们对五个基准进行了全面的实验。我们的LaplacianShot在不同模型,设置和数据集上具有显着优势,始终优于最新方法。此外,我们的归纳推理非常快,其计算时间接近于归纳推理,可用于大规模的一次性任务。

成为VIP会员查看完整内容
0
63

小样本学习(FSL)近年来引起了越来越多的关注,但仍然具有挑战性,因为学习从少数例子中归纳的固有困难。本文提出了一种自适应间隔原则,以提高基于度量的元学习方法在小样本学习问题中的泛化能力。具体地说,我们首先开发了一个与类相关的加性边缘损失算法,该算法考虑了每对类之间的语义相似性,从而将特征嵌入空间中的样本从相似的类中分离出来。此外,我们在抽样训练任务中加入所有类别之间的语义上下文,并开发了与任务相关的附加间隔损失,以更好地区分不同类别的样本。我们的自适应间隔方法可以很容易地推广到更现实的广义FSL设置。大量的实验表明,在标准FSL和通用FSL设置下,所提出的方法可以提高现有基于度量的元学习方法的性能。

成为VIP会员查看完整内容
0
66

本文研究的是物体检测的域自适应(Domain Adaptive)问题,其主要挑战来自源域和目标域之间的巨大差异。先前工作主要是明确对齐了图像层面和实例层面的迁移,以最终最小化域差异,但是依然忽略了跨域匹配关键的图像区域和重要的实例,以至于严重影响了域迁移的缓解。本文提出一个简单且有效的类正则化框架以缓解这一问题,它可以作为一个即插即用的组件应用于一系列域自适应Faster R-CNN方法上,这些方法对处理域自适应检测非常重要。

具体而言,通过整合检测backbone上的一个图像层面的多标签分类器,本文可以通过分类方式的弱定位能力,获得对应于类信息的稀疏且关键的图像区域。同时,在实例层面,本文把图像预测和实例预测之间的类一致性作为一个正则化因子,以自动搜索目标域的硬对齐实例。大量不同域迁移方案的实验表明,相较原始的域自适应Faster R-CNN检测器,本文方法取得显著的性能提升。此外,定性的可视化和分析表明,本文方法可应用于针对域适应的关键区域/实例。

成为VIP会员查看完整内容
0
17

题目 Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings

摘要:

本文提出了一种新的基于流形的几何学习方法来学习源语言和目标语言之间的无监督词嵌入对齐。该方法将对列学习问题归结为双随机矩阵流形上的域适应问题。这一观点的提出是为了对齐两个语言空间的二阶信息。利用双随机流形的丰富几何性质,提出了一种高效的黎曼流形的共轭梯度算法。从经验上看,该方法在跨语言对的双语词汇归纳任务中表现优于基于最优迁移的方法。远程语言对性能的提高更为显著。

成为VIP会员查看完整内容
0
17

基于卷积神经网络的方法在语义分割方面取得了显著的进展。然而,这些方法严重依赖于注释数据,这是劳动密集型的。为了解决这一限制,使用从图引擎生成的自动注释数据来训练分割模型。然而,从合成数据训练出来的模型很难转换成真实的图像。为了解决这个问题,以前的工作已经考虑直接将模型从源数据调整到未标记的目标数据(以减少域间的差距)。尽管如此,这些技术并没有考虑到目标数据本身之间的巨大分布差异(域内差异)。在这项工作中,我们提出了一种两步自监督域适应方法来减少域间和域内的差距。首先,对模型进行域间自适应;在此基础上,我们使用基于熵的排序函数将目标域分成简单和困难的两部分。最后,为了减小域内间隙,我们提出了一种自监督自适应技术。在大量基准数据集上的实验结果突出了我们的方法相对于现有的最先进方法的有效性。

成为VIP会员查看完整内容
0
54

标题

对抗特征幻觉网络的小样本学习,Adversarial Feature Hallucination Networks for Few-Shot Learning

关键字

小样本学习,神经网络,生成对抗网络,机器学习,人工智能

简介

最近在各种任务中进行的深度学习蓬勃发展,在很大程度上已经获得了丰富且可访问的标记数据的认可。 尽管如此,对于许多实际应用而言,大量的监督仍然是奢侈的事情,这引起了人们对标签稀缺技术的极大兴趣,例如小样本学习(FSL),旨在通过少量标签样本学习新类的概念。 FSL的自然方法是数据扩充,许多最近的工作通过提出各种数据综合模型证明了其可行性。 但是,这些模型不能很好地确保合成数据的可分辨性和多样性,因此经常会产生不良结果。 在本文中,我们提出了基于条件Wasserstein生成对抗网络(cWGAN)的对抗特征幻觉网络(AFHN),并幻化了以少量标记样本为条件的各种和判别特征。 两种新颖的正则化器,即分类正则器和反崩溃正则器,被合并到AFHN中以分别促进合成特征的可辨别性和多样性。 消融研究验证了所提出的基于cWGAN的特征幻觉框架和所提出的调节器的有效性。 在三个常见基准数据集上的比较结果证实了AFHN优于现有的基于数据增强的FSL方法和其他最新方法的优越性。

作者

Kai Li, Yulun Zhang, Kunpeng Li, Yun Fu,波士顿东北大学电气与计算机工程系

成为VIP会员查看完整内容
0
42

主题: Exploring Categorical Regularization for Domain Adaptive Object Detection

摘要: 在本文中,我们解决了域自适应对象检测问题,其中主要挑战在于源域和目标域之间的显着域间隙。先前的工作试图使图像级别和实例级别的转换明确对齐,以最终将域差异最小化。但是,它们仍然忽略了跨域匹配关键图像区域和重要实例,这将严重影响域偏移缓解。在这项工作中,我们提出了一个简单但有效的分类正则化框架来缓解此问题。它可以作为即插即用组件应用于一系列领域自适应快速R-CNN方法,这些方法在处理领域自适应检测方面非常重要。具体地,通过将​​图像级多标签分类器集成到检测主干上,由于分类方式的定位能力较弱,我们可以获得与分类信息相对应的稀疏但至关重要的图像区域。同时,在实例级别,我们利用图像级别预测(通过分类器)和实例级别预测(通过检测头)之间的分类一致性作为规则化因子,以自动寻找目标域的硬对齐实例。各种域移位方案的大量实验表明,与原始的域自适应快速R-CNN检测器相比,我们的方法获得了显着的性能提升。此外,定性的可视化和分析可以证明我们的方法参加针对领域适应的关键区域/实例的能力。

成为VIP会员查看完整内容
0
32

题目: Multi-Modal Domain Adaptation for Fine-Grained Action Recognition

摘要: 细粒度动作识别数据集表现出环境偏差,其中多个视频序列是从有限数量的环境中捕获的。在一个环境中训练一个模型,然后部署到另一个环境中,由于不可避免的领域转换,会导致性能下降。无监督域适应(UDA)方法经常用于源域和目标域之间的对抗训练。然而,这些方法并没有探索视频在每个领域的多模态性质。在这个工作我们利用模式的通信作为UDA self-supervised对齐的方法除了敌对的对齐(图1),我们测试我们的方法在三个厨房从大规模的数据集,EPIC-Kitchens,使用两种方法通常用于行为识别:RGB和光学流。结果表明,多模态的自监督比单纯的训练平均提高了2.4%。然后我们将对抗训练与多模态自我监督相结合,结果表明我们的方法比其他的UDA方法高3%。

成为VIP会员查看完整内容
0
68

【导读】最近小编推出CVPR2019图卷积网络、CVPR2019生成对抗网络、【可解释性】,CVPR视觉目标跟踪,CVPR视觉问答,医学图像分割,图神经网络的推荐相关论文,反响热烈。最近,Domain Adaptation(域自适应)相关研究非常火热,一部分也是由于GAN、GNN以及其他一些的网络结构的启发,基于Domain Adaptation的工作在今年CVPR 2019上出现了大量的论文。今天小编专门整理最新九篇Domain Adaptation(域自适应)—类别级对抗、域对称网络、可迁移原型网络、可迁移原型网络、通用域自适应等。

DANN-梯度反转层

1、Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation(域迁移: 类别级对抗用于语义一致的域自适应)

CVPR ’19 Oral

作者:Yawei Luo, Liang Zheng, Tao Guan, Junqing Yu, Yi Yang

摘要:我们考虑了语义分割中的无监督域自适应问题。该任务的关键在于减少域迁移,即,强制两个域的数据分布相似。一种流行的策略是通过对抗学习来对齐特征空间的边缘分布。但是,这种全局对齐策略不考虑局部类别的特征分布。全局迁移的一个可能结果是,一些原本在源域和目标域之间很好地对齐的类别可能被错误地映射。为了解决这一问题,本文引入了一种类别级的对抗网络,旨在在全局对齐的趋势下增强局部语义一致性。我们的想法是仔细研究类级别的数据分布,并将每个类与自适应的对抗损失对齐。具体地说,我们减少了类级别对齐特征的对抗性损失的权重,同时增加了对齐较差的特征的对抗性。在这个过程中,我们通过一种联合训练方法来决定一个特征在源域和目标域之间的类别级对齐程度。在两个领域适应任务中,即GTA5 - > Cityscapes和SYNTHIA - > Cityscapes,我们验证所提出的方法在分割准确性方面与现有技术相匹配。

网址:

https://arxiv.org/abs/1809.09478

代码链接:

https://github.com/RoyalVane/CLAN

2、AdaGraph: Unifying Predictive and Continuous Domain Adaptation through Graphs(AdaGraph: 通过图形统一预测和连续域自适应)

CVPR ’19 Oral

作者:Massimiliano Mancini, Samuel Rota Bulò, Barbara Caputo, Elisa Riccici

摘要:分类能力是视觉智能的基石,也是人工自主视觉机器的关键功能。 如果没有能够适应和概括跨视域的算法,这个问题将永远无法解决。在域自适应和泛化的背景下,本文重点研究预测域自适应场景,即没有目标数据可用的情况下,系统必须学习从带注释的源图像和来自辅助域的带关联元数据的未标记样本进行泛化。我们的贡献是第一个解决预测域适应的深层架构,能够通过图利用辅助域带来的信息。此外,我们提出了一种简单而有效的策略,允许我们在测试时在连续的域适应场景中利用传入的目标数据。在三个基准数据库上的实验支持验证了我们的方法的价值。

网址:

https://arxiv.org/abs/1903.07062

3、Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation(基于Sliced Wasserstein Discrepancy的无监督域自适应)

CVPR ’19

作者:Chen-Yu Lee, Tanmay Batra, Mohammad Haris Baig, Daniel Ulbricht

摘要:在这项工作中,我们将两个不同的无监督域自适应概念连接起来:利用特定于任务的决策边界和Wasserstein度量在域之间进行特征分布对齐。我们提出的Sliced Wasserstein Discrepancy (SWD)旨在捕捉任务特定分类器输出之间的自然差异概念。它提供了一个几何上有意义的指导来检测远离源支持的目标样本,并以端到端可训练的方式实现有效的分布对齐。在实验中,我们验证了该方法在数字和符号识别、图像分类、语义分割和目标检测等方面的有效性和通用性。

网址:

https://arxiv.org/abs/1903.04064

4、Domain-Symmetric Networks for Adversarial Domain Adaptation(用于对抗域自适应的域对称网络)

CVPR ’19

作者:Yabin Zhang, Hui Tng, Kui Jia, Mingkui Tan

摘要:无监督域自适应是在给定源域上有标记样本训练数据的情况下,学习目标域上未标记样本的分类器模型。最近,通过对深度网络的域对抗训练来学习不变特征,取得了令人瞩目的进展。尽管近年来的研究取得了一定的进展,但域自适应在较细类别水平上实现特征分布的不变性方面仍然存在一定的局限性。为此,本文提出了一种新的域自适应方法——域对称网络(SymNets)。SymNet是基于源域和目标域任务分类器的对称设计,在此基础上,我们还构造了一个额外的分类器,与它们共享其层神经元。为了训练SymNet, 我们提出了一种新颖的对抗学习目标函数,其关键设计是基于一个two-level域混淆方案, 通过推动中间网络特征的学习,类级别的混淆损失在域级别上得到改善。在构造的附加分类器的基础上,实现了域识别和域混淆。由于目标域样本是无标记的,我们还提出了一种跨域训练的方法来帮助学习目标分类器。仔细的消融研究表明我们提出的方法是有效的。特别是,基于常用的基本网络,我们的symnet在三个基准域自适应数据集上实现了最新的技术水平。

网址:

https://arxiv.org/abs/1904.04663

5、Transferrable Prototypical Networks for Unsupervised Domain Adaptation(基于可迁移原型网络的无监督域自适应)

CVPR'19 Oral

作者:Yingwei Pan, Ting Yao, Yehao Li, Yu Wang, Chong-Wah Ngo, Tao Mei

摘要:本文提出了一种通过重构原型网络实现无监督域自适应的新方法,该方法通过学习嵌入空间,通过重构每个类到原型的距离进行分类。具体地说,我们提出了可迁移原型网络(TPN)的自适应算法,使源域和目标域的每个类的原型在嵌入空间上接近,并且原型在源域和目标域数据上分别预测的得分分布是相似的。从技术上讲,TPN最初将每个目标域示例与源域中最近的原型匹配,并为一个示例分配一个“伪”标签。每个类的原型可以分别在纯源域、纯目标域和纯源目标域数据上计算。TPN的优化是通过在三种数据上联合最小化原型之间的距离和由每对原型输出的得分分布的KL -散度来进行端到端训练的。对MNIST、USPS和SVHN数据集之间的迁移进行了广泛的实验,与最先进的方法相比,报告了更好的结果。更值得注意的是,我们在VisDA 2017数据集上获得了80.4%的单模型准确度。

网址:

https://arxiv.org/abs/1904.11227

6、Contrastive Adaptation Network for Unsupervised Domain Adaptation(基于对比自适应网络的无监督域自适应)

CVPR'19

作者:Guoliang Kang, Lu Jiang, Yi Yang, Alexander G Hauptmann

摘要:无监督域自适应(UDA)对目标域数据进行预测,而手工标注只在源域中可用。以往的方法在忽略类信息的情况下,最大限度地减小了域间的差异,从而导致了不一致和泛化性能差。为了解决这一问题,本文提出了一种新的比较自适应网络(CAN)优化度量,它明确地对类内域和类间域的差异进行了建模。我们设计了一种交替的更新策略,以端到端方式训练CAN。在office31和VisDA-2017这两个真实世界基准测试上的实验表明,相对于最先进的方法,该方法可以获得更好的性能,并产生更多的区别性特征。

网址:

https://arxiv.org/abs/1901.00976

7、Universal Domain Adaptation(通用域自适应)

CVPR ’19

作者:Kaichao You, Mingsheng Long, Zhangjie Cao, Jianmin Wang, and Michael I. Jordan

摘要:域适应的目的是在存在域差距的情况下迁移知识。现有的域自适应方法依赖于对源域和目标域的标签集之间关系的丰富先验知识,这极大地限制了它们在实际中的应用。本文介绍了一种不需要标签集先验知识的通用域自适应算法(UDA)。对于给定的源域标签集和目标域标签集,它们可能分别包含一个公共标签集和一个私有标签集,从而带来额外的类别差异。UDA要求一个模型 (1)正确地分类目标样本,如果它与公共标签集中的标签相关联,或者 (2) 将其标记为“未知”。更重要的是,UDA模型应该能够稳定地应对广泛的共性(通用标签集在整个标签集上的比例),以便它可以处理未知目标域标签集的实际问题。为了解决通用域适应问题,提出了通用域适应网络(UAN)。它量化了发现通用标签集和对每个域私有的标签集的样本级可迁移性,从而促进了自动发现的通用标签集的适应性,并成功地识别了“未知”样本。全面的评价表明,在新颖的UDA设置中,UAN优于现有技术的闭集、部分域和开放域自适应方法。

网址:

https://youkaichao.github.io/files/cvpr2019/1628.pdf

代码链接:

https://github.com/thuml/Universal-Domain-Adaptation

8、Learning to Transfer Examples for Partial Domain Adaptation(基于样例转移网络的部分域自适应)

CVPR ’19

作者:Zhangjie Cao, Kaichao You, Mingsheng Long, Jianmin Wang, Qiang Yang

摘要:域自适应对于在新的未知环境中学习至关重要。通过领域对抗训练,深度网络可以学习可迁移的特征,从而有效地减少用于知识迁移的源域和目标域之间的数据集转移。在大数据时代,大规模标记数据集的可用性引起了人们对局部域适应(PDA)的广泛兴趣,PDA将识别器从标记的大域迁移到未标记的小域。它将标准域适应扩展到目标域标签只是源域标签子集的场景。在目标域标签未知的情况下,PDA的关键挑战是如何在共享类中传递相关的例子来促进正迁移,而忽略特定类中不相关的例子来减少负迁移。在这项工作中,我们提出一个统一的PDA方法—Example Transfer Network (ETN), 共同学习源域和目标域的域不变表示和加权方案, 量化的可迁移源域示例同时控制他们对目标领域中的学习任务的重要性。对几个基准数据集的全面评估表明,我们的方法可以为部分域自适应任务实现最先进的结果。

网址:

https://arxiv.org/abs/1903.12230

9、Geometry-Aware Symmetric Domain Adaptation for Monocular Depth Estimation(基于几何感知对称域自适应的单眼深度估计)

作者:Shanshan Zhao, Huan Fu, Mingming Gong, Dacheng Tao

摘要:先进的深度网络体系结构使得监督深度估计具有较高的精度。由于groundtruth深度标签难以获取,近年来的方法试图通过非监督线索来学习深度估计网络,这种方法虽然有效,但不如真实标签可靠。解决这一难题的一种新方法是通过域自适应技术从具有groundtruth深度的合成图像中迁移知识。然而,这些方法忽略了目标域内自然图像的特定几何结构(即,真实数据),这对于高性能的深度预测非常重要。在此基础上,我们提出了一种基于几何感知的对称域自适应框架(GASDA),用于研究合成数据和真实数据中的超极几何标记。此外,通过在端到端网络中对称地训练两个图像样式转换器和深度估计器,我们的模型实现了更好的图像样式转换,生成了高质量的深度图。实验结果证明了该方法的有效性,并与现有方法进行了比较。我们的代码在:https://github.com/sshan-zhao/GASDA。

网址:

https://arxiv.org/abs/1904.01870

代码链接:

https://github.com/sshan-zhao/GASDA

下载链接:https://pan.baidu.com/s/1_zUi7BUvfonhLNaw1tsg0g 提取码:crqk

成为VIP会员查看完整内容
0
47

题目: Adversarial Cross-Domain Action Recognition with Co-Attention

摘要: 动作识别是一个被广泛研究的课题,其研究重点是有监督的学习,包括足够多的视频。然而,跨域动作识别的问题,即训练和测试视频是从不同的底层分布中提取出来的,在很大程度上仍然没有得到充分的研究。以往的方法直接采用跨域图像识别技术,容易出现严重的时间错位问题。提出了一种时间协同注意网络(TCoN),该网络利用一种新的跨域协同注意机制,对源域和目标域之间的时间对准动作特征分布进行了匹配。在三个跨域动作识别数据集上的实验结果表明,在跨域设置下,TCoN显著地改进了以往的单域和跨域方法。

作者简介: Boxiao Pan,斯坦福大学视觉与学习实验室的硕士。他对构建能够解释和理解以人为中心的行为、场景和事件的智能系统非常着迷,尤其是通过视频输入。https://cs.stanford.edu/~bxpan/

Zhangjie Cao,斯坦福大学计算机科学系的博士。https://caozhangjie.github.io/

成为VIP会员查看完整内容
0
29
小贴士
相关VIP内容
专知会员服务
66+阅读 · 2020年6月9日
相关资讯
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
46+阅读 · 2019年5月29日
领域自适应学习论文大列表
专知
65+阅读 · 2019年3月2日
2017年领域自适应发展回顾
AI研习社
3+阅读 · 2018年10月28日
论文浅尝 | 远程监督关系抽取的生成式对抗训练
开放知识图谱
17+阅读 · 2018年7月12日
论文浅尝 | 用图网络做小样本学习
开放知识图谱
57+阅读 · 2018年6月30日
迁移学习之Domain Adaptation
全球人工智能
13+阅读 · 2018年4月11日
相关论文
Multi-Modal Domain Adaptation for Fine-Grained Action Recognition
Jonathan Munro,Dima Damen
7+阅读 · 2020年3月19日
Meta Learning for End-to-End Low-Resource Speech Recognition
Jui-Yang Hsu,Yuan-Jui Chen,Hung-yi Lee
17+阅读 · 2019年10月26日
Transfer Adaptation Learning: A Decade Survey
Lei Zhang
31+阅读 · 2019年3月12日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
11+阅读 · 2018年12月10日
Adversarial Transfer Learning
Garrett Wilson,Diane J. Cook
10+阅读 · 2018年12月6日
He Huang,Changhu Wang,Philip S. Yu,Chang-Dong Wang
6+阅读 · 2018年11月12日
Sagie Benaim,Lior Wolf
5+阅读 · 2018年10月23日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
9+阅读 · 2018年7月8日
Qi Dou,Cheng Ouyang,Cheng Chen,Hao Chen,Pheng-Ann Heng
4+阅读 · 2018年6月19日
Haodi Hou,Jing Huo,Yang Gao
4+阅读 · 2018年4月17日
Top
微信扫码咨询专知VIP会员