无监督域自适应(UDA)是在给定源域上有标记数据的情况下,对目标域上的无标记数据进行预测。主流的UDA方法学习这两个域之间的对齐特征,这样一个训练在源特征上的分类器可以很容易地应用到目标特征上。但是,这种转移策略有可能破坏目标数据的内在辨别能力。为了缓解这种风险,我们基于结构域相似度的假设,提出通过对目标数据进行判别聚类,直接发现目标的内在歧视。我们利用基于结构域相似性的结构源正则化约束聚类解。在技术上,我们使用了一个灵活的基于判别聚类的深度网络框架,使网络的预测标签分布与引入的辅助标签分布之间的KL分歧最小化;用源数据的基真标签形成的辅助分布代替辅助分布,通过简单的联合网络训练策略实现了结构源的正则化。我们将提出的方法称为结构正则化深度聚类(SRDC),其中我们还使用中间网络特征的聚类来增强目标识别,并使用较少发散的源实例的软选择来增强结构正则化。仔细的消融研究显示了我们提出的SRDC的疗效。值得注意的是,在没有显式域对齐的情况下,SRDC在三个UDA基准上的性能优于所有现有方法。

成为VIP会员查看完整内容
0
44

相关内容

题目: Online Deep Clustering for Unsupervised Representation Learning

摘要:

联合聚类和特征学习方法在无监督表示学习中表现出了显著的效果。但是,特征聚类和网络参数更新训练计划的交替导致视觉表征学习的不稳定。为了克服这个挑战,我们提出在线深度集群(ODC),它可以同时执行集群和网络更新,而不是交替进行。关键见解是,聚类中心应该稳步发展,以保持分类器的稳定更新。具体来说,设计和维护了两个动态内存模块,即样本记忆用于存储样本标签和特征,中心记忆用于中心进化。我们将全局聚类分解为稳定的内存更新和成批的标签重新分配。该过程被集成到网络更新迭代中。通过这种方式,标签和网络齐头并进,而不是交替发展。大量的实验表明,ODC能够稳定训练过程,有效地提高训练性能。

成为VIP会员查看完整内容
0
50

小样本学习(FSL)近年来引起了越来越多的关注,但仍然具有挑战性,因为学习从少数例子中归纳的固有困难。本文提出了一种自适应间隔原则,以提高基于度量的元学习方法在小样本学习问题中的泛化能力。具体地说,我们首先开发了一个与类相关的加性边缘损失算法,该算法考虑了每对类之间的语义相似性,从而将特征嵌入空间中的样本从相似的类中分离出来。此外,我们在抽样训练任务中加入所有类别之间的语义上下文,并开发了与任务相关的附加间隔损失,以更好地区分不同类别的样本。我们的自适应间隔方法可以很容易地推广到更现实的广义FSL设置。大量的实验表明,在标准FSL和通用FSL设置下,所提出的方法可以提高现有基于度量的元学习方法的性能。

成为VIP会员查看完整内容
0
64

一次性神经架构搜索(NAS)通过权重共享显著提高了计算效率。然而,这种方法也在超网络训练(架构搜索阶段)中引入了多模型遗忘,在超网络训练中,当使用部分共享的权重顺序训练新架构时,之前架构的性能会下降。为了克服这种灾难性遗忘,最先进的方法假设共享权值在联合优化后验概率时是最优的。然而,这种严格的假设在实践中并不一定适用于一次性NAS。在本文中,我们将一次性NAS中的超网络训练描述为一个持续学习的约束优化问题,即当前架构的学习不应该降低以前架构的性能。提出了一种基于新搜索的结构选择损失函数,并证明了在最大化所选约束的多样性时,不需要严格的假设就可以计算后验概率。设计了一种贪心查新方法,寻找最具代表性的子集,对超网络训练进行正则化。我们将我们提出的方法应用于两个一次性的NAS基线,随机抽样NAS (RandomNAS)和基于梯度的抽样NAS (GDAS)。大量的实验证明,我们的方法提高了超级网络在一次NAS中的预测能力,并在CIFAR-10、CIFAR-100和PTB上取得了显著的效率。

成为VIP会员查看完整内容
0
18

本文研究的是物体检测的域自适应(Domain Adaptive)问题,其主要挑战来自源域和目标域之间的巨大差异。先前工作主要是明确对齐了图像层面和实例层面的迁移,以最终最小化域差异,但是依然忽略了跨域匹配关键的图像区域和重要的实例,以至于严重影响了域迁移的缓解。本文提出一个简单且有效的类正则化框架以缓解这一问题,它可以作为一个即插即用的组件应用于一系列域自适应Faster R-CNN方法上,这些方法对处理域自适应检测非常重要。

具体而言,通过整合检测backbone上的一个图像层面的多标签分类器,本文可以通过分类方式的弱定位能力,获得对应于类信息的稀疏且关键的图像区域。同时,在实例层面,本文把图像预测和实例预测之间的类一致性作为一个正则化因子,以自动搜索目标域的硬对齐实例。大量不同域迁移方案的实验表明,相较原始的域自适应Faster R-CNN检测器,本文方法取得显著的性能提升。此外,定性的可视化和分析表明,本文方法可应用于针对域适应的关键区域/实例。

成为VIP会员查看完整内容
0
17

Dropout是一种广泛使用的正则化技术,通常需要为许多体系结构获得最先进的技术。这项工作表明,dropout引入了两种截然不同但相互纠缠的正则化效应:由于dropout修改了预期的训练目标而产生的显式效应(在之前的工作中也研究过),以及可能令人惊讶的是,dropout训练更新中的随机性带来的另一种隐式效应。这种隐式正则化效应类似于小批量随机梯度下降中的随机度效应。我们通过控制实验把这两种效应分开。然后,我们推导出分析的简化,用模型的导数和损失来描述每个影响,对于深度神经网络。我们证明了这些简化的、解析的正则化器准确地捕获了辍学的重要方面,表明它们在实践中忠实地替代了dropout。

成为VIP会员查看完整内容
0
23

本文研究了无监督多类域适应的形式化,它是近年来一些学习目标仅由经验驱动的算法的基础。多类评分分歧(MCSD)是通过聚合多类分类中的绝对间隔偏离;所提出的MCSD能够充分刻画任意一对多类评分假设之间的关系。通过使用MCSD作为域距离的度量,我们为多类UDA开发了一个新的域适配边界,以及它的依赖于数据的(可能是近似正确的)边界,这自然地提出了对抗性的学习目标来对齐源域和目标域的条件特征分布。因此,一个多类领域对抗学习网络(McDalNets)的算法框架被开发出来,它通过代理学习目标的不同实例与最近流行的一些方法相一致或相似,从而(部分地)强调了它们的实际有效性。在多类UDA理论的基础上,提出了一种新的域对称网络(SymmNets)算法。symmnet提供了简单的扩展,这些扩展在封闭集、部分集或开放集UDA的问题设置下都可以很好地工作。我们进行了仔细的实证研究,以比较不同的算法的McDalNets和我们的新推出的SymmNets。实验结果验证了理论分析的正确性和有效性。我们公开了我们的实现代码。

成为VIP会员查看完整内容
0
25

弱监督语义分割是一项具有挑战性的任务,因为没有提供像素级的标签信息供训练使用。最近的方法利用分类网络,通过选择具有强响应的区域来定位目标。然而,虽然这种响应映射提供了稀疏信息,但在自然图像中像素之间存在很强的两两关系,可以利用这种两两关系将稀疏映射传播到更密集的区域。本文提出了一种迭代算法来学习这种两两关系,它由两个分支组成,一个是学习每个像素的标签概率的一元分割网络,另一个是学习亲和矩阵并细化由一元网络生成的概率图的两两亲和网络。将两两网络的细化结果作为监督,对一元网络进行训练,通过迭代的方法逐步获得较好的分割效果。为了在不需要精确标注的情况下获得可靠的像素亲和力,我们还提出了可信区域的挖掘方法。我们证明了迭代训练这个框架等价于优化一个收敛到局部最小值的能量函数。在PASCAL VOC 2012和COCO数据集上的实验结果表明,所提出的算法在性能上优于目前最先进的方法。

成为VIP会员查看完整内容
0
35

题目: Adversarial-Learned Loss for Domain Adaptation

摘要: 近年来,在跨领域学习可转移表征方面取得了显著的进展。以往的领域适应研究主要基于两种技术:领域对抗学习和自我训练。然而,领域对抗性学习只会调整领域之间的特征分布,而不考虑目标特征是否具有区分性。另一方面,自训练利用模型预测来增强目标特征的识别,但无法明确地指定领域分布。为了将这两种方法的优点结合起来,我们提出了一种新的领域自适应的通用学习损失(ALDA)方法,首先分析了一种典型的自训练方法伪标签方法。然而,伪标签和地面真实性之间存在差距,这可能导致错误的训练。因此,我们引入了混淆矩阵,通过对抗性的方式在ALDA中学习,以减少gap并对齐特征分布。最后,从学习的混淆矩阵中自动构造一个新的损失函数,作为未标记目标样本的损失。在四标准域自适应数据集中,OurALDA优于最新方法。

作者简介: Haifeng Liu,博士,浙江大学计算机学院副教授。个人主页:https://person.zju.edu.cn/en/hfliu

成为VIP会员查看完整内容
0
49
小贴士
相关资讯
相关论文
Simple Multi-Resolution Representation Learning for Human Pose Estimation
Trung Q. Tran,Giang V. Nguyen,Daeyoung Kim
5+阅读 · 2020年4月14日
Parsimonious Bayesian deep networks
Mingyuan Zhou
3+阅读 · 2018年10月17日
Efficient and Effective $L_0$ Feature Selection
Ana Kenney,Francesca Chiaromonte,Giovanni Felici
5+阅读 · 2018年8月7日
Marc Brittain,Peng Wei
3+阅读 · 2018年5月18日
Tongtao Zhang,Heng Ji
13+阅读 · 2018年4月21日
Jianxun Lian,Xiaohuan Zhou,Fuzheng Zhang,Zhongxia Chen,Xing Xie,Guangzhong Sun
6+阅读 · 2018年3月15日
Yeeleng S. Vang,Zhen Chen,Xiaohui Xie
8+阅读 · 2018年2月3日
Liwen Zheng,Canmiao Fu,Yong Zhao
3+阅读 · 2018年1月18日
Ryan Lowe,Yi Wu,Aviv Tamar,Jean Harb,Pieter Abbeel,Igor Mordatch
5+阅读 · 2018年1月16日
Andrew K. Lampinen,James L. McClelland
5+阅读 · 2017年10月27日
Top