本文研究了无监督多类域适应的形式化,它是近年来一些学习目标仅由经验驱动的算法的基础。多类评分分歧(MCSD)是通过聚合多类分类中的绝对间隔偏离;所提出的MCSD能够充分刻画任意一对多类评分假设之间的关系。通过使用MCSD作为域距离的度量,我们为多类UDA开发了一个新的域适配边界,以及它的依赖于数据的(可能是近似正确的)边界,这自然地提出了对抗性的学习目标来对齐源域和目标域的条件特征分布。因此,一个多类领域对抗学习网络(McDalNets)的算法框架被开发出来,它通过代理学习目标的不同实例与最近流行的一些方法相一致或相似,从而(部分地)强调了它们的实际有效性。在多类UDA理论的基础上,提出了一种新的域对称网络(SymmNets)算法。symmnet提供了简单的扩展,这些扩展在封闭集、部分集或开放集UDA的问题设置下都可以很好地工作。我们进行了仔细的实证研究,以比较不同的算法的McDalNets和我们的新推出的SymmNets。实验结果验证了理论分析的正确性和有效性。我们公开了我们的实现代码。

成为VIP会员查看完整内容
0
26

相关内容

现实生活中常常会有这样的问题:缺乏足够的先验知识,因此难以人工标注类别或进行人工类别标注的成本太高。很自然地,我们希望计算机能代我们完成这些工作,或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题,称之为无监督学习

所有著名的机器学习算法包括监督学习和半监督学习,只有在一个共同的假设下才能很好地有效: 训练和测试数据遵循相同的分布。当分布发生变化时,大多数统计模型必须从新收集的数据中重新构建,对于某些应用程序,这些数据可能是昂贵的或不可能获得的。因此,有必要开发一种方法,通过利用相关领域的可用数据并在类似领域进一步使用它来减少获取新标记样本的需要和工作量。这催生了一种新的机器学习框架,称为“迁移学习”(transfer learning):这是一种学习环境,其灵感来自于人类在不同任务间推断知识以提高学习效率的能力。尽管有大量不同的迁移学习场景,本综述的主要目的是提供一个特定的、可以说是最流行的迁移学习子领域——领域自适应——最新理论结果的概述。在这个子领域中,假设在训练和测试数据之间的数据分布是变化的,而学习任务是不变的。我们提供了一个关于领域适应问题的现有结果的最新描述,它涵盖了基于不同统计学习框架的学习范围。

概述

迁移学习背后的思想是由人类的学习能力所激发的,这种学习能力是在很少或没有监督的情况下根据先前获得的知识进行的。毫不奇怪,这个概念并没有在机器学习领域中被发明出来,因为“学习的转移”这个概念在第一台计算机出现之前就已经被使用了,并且在20世纪早期的心理学领域的论文中也有出现。从统计的角度来看,这种学习场景不同于监督学习,因为前者不假设训练和测试数据必须来自相同的概率分布。有人认为,这种假设在实践中往往过于严格,因为在许多现实世界的应用中,假设是在不同的环境中学习和部署的,并显示出一个重要的转变。在迁移移学习中经常使用的一个典型例子是考虑一个垃圾邮件过滤任务,其中垃圾邮件过滤器是使用给定用户的公司邮箱的任意分类算法来学习的。在这种情况下,由算法分析的绝大多数电子邮件很可能是专业性质的,其中很少涉及被考虑的人的私人生活。再进一步设想这样一种情况:同一用户在个人计算机上安装了邮箱软件,并导入其公司邮箱的设置,希望它也能在其上正常工作。然而,这是不可能的,因为许多个人电子邮件可能看起来像垃圾邮件的算法学习纯粹的专业通信,由于他们的内容和附件文件的差异,以及电子邮件地址的不一致性。另一个说明性的例子是海洋学研究中的物种分类,在这种分类中,人们依靠对某一海域的视频覆盖来识别海洋栖息地的物种。例如,在地中海和印度洋,可以在录像中找到的鱼类很可能属于同一科,尽管由于不同的气候和进化背景,它们的实际外观可能非常不同。在这种情况下,如果没有专家的专门调整,在地中海视频覆盖上训练的学习算法很可能无法提供印度洋物种的正确分类。

在这种应用中,我们可能希望找到一种学习范式,这种学习范式能够保持对不断变化的环境的鲁棒性,并通过类比和利用最初学习领域的知识来适应手边的新问题。为了解决这个问题,对新的算法的探索,能够在一个训练样本上学习,然后在一个测试样本上有一个良好的表现,来自一个不同但相关的概率分布,从而产生了一个新的学习范式,称为迁移学习。

表1: 本综述中关于领域适应的学习范围的贡献总结。(任务)是指所考虑的学习问题;(框架)指定分析中使用的统计学习框架;(散度)是用来比较源分布和目标分布的度量;(Link)表示源误差与散度项之间的依赖关系;(Non-estim)表示在界限中存在一个不可估计的项。

在本篇综述中,我们对领域自适应问题的现有理论进行了概述,这种学习设置扩展了传统的学习范式,使模型可以在来自不同但相关的概率分布的样本上学习和部署。所引用的理论结果通常采取一种学习边界的形式,其目标是将一个模型在训练(也称为源)域上的错误与测试(也称为目标)域上的错误联系起来。为此,我们注意到所提供的结果是非常直观的,因为它们明确地引入了上述两个错误之间的关系与它们的数据生成概率分布和相应的标记函数的相似性的依赖关系。因此,这种源域和目标域之间的双向关联,通过比较两个域的边缘分布和样本的可能标记来描述这两个域的无监督邻近性,通过寻找一个相对于它们具有低误差的良好模型。在这一主题的大多数已发表的结果中,以这样或那样的方式保留了这种普遍的权衡,因此可以被视为现代领域适应理论的基石。

成为VIP会员查看完整内容
0
174

题目 Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings

摘要:

本文提出了一种新的基于流形的几何学习方法来学习源语言和目标语言之间的无监督词嵌入对齐。该方法将对列学习问题归结为双随机矩阵流形上的域适应问题。这一观点的提出是为了对齐两个语言空间的二阶信息。利用双随机流形的丰富几何性质,提出了一种高效的黎曼流形的共轭梯度算法。从经验上看,该方法在跨语言对的双语词汇归纳任务中表现优于基于最优迁移的方法。远程语言对性能的提高更为显著。

成为VIP会员查看完整内容
0
17

【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类,基于先验知识等,只基于少量的样本就可以进行学习。本文介绍34页小样本学习综述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》,包含166篇参考文献,来自第四范式和香港科技大学习的研究学者。

小样本学习综述 Few-shot Learning: A Survey

【摘要】机器学习在数据密集型应用中非常成功,但当数据集很小时,它常常受到阻碍。为了解决这一问题,近年来提出了小样本学习(FSL)。利用先验知识,FSL可以快速地泛化到只包含少量有监督信息的样本的新任务中。在这篇论文中,我们进行了一个彻底的调研,以充分了解FSL。从FSL的正式定义出发,我们将FSL与几个相关的机器学习问题区分开来。然后指出了FSL的核心问题是经验风险最小化是不可靠的。基于先验知识如何处理这一核心问题,我们从三个角度对FSL方法进行了分类: (i) 数据,它使用先验知识来增加监督经验;(二) 利用先验知识缩小假设空间大小的模型;(iii)算法,利用先验知识在给定的假设空间中改变对最佳假设的搜索。有了这种分类法,我们就可以回顾和讨论每个类别的优缺点。在FSL问题的设置、技术、应用和理论方面也提出了有前景的方向,为未来的研究提供了见解。

  • 我们给出了FSL的形式化定义。它可以自然地链接到以往文献中提出的经典机器学习定义。这个定义不仅足够概括,包括所有现有的FSL -shot Learning: A Survey problems,而且足够具体,明确了什么是FSL的目标,以及我们如何解决它。这一定义有助于确定未来FSL领域的研究目标。

  • 指出了基于误差分解的FSL在机器学习中的核心问题。我们发现,正是不可靠的经验风险最小化使得FSL难以学习。这可以通过满足或降低学习的样本复杂度来缓解。理解核心问题有助于根据解决核心问题的方式将不同的工作分类为数据、模型和算法。更重要的是,这为更有组织和系统地改进FSL方法提供了见解。

  • 我们对从FSL诞生到最近发表的文献进行了广泛的回顾,并将它们进行了统一的分类。对不同类别的优缺点进行了深入的讨论。我们还对每个类别下的见解进行了总结。这对于初学者和有经验的研究人员都是一个很好的指导方针。

  • 我们在问题设置、技术、应用和理论方面展望了FSL未来的四个发展方向。这些见解都是基于当前FSL发展的不足之处,并有可能在未来进行探索。我们希望这部分能够提供一些见解,为解决FSL问题做出贡献,为真正的AI而努力。

  • 与已有的关于小样本概念学习和经验学习的FSL相关调相比,我们给出了什么是FSL,为什么FSL很难,以及FSL如何将小样本监督信息与先验知识结合起来使学习成为可能的正式定义。我们进行了广泛的文献审查的基础上提出的分类法与详细讨论的利弊,总结和见解。我们还讨论了FSL与半监督学习、不平衡学习、迁移学习和元学习等相关话题之间的联系和区别

成为VIP会员查看完整内容
0
166

元学习利用相关的源任务来学习初始化,可以通过有限的标记示例将初始化快速调整到目标任务。然而,许多流行的元学习算法,如模型无关元学习(MAML),都只假设可以访问目标样本进行微调。在这项工作中,我们提供了一个通用的元学习框架,该框架基于对不同源任务的损失进行加权,其中的权重允许依赖于目标样本。在这个一般的设置中,我们提供了基于积分概率度量(IPM)和Rademacher复杂性的源任务加权经验风险和预期目标风险之间距离的上限,该上限适用于包括MAML和加权MAML变体在内的许多元学习设置。然后开发一个基于最小化误差学习算法对实证IPM,包括α-MAML加权MAML算法。最后,我们实证地证明了我们的加权元学习算法能够比单加权元学习算法(如MAML)找到更好的初始化。

成为VIP会员查看完整内容
0
33

无监督域自适应(UDA)是在给定源域上有标记数据的情况下,对目标域上的无标记数据进行预测。主流的UDA方法学习这两个域之间的对齐特征,这样一个训练在源特征上的分类器可以很容易地应用到目标特征上。但是,这种转移策略有可能破坏目标数据的内在辨别能力。为了缓解这种风险,我们基于结构域相似度的假设,提出通过对目标数据进行判别聚类,直接发现目标的内在歧视。我们利用基于结构域相似性的结构源正则化约束聚类解。在技术上,我们使用了一个灵活的基于判别聚类的深度网络框架,使网络的预测标签分布与引入的辅助标签分布之间的KL分歧最小化;用源数据的基真标签形成的辅助分布代替辅助分布,通过简单的联合网络训练策略实现了结构源的正则化。我们将提出的方法称为结构正则化深度聚类(SRDC),其中我们还使用中间网络特征的聚类来增强目标识别,并使用较少发散的源实例的软选择来增强结构正则化。仔细的消融研究显示了我们提出的SRDC的疗效。值得注意的是,在没有显式域对齐的情况下,SRDC在三个UDA基准上的性能优于所有现有方法。

成为VIP会员查看完整内容
0
44

题目: Unsupervised Multi-Class Domain Adaptation: Theory, Algorithms, and Practice

摘要:

本文研究了无监督多类域自适应理论,这是最近一些算法的基础,这些算法的学习目标仅仅是由经验驱动的。多类得分不一致(MCSD)分歧是通过聚合多类分类中的绝对裕度违规来表示的;所提出的MCSD能够充分表征任何一对多类得分假设之间的关系。通过使用MCSD作为域距离的度量,我们为多类UDA开发了一个新的域适配边界以及它的依赖于数据的(可能是近似正确的)边界,这自然地提出了对抗性的学习目标来对齐源域和目标域的条件特征分布。因此,一个多类领域对抗学习网络(McDalNets)的算法框架被开发出来,它通过学习目标的不同实例与最近流行的一些方法相一致或相似,从而(部分地)强调了它们的实际有效性。在多类UDA理论的基础上,提出了一种新的域对称网络(SymmNets)算法。Symmnet提供了简单的扩展,这些扩展在封闭集、部分集或开放集UDA的问题设置下都可以很好地工作。我们进行了仔细的实证研究,把不同的算法的McDalNets和我们的新推出的SymmNets相比较。实验结果验证了理论分析的正确性和有效性。

成为VIP会员查看完整内容
0
26

弱监督语义分割是一项具有挑战性的任务,因为没有提供像素级的标签信息供训练使用。最近的方法利用分类网络,通过选择具有强响应的区域来定位目标。然而,虽然这种响应映射提供了稀疏信息,但在自然图像中像素之间存在很强的两两关系,可以利用这种两两关系将稀疏映射传播到更密集的区域。本文提出了一种迭代算法来学习这种两两关系,它由两个分支组成,一个是学习每个像素的标签概率的一元分割网络,另一个是学习亲和矩阵并细化由一元网络生成的概率图的两两亲和网络。将两两网络的细化结果作为监督,对一元网络进行训练,通过迭代的方法逐步获得较好的分割效果。为了在不需要精确标注的情况下获得可靠的像素亲和力,我们还提出了可信区域的挖掘方法。我们证明了迭代训练这个框架等价于优化一个收敛到局部最小值的能量函数。在PASCAL VOC 2012和COCO数据集上的实验结果表明,所提出的算法在性能上优于目前最先进的方法。

成为VIP会员查看完整内容
0
36

论文摘要

多路网络中的节点通过多种类型的关系进行连接。然而,大多数现有的网络嵌入方法假定只有节点之间存在单一类型的关系。即使对于考虑网络复用性的人,他们忽略节点属性,求助于节点标签进行训练,并且无法对图的全局属性建模。我们提出了一种简单而有效的无监督网络嵌入方法,该方法是基于深部图的自组织网络,该方法最大限度地利用图的局部斑块之间的互信息,以及整个图的全局表示。我们设计了一个系统的方法来联合集成来自多个图的节点嵌入,方法是:1)使用一致正则化框架来最小化关系类型特定的节点嵌入之间的分歧;2)使用通用鉴别器来区分真正的样本,而不考虑关系类型。我们还表明,注意机制可以推断每种关系类型的重要性,因此可以作为预处理步骤用于过滤不必要的关系类型。在各种下游任务上的大量实验表明,尽管DMGI是完全无监督的,但DMGI仍然优于现有的方法。

论文作者

Chanyoung Park1, Donghyun Kim, Jiawei Han1, Hwanjo Yu,伊利诺伊大学香槟分校计算机科学系,韩国浦项科技大学计算机科学与工程系

成为VIP会员查看完整内容
0
36
小贴士
相关VIP内容
专知会员服务
63+阅读 · 2020年6月26日
专知会员服务
33+阅读 · 2020年3月25日
专知会员服务
36+阅读 · 2020年2月20日
相关资讯
关于GANs在医学图像领域应用的总结
计算机视觉life
9+阅读 · 2019年7月25日
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
46+阅读 · 2019年5月29日
半监督深度学习小结:类协同训练和一致性正则化
Meta-Learning 元学习:学会快速学习
专知
23+阅读 · 2018年12月8日
CVPR 2018 | 无监督语义分割之全卷积域适应网络
极市平台
7+阅读 · 2018年6月28日
【干货】监督学习与无监督学习简介
专知
5+阅读 · 2018年4月4日
范式大学|迁移学习实战:从算法到实践
机器学习研究会
14+阅读 · 2017年8月9日
机器学习算法比较
我爱机器学习
4+阅读 · 2016年12月11日
相关论文
Min-Hung Chen,Baopu Li,Yingze Bao,Ghassan AlRegib,Zsolt Kira
6+阅读 · 2020年3月18日
Differential Treatment for Stuff and Things: A Simple Unsupervised Domain Adaptation Method for Semantic Segmentation
Zhonghao Wang,Mo Yu,Yunchao Wei,Rogerior Feris,Jinjun Xiong,Wen-mei Hwu,Thomas S. Huang,Honghui Shi
5+阅读 · 2020年3月18日
Deflecting Adversarial Attacks
Yao Qin,Nicholas Frosst,Colin Raffel,Garrison Cottrell,Geoffrey Hinton
6+阅读 · 2020年2月18日
Continual Unsupervised Representation Learning
Dushyant Rao,Francesco Visin,Andrei A. Rusu,Yee Whye Teh,Razvan Pascanu,Raia Hadsell
5+阅读 · 2019年10月31日
Xiaohua Zhai,Avital Oliver,Alexander Kolesnikov,Lucas Beyer
5+阅读 · 2019年5月9日
Maria Perez-Ortiz,Peter Tino,Rafal Mantiuk,Cesar Hervas-Martinez
3+阅读 · 2019年3月24日
Multi-class Classification without Multi-class Labels
Yen-Chang Hsu,Zhaoyang Lv,Joel Schlosser,Phillip Odom,Zsolt Kira
4+阅读 · 2019年1月2日
q-Space Novelty Detection with Variational Autoencoders
Aleksei Vasilev,Vladimir Golkov,Marc Meissner,Ilona Lipp,Eleonora Sgarlata,Valentina Tomassini,Derek K. Jones,Daniel Cremers
3+阅读 · 2018年10月25日
Angular-Based Word Meta-Embedding Learning
James O' Neill,Danushka Bollegala
3+阅读 · 2018年8月13日
Top
微信扫码咨询专知VIP会员