题目 Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings

摘要:

本文提出了一种新的基于流形的几何学习方法来学习源语言和目标语言之间的无监督词嵌入对齐。该方法将对列学习问题归结为双随机矩阵流形上的域适应问题。这一观点的提出是为了对齐两个语言空间的二阶信息。利用双随机流形的丰富几何性质,提出了一种高效的黎曼流形的共轭梯度算法。从经验上看,该方法在跨语言对的双语词汇归纳任务中表现优于基于最优迁移的方法。远程语言对性能的提高更为显著。

成为VIP会员查看完整内容
0
17

相关内容

现实生活中常常会有这样的问题:缺乏足够的先验知识,因此难以人工标注类别或进行人工类别标注的成本太高。很自然地,我们希望计算机能代我们完成这些工作,或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题,称之为无监督学习

自监督式VO方法在视频中联合估计摄像机姿态和深度方面取得了很大的成功。然而,与大多数数据驱动的方法一样,现有的VO网络在面对与训练数据不同的场景时,性能显著下降,不适合实际应用。在本文中,我们提出了一种在线元学习算法,使VO网络能够以一种自监督的方式不断适应新的环境。该方法利用卷积长短时记忆(convLSTM)来聚合过去的丰富时空信息。网络能够记忆和学习过去的经验,以便更好地估计和快速适应当前帧。在开放环境中运行VO时,为了应对环境的变化,我们提出了一种在线的特征对齐方法,即在不同的时刻对特征分布进行对齐。我们的VO网络能够无缝地适应不同的环境。在看不见的户外场景、虚拟到真实世界和户外到室内环境的大量实验表明,我们的方法始终比最先进的自监督的VO基线性能更好。

成为VIP会员查看完整内容
0
20

题目: CURL: Contrastive Unsupervised Representations for Reinforcement Learning

摘要:

我们提出了CURL:用于强化学习的对比无监督表示法。CURL使用对比学习从原始像素中提取高级特征,并在提取的特征之上执行off-policy控制。在DeepMind控制套件和Atari游戏中,在100K交互步骤基准测试中,CURL在复杂任务上的表现优于先前基于模型和非模型的基于像素的方法,分别提高了2.8倍和1.6倍的性能。在DeepMind控制套件中,CURL是第一个基于图像的算法,它的效率和性能几乎与使用基于状态的特性的方法不相上下。

成为VIP会员查看完整内容
0
23

地球上有成千上万种活跃的语言,但只有一个单一的视觉世界。根植于这个视觉世界,有可能弥合所有这些语言之间的鸿沟。我们的目标是使用视觉基准来改进语言之间的非监督词映射。其核心思想是通过学习母语教学视频中未配对的嵌入语,在两种语言之间建立一种共同的视觉表达。考虑到这种共享嵌入,我们证明(i)我们可以在语言之间映射单词,特别是“可视化”单词;(ii)共享嵌入为现有的基于文本的无监督单词翻译技术提供了良好的初始化,为我们提出的混合可视文本映射算法MUVE奠定了基础;(iii)我们的方法通过解决基于文本的方法的缺点来获得更好的性能——它更健壮,处理通用性更低的数据集,并且适用于低资源的语言。我们将这些方法应用于将英语单词翻译成法语、韩语和日语——所有这些都不需要任何平行语料库,而只是通过观看许多人边做边说的视频。

成为VIP会员查看完整内容
0
8

主题: Visual Grounding in Video for Unsupervised Word Translation

摘要:

地球上有成千上万种活跃的语言,但只有一个单一的视觉世界。根植于这个视觉世界,有可能弥合所有这些语言之间的鸿沟。我们的目标是使用视觉基础来改进语言之间的非监督词映射。其核心思想是通过学习母语教学视频中未配对的嵌入语,在两种语言之间建立一种共同的视觉表达。考虑到这种共享嵌入,我们证明(i)我们可以在语言之间映射单词,特别是“可视化”单词;(ii)共享嵌入为现有的基于文本的无监督单词翻译技术提供了良好的初始化,为我们提出的混合可视文本映射算法MUVE奠定了基础;(iii)我们的方法通过解决基于文本的方法的缺点来获得更好的性能——它鲁棒性更强,处理通用性更低的数据集,并且适用于低资源的语言。我们将这些方法应用于将英语单词翻译成法语、韩语和日语——所有这些都不需要任何平行语料库,而只是通过观看许多人边做边说的视频。

成为VIP会员查看完整内容
0
9

本文研究了无监督多类域适应的形式化,它是近年来一些学习目标仅由经验驱动的算法的基础。多类评分分歧(MCSD)是通过聚合多类分类中的绝对间隔偏离;所提出的MCSD能够充分刻画任意一对多类评分假设之间的关系。通过使用MCSD作为域距离的度量,我们为多类UDA开发了一个新的域适配边界,以及它的依赖于数据的(可能是近似正确的)边界,这自然地提出了对抗性的学习目标来对齐源域和目标域的条件特征分布。因此,一个多类领域对抗学习网络(McDalNets)的算法框架被开发出来,它通过代理学习目标的不同实例与最近流行的一些方法相一致或相似,从而(部分地)强调了它们的实际有效性。在多类UDA理论的基础上,提出了一种新的域对称网络(SymmNets)算法。symmnet提供了简单的扩展,这些扩展在封闭集、部分集或开放集UDA的问题设置下都可以很好地工作。我们进行了仔细的实证研究,以比较不同的算法的McDalNets和我们的新推出的SymmNets。实验结果验证了理论分析的正确性和有效性。我们公开了我们的实现代码。

成为VIP会员查看完整内容
0
25

题目: Unsupervised Multi-Class Domain Adaptation: Theory, Algorithms, and Practice

摘要:

本文研究了无监督多类域自适应理论,这是最近一些算法的基础,这些算法的学习目标仅仅是由经验驱动的。多类得分不一致(MCSD)分歧是通过聚合多类分类中的绝对裕度违规来表示的;所提出的MCSD能够充分表征任何一对多类得分假设之间的关系。通过使用MCSD作为域距离的度量,我们为多类UDA开发了一个新的域适配边界以及它的依赖于数据的(可能是近似正确的)边界,这自然地提出了对抗性的学习目标来对齐源域和目标域的条件特征分布。因此,一个多类领域对抗学习网络(McDalNets)的算法框架被开发出来,它通过学习目标的不同实例与最近流行的一些方法相一致或相似,从而(部分地)强调了它们的实际有效性。在多类UDA理论的基础上,提出了一种新的域对称网络(SymmNets)算法。Symmnet提供了简单的扩展,这些扩展在封闭集、部分集或开放集UDA的问题设置下都可以很好地工作。我们进行了仔细的实证研究,把不同的算法的McDalNets和我们的新推出的SymmNets相比较。实验结果验证了理论分析的正确性和有效性。

成为VIP会员查看完整内容
0
25

题目: Adversarial-Learned Loss for Domain Adaptation

摘要: 近年来,在跨领域学习可转移表征方面取得了显著的进展。以往的领域适应研究主要基于两种技术:领域对抗学习和自我训练。然而,领域对抗性学习只会调整领域之间的特征分布,而不考虑目标特征是否具有区分性。另一方面,自训练利用模型预测来增强目标特征的识别,但无法明确地指定领域分布。为了将这两种方法的优点结合起来,我们提出了一种新的领域自适应的通用学习损失(ALDA)方法,首先分析了一种典型的自训练方法伪标签方法。然而,伪标签和地面真实性之间存在差距,这可能导致错误的训练。因此,我们引入了混淆矩阵,通过对抗性的方式在ALDA中学习,以减少gap并对齐特征分布。最后,从学习的混淆矩阵中自动构造一个新的损失函数,作为未标记目标样本的损失。在四标准域自适应数据集中,OurALDA优于最新方法。

作者简介: Haifeng Liu,博士,浙江大学计算机学院副教授。个人主页:https://person.zju.edu.cn/en/hfliu

成为VIP会员查看完整内容
0
49

Multilingual Word Embeddings (MWEs) represent words from multiple languages in a single distributional vector space. Unsupervised MWE (UMWE) methods acquire multilingual embeddings without cross-lingual supervision, which is a significant advantage over traditional supervised approaches and opens many new possibilities for low-resource languages. Prior art for learning UMWEs, however, merely relies on a number of independently trained Unsupervised Bilingual Word Embeddings (UBWEs) to obtain multilingual embeddings. These methods fail to leverage the interdependencies that exist among many languages. To address this shortcoming, we propose a fully unsupervised framework for learning MWEs that directly exploits the relations between all language pairs. Our model substantially outperforms previous approaches in the experiments on multilingual word translation and cross-lingual word similarity. In addition, our model even beats supervised approaches trained with cross-lingual resources.

0
3
下载
预览

Ensembling word embeddings to improve distributed word representations has shown good success for natural language processing tasks in recent years. These approaches either carry out straightforward mathematical operations over a set of vectors or use unsupervised learning to find a lower-dimensional representation. This work compares meta-embeddings trained for different losses, namely loss functions that account for angular distance between the reconstructed embedding and the target and those that account normalized distances based on the vector length. We argue that meta-embeddings are better to treat the ensemble set equally in unsupervised learning as the respective quality of each embedding is unknown for upstream tasks prior to meta-embedding. We show that normalization methods that account for this such as cosine and KL-divergence objectives outperform meta-embedding trained on standard $\ell_1$ and $\ell_2$ loss on \textit{defacto} word similarity and relatedness datasets and find it outperforms existing meta-learning strategies.

0
3
下载
预览
小贴士
相关VIP内容
相关资讯
NLP领域中的迁移学习现状
AI科技评论
5+阅读 · 2019年9月1日
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
46+阅读 · 2019年5月29日
领域自适应学习论文大列表
专知
63+阅读 · 2019年3月2日
【泡泡一分钟】端到端的弱监督语义对齐
泡泡机器人SLAM
39+阅读 · 2018年4月5日
论文笔记:多任务相关粒子滤波跟踪器
统计学习与视觉计算组
8+阅读 · 2017年7月7日
相关论文
Yu Cao,Meng Fang,Baosheng Yu,Joey Tianyi Zhou
5+阅读 · 2019年11月13日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
11+阅读 · 2018年12月10日
Sagie Benaim,Lior Wolf
5+阅读 · 2018年10月23日
Xilun Chen,Claire Cardie
3+阅读 · 2018年8月27日
Angular-Based Word Meta-Embedding Learning
James O' Neill,Danushka Bollegala
3+阅读 · 2018年8月13日
Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein
7+阅读 · 2018年5月23日
Sebastian Ruder,Barbara Plank
4+阅读 · 2018年4月25日
Yu-An Chung,Hung-Yi Lee,James Glass
4+阅读 · 2018年4月21日
Wonsik Kim,Bhavya Goyal,Kunal Chawla,Jungmin Lee,Keunjoo Kwon
16+阅读 · 2018年4月2日
Krishnan Kumaran,Dimitri Papageorgiou,Yutong Chang,Minhan Li,Martin Takáč
8+阅读 · 2018年3月28日
Top