题目: Are All Good Word Vector Spaces Isomorphic?

摘要: 现有的对齐跨语言单词向量空间的算法假设向量空间是近似同构的。结果,它们在非同构空间上表现很差或完全失败。这种非同构性几乎完全是由语言之间的类型学差异造成的。在这项工作中,我们问非同构是否也是退化字向量空间的一个重要标志。我们在不同的语言之间进行了一系列的实验,这些实验表明,除了固有的类型差异外,语言对之间表现的差异在很大程度上可以归因于可用单语资源的大小,以及单语训练的性质和持续时间(例如,训练不足)。

成为VIP会员查看完整内容
8

相关内容

分散式表示即将语言表示为稠密、低维、连续的向量。 研究者最早发现学习得到词嵌入之间存在类比关系。比如apple−apples ≈ car−cars, man−woman ≈ king – queen 等。这些方法都可以直接在大规模无标注语料上进行训练。词嵌入的质量也非常依赖于上下文窗口大小的选择。通常大的上下文窗口学到的词嵌入更反映主题信息,而小的上下文窗口学到的词嵌入更反映词的功能和上下文语义信息。
【斯坦福CS520】向量空间中嵌入的知识图谱推理,48页ppt
专知会员服务
96+阅读 · 2020年6月11日
【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练
专知会员服务
37+阅读 · 2020年3月31日
ACL 2019 | 多语言BERT的语言表征探索
AI科技评论
20+阅读 · 2019年9月6日
深度学习 | 利用词嵌入对文本进行情感分析
沈浩老师
11+阅读 · 2017年10月19日
字词的向量表示
黑龙江大学自然语言处理实验室
4+阅读 · 2016年6月13日
自然语言处理 (三) 之 word embedding
DeepLearning中文论坛
19+阅读 · 2015年8月3日
Arxiv
3+阅读 · 2018年8月27日
Meta-Learning with Latent Embedding Optimization
Arxiv
6+阅读 · 2018年7月16日
Arxiv
6+阅读 · 2018年6月20日
Arxiv
16+阅读 · 2018年4月2日
VIP会员
相关VIP内容
【斯坦福CS520】向量空间中嵌入的知识图谱推理,48页ppt
专知会员服务
96+阅读 · 2020年6月11日
【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练
专知会员服务
37+阅读 · 2020年3月31日
相关资讯
ACL 2019 | 多语言BERT的语言表征探索
AI科技评论
20+阅读 · 2019年9月6日
深度学习 | 利用词嵌入对文本进行情感分析
沈浩老师
11+阅读 · 2017年10月19日
字词的向量表示
黑龙江大学自然语言处理实验室
4+阅读 · 2016年6月13日
自然语言处理 (三) 之 word embedding
DeepLearning中文论坛
19+阅读 · 2015年8月3日
微信扫码咨询专知VIP会员