在不依赖下游任务的情况下评估学习表征的质量仍然是表示学习的挑战之一。在这项工作中,我们提出几何成分分析(GeomCA)算法,评估表示空间的几何和拓扑性质。GeomCA可以应用于任何维度的表示,独立于生成它们的模型。我们通过分析从各种场景中获得的表征来证明其适用性,如对比学习模型、生成模型和监督学习模型。

https://www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

成为VIP会员查看完整内容
34

相关内容

表示学习是通过利用训练数据来学习得到向量表示,这可以克服人工方法的局限性。 表示学习通常可分为两大类,无监督和有监督表示学习。大多数无监督表示学习方法利用自动编码器(如去噪自动编码器和稀疏自动编码器等)中的隐变量作为表示。 目前出现的变分自动编码器能够更好的容忍噪声和异常值。 然而,推断给定数据的潜在结构几乎是不可能的。 目前有一些近似推断的策略。 此外,一些无监督表示学习方法旨在近似某种特定的相似性度量。提出了一种无监督的相似性保持表示学习框架,该框架使用矩阵分解来保持成对的DTW相似性。 通过学习保持DTW的shaplets,即在转换后的空间中的欧式距离近似原始数据的真实DTW距离。有监督表示学习方法可以利用数据的标签信息,更好地捕获数据的语义结构。 孪生网络和三元组网络是目前两种比较流行的模型,它们的目标是最大化类别之间的距离并最小化了类别内部的距离。
专知会员服务
28+阅读 · 2021年7月19日
专知会员服务
36+阅读 · 2021年7月17日
专知会员服务
30+阅读 · 2021年7月15日
专知会员服务
42+阅读 · 2021年7月1日
专知会员服务
30+阅读 · 2021年6月24日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
79+阅读 · 2021年5月10日
图表示学习Graph Embedding综述
AINLP
32+阅读 · 2020年5月17日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
KDD 2019论文解读:异构信息网络上的对抗生成学习
云栖社区
22+阅读 · 2019年8月21日
图数据表示学习综述论文
专知
51+阅读 · 2019年6月10日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
448+阅读 · 2019年4月30日
Arxiv
91+阅读 · 2020年2月28日
Arxiv
3+阅读 · 2018年2月7日
Arxiv
12+阅读 · 2018年1月28日
VIP会员
相关VIP内容
专知会员服务
28+阅读 · 2021年7月19日
专知会员服务
36+阅读 · 2021年7月17日
专知会员服务
30+阅读 · 2021年7月15日
专知会员服务
42+阅读 · 2021年7月1日
专知会员服务
30+阅读 · 2021年6月24日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
79+阅读 · 2021年5月10日
相关资讯
图表示学习Graph Embedding综述
AINLP
32+阅读 · 2020年5月17日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
KDD 2019论文解读:异构信息网络上的对抗生成学习
云栖社区
22+阅读 · 2019年8月21日
图数据表示学习综述论文
专知
51+阅读 · 2019年6月10日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
448+阅读 · 2019年4月30日
微信扫码咨询专知VIP会员