学习从高维数据中提取与任务相关的特征是机器学习的一个重要挑战。机器学习最近的成功在很大程度上归因于深度神经网络的进步,它将数据转换为一种新的表示,适合下游机器学习算法。因此,深度神经网络将任务相关特征的提取视为一个表征学习问题,通过端到端训练与感兴趣的任务共同解决。本文对表示学习的过程进行了更深入的研究,认为通常可以通过对学习到的表示施加额外的约束来补充现有的训练信号。这些约束使我们能够在表示空间中注入先验已知的可取特征,从而有利于下游的任务。在这篇论文中,我们将考虑各种任务的例子,然后展示如何利用关于任务的见解,以一种有益的方式约束表征。这些见解是特定于任务的,利用任务的特定特征来确定对潜在空间的适当约束(例如,施加平滑性,施加信息优先级方案,或捕获一个特定的解释因素的兴趣,等等)。我们的演示广泛地涵盖了跨领域对齐、控制和生成建模的任务类别——从而展示了在表示学习期间设计和施加特定于任务的约束的普遍有效性。

成为VIP会员查看完整内容
60

相关内容

斯坦福大学(StanfordUniversity)位于加利福尼亚州,临近旧金山,占地35平方公里,是美国面积第二大的大学。它被公认为世界上最杰出的大学之一,相比美国东部的常春藤盟校,特别是哈佛大学、耶鲁大学,斯坦福大学虽然历史较短,但无论是学术水准还是其他方面都能与常春藤名校相抗衡。斯坦福大学企业管理研究所和法学院在美国是数一数二的,美国最高法院的9个大法官,有6个是从斯坦福大学的法学院毕业的。
【牛津大学博士论文】持续学习的高效机器学习,213页pdf
专知会员服务
77+阅读 · 2022年10月19日
【牛津大学博士论文】自监督学习视频理解,143页pdf
专知会员服务
37+阅读 · 2022年10月11日
【迪肯大学博士论文】深度神经网络视觉推理
专知会员服务
44+阅读 · 2022年10月3日
【牛津大学博士论文】元强化学习的快速自适应,217页pdf
【MIT博士论文】分子图表示学习与生成的药物发现
专知会员服务
47+阅读 · 2022年6月28日
【斯坦福大学博士论文】自监督场景表示学习, 97页pdf
专知会员服务
92+阅读 · 2020年6月19日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年10月22日
Arxiv
0+阅读 · 2022年10月20日
Arxiv
35+阅读 · 2022年3月14日
已删除
Arxiv
31+阅读 · 2020年3月23日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员