几乎没有任何学科能够像机器学习在过去十年中那样经历如此快速的进展。即便是在过去的几年里,研究领域也在不断发展和重新聚焦于新的挑战,这些挑战往往由其潜力所驱动,能够改变社会并影响人类的思维、生活和工作方式。这些进展的核心组成部分是表示学习:一种将输入数据转化为新的表示形式的技术,该表示形式捕捉了数据中的结构和模式。

本论文并不聚焦于在典型学习范式中改进表示学习,而是探索表示学习在某些特定情境下的困难。我们的重点是受限条件下的表示学习,旨在朝着解决那些在表示学习过程中表现不稳定、性能差或“根本行不通”的设置迈出一步。

第1章首先概述了表示学习。它提供了表示学习的正式定义,探讨了早期表示学习算法的历史,并概述了这些方法通常需要的两个条件。然后,我们分析了这些条件一旦被打破,表示学习将如何受到干扰,并列出了几个现实世界中这些限制体现的情境。

第2章,我们聚焦于数据稀缺的限制,并以分子科学中的一个应用作为我们工作的动机。我们探讨了如何利用物理基础的分子模拟数据进行训练,以学习能够捕捉蛋白质-配体结合模式的表示。针对我们的目标任务——预测小分子是否激活或抑制特定蛋白质——我们发现,利用基于模拟数据训练的表示作为起点,可以显著提高建模性能。

第3章继续关注数据稀缺问题,但从不同的角度进行探讨。我们并非从一个任务转移表示到另一个任务,而是开发了一种元学习算法,该算法能够在只有很少标签样本的情况下,学习如何将输入转化为新任务的表示。与需要在标记示例上微调的先前工作不同,我们的方法在推理过程中不会更新模型参数,并且在许多小样本学习基准上设立了新的最先进水平。

第4章,我们转向学习离散表示的限制。这种范式具有挑战性,因为离散化将非可微分的点引入到通常用于学习表示的平滑目标函数中。我们重点研究一种流行的离散化方法——矢量量化,并改变了梯度如何通过这一操作的方式。在使用矢量量化的11种不同范式中,我们的梯度估算器提升了性能并减少了训练的不稳定性。

最后,第5章总结了本论文的贡献,并探讨了未来工作的可能方向。

成为VIP会员查看完整内容
20

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【斯坦福博士论文】受限条件下的表示学习
专知会员服务
25+阅读 · 3月8日
【阿姆斯特丹博士论文】在语言模型中寻找结构
专知会员服务
25+阅读 · 2024年11月27日
【牛津大学博士论文】序列决策中的迁移学习
专知会员服务
24+阅读 · 2024年11月10日
【CMU博士论文】使用数据不确定解释的可信学习
专知会员服务
27+阅读 · 2024年11月2日
【ETHZ博士论文】神经场景表示用于三维重建和场景理解
专知会员服务
36+阅读 · 2024年3月15日
【NTU博士论文】朝着鲁棒且标签高效的时间序列表示学习
【博士论文】自监督学习视频表示
专知会员服务
26+阅读 · 2024年2月5日
张潼新书《机器学习算法数学分析》,477页pdf
专知会员服务
206+阅读 · 2023年7月6日
【干货书】机器学习导论第四版,903页pdf
专知
27+阅读 · 2022年11月26日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【CVPR 2020 Oral】小样本类增量学习
专知
19+阅读 · 2020年6月26日
关于强化学习(附代码,练习和解答)
深度学习
37+阅读 · 2018年1月30日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
Arxiv
165+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
447+阅读 · 2023年3月31日
Arxiv
75+阅读 · 2023年3月26日
Arxiv
163+阅读 · 2023年3月24日
Arxiv
24+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【斯坦福博士论文】受限条件下的表示学习
专知会员服务
25+阅读 · 3月8日
【阿姆斯特丹博士论文】在语言模型中寻找结构
专知会员服务
25+阅读 · 2024年11月27日
【牛津大学博士论文】序列决策中的迁移学习
专知会员服务
24+阅读 · 2024年11月10日
【CMU博士论文】使用数据不确定解释的可信学习
专知会员服务
27+阅读 · 2024年11月2日
【ETHZ博士论文】神经场景表示用于三维重建和场景理解
专知会员服务
36+阅读 · 2024年3月15日
【NTU博士论文】朝着鲁棒且标签高效的时间序列表示学习
【博士论文】自监督学习视频表示
专知会员服务
26+阅读 · 2024年2月5日
张潼新书《机器学习算法数学分析》,477页pdf
专知会员服务
206+阅读 · 2023年7月6日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员