Pre-training (PT) followed by fine-tuning (FT) is an effective method for training neural networks, and has led to significant performance improvements in many domains. PT can incorporate various design choices such as task and data reweighting strategies, augmentation policies, and noise models, all of which can significantly impact the quality of representations learned. The hyperparameters introduced by these strategies therefore must be tuned appropriately. However, setting the values of these hyperparameters is challenging. Most existing methods either struggle to scale to high dimensions, are too slow and memory-intensive, or cannot be directly applied to the two-stage PT and FT learning process. In this work, we propose an efficient, gradient-based algorithm to meta-learn PT hyperparameters. We formalize the PT hyperparameter optimization problem and propose a novel method to obtain PT hyperparameter gradients by combining implicit differentiation and backpropagation through unrolled optimization. We demonstrate that our method improves predictive performance on two real-world domains. First, we optimize high-dimensional task weighting hyperparameters for multitask pre-training on protein-protein interaction graphs and improve AUROC by up to 3.9%. Second, we optimize a data augmentation neural network for self-supervised PT with SimCLR on electrocardiography data and improve AUROC by up to 1.9%.


翻译:培训前(PT)以及随后的微调(FT)是培训神经网络的有效方法,它导致许多领域显著的绩效改进。PT可以包括各种设计选择,如任务和数据加权战略、增强政策和噪音模型等,所有这些都可以对所学表现的质量产生重大影响。因此,这些战略引入的超参数必须适当调整。然而,设置这些超参数的数值具有挑战性。大多数现有方法要么是努力达到高度尺寸,过于缓慢,记忆密集,或者不能直接应用于两阶段PT和FT学习进程。在此工作中,我们提议一种高效的、基于梯度的算法,用于元的PT超参数超参数模型。我们将PT超参数优化问题正规化,并提议一种新颖的方法,以结合隐含的差别和无节制的优化来获得PT超参数梯度。我们的方法提高了两个现实世界领域的预测性能。首先,我们优化了高维度的超参数,用于多等值的PT和FT学习进程前PT。我们用S-S-Simalimal AS-toimalimalalal ASimalalalalalalal-toalalal 数据改进了ASlialalalalal-tomalial-toalalalalalalalalalalalalalalalalalalalmatoalalalalalmasal。我们Syal-Slimatoaltoal-Syal-Slial-S-Syal-Syal-Syal-Syal-Syalmatoalmatoal-Syal-Syal-Syal-Syal-Syal-Syal-Syal-Syal-Slimtoal-toal-SBLBBM 改进了第二个数据,我们SBAS的自我和SBBBSBS-S。我们S-SBSBBBBLBLBLBLBAS。我们通过S-S-S-S-S-S-S-SBS-S-S-S-S-S-S-S-S-S-S-S-S-SBSMASMASMASMASBSMASMASMASMASMASMA

1
下载
关闭预览

相关内容

在贝叶斯统计中,超参数是先验分布的参数; 该术语用于将它们与所分析的基础系统的模型参数区分开。
专知会员服务
14+阅读 · 2021年5月21日
预训练语言模型fine-tuning近期进展概述
专知会员服务
37+阅读 · 2021年4月9日
元学习(meta learning) 最新进展综述论文
专知会员服务
278+阅读 · 2020年5月8日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
已删除
架构文摘
3+阅读 · 2019年4月17日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
31+阅读 · 2020年9月21日
Arxiv
13+阅读 · 2020年4月12日
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Arxiv
9+阅读 · 2019年4月19日
VIP会员
相关VIP内容
专知会员服务
14+阅读 · 2021年5月21日
预训练语言模型fine-tuning近期进展概述
专知会员服务
37+阅读 · 2021年4月9日
元学习(meta learning) 最新进展综述论文
专知会员服务
278+阅读 · 2020年5月8日
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
已删除
架构文摘
3+阅读 · 2019年4月17日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
相关论文
Arxiv
31+阅读 · 2020年9月21日
Arxiv
13+阅读 · 2020年4月12日
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Arxiv
9+阅读 · 2019年4月19日
Top
微信扫码咨询专知VIP会员