Domain adaptation is to transfer the shared knowledge learned from the source domain to a new environment, i.e., target domain. One common practice is to train the model on both labeled source-domain data and unlabeled target-domain data. Yet the learned models are usually biased due to the strong supervision of the source domain. Most researchers adopt the early-stopping strategy to prevent over-fitting, but when to stop training remains a challenging problem since the lack of the target-domain validation set. In this paper, we propose one efficient bootstrapping method, called Adaboost Student, explicitly learning complementary models during training and liberating users from empirical early stopping. Adaboost Student combines the deep model learning with the conventional training strategy, i.e., adaptive boosting, and enables interactions between learned models and the data sampler. We adopt one adaptive data sampler to progressively facilitate learning on hard samples and aggregate "weak" models to prevent over-fitting. Extensive experiments show that (1) Without the need to worry about the stopping time, AdaBoost Student provides one robust solution by efficient complementary model learning during training. (2) AdaBoost Student is orthogonal to most domain adaptation methods, which can be combined with existing approaches to further improve the state-of-the-art performance. We have achieved competitive results on three widely-used scene segmentation domain adaptation benchmarks.


翻译:从源域到新的环境,即目标域,要将共享知识从源域到目标域的适应性改造。一种常见的做法是,在有标签的源域数据和无标签的目标域数据两方面对模型进行培训。然而,由于源域的严密监督,学习的模型通常有偏差。大多数研究人员都采用早期停止战略,以防止过度适应,但由于缺少目标域验证集,停止培训仍是一个具有挑战性的问题。在本文中,我们提议一种高效的制靴方法,即Adaboost学生,在培训过程中明确学习补充模型,使用户摆脱经验域早期停止。Adaboost学生将深层次的模型学习与常规培训战略相结合,即适应性增强,并使学习的模型与数据取样员之间能够进行互动。我们采用一种适应性数据取样器,以逐步促进学习硬样品和综合“weak”模型,防止过度适应性调整。广泛的实验表明:(1) 无需担心时间的中断,Adaboost学生通过在培训过程中高效的补充性模型学习,提供了一种强有力的解决方案。(2) Adaost-boost-road the roadal roduction is the the most rodudeal rodustration rodustration rodudeal betradeal betradeal dust to the medaldaldal bedaldaldaldaldaldaldaldaldaldald

0
下载
关闭预览

相关内容

Adaboost 是一种迭代算法,是集成学习的一种,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
专知会员服务
109+阅读 · 2020年3月12日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
CCF推荐 | 国际会议信息6条
Call4Papers
9+阅读 · 2019年8月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
深度 | 从Boosting到Stacking,概览集成学习的方法与性能
深度学习世界
3+阅读 · 2017年8月28日
Arxiv
5+阅读 · 2020年3月17日
VIP会员
相关VIP内容
专知会员服务
109+阅读 · 2020年3月12日
相关资讯
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
CCF推荐 | 国际会议信息6条
Call4Papers
9+阅读 · 2019年8月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
深度 | 从Boosting到Stacking,概览集成学习的方法与性能
深度学习世界
3+阅读 · 2017年8月28日
Top
微信扫码咨询专知VIP会员