Self-training is an effective approach to semi-supervised learning. The key idea is to let the learner itself iteratively generate "pseudo-supervision" for unlabeled instances based on its current hypothesis. In combination with consistency regularization, pseudo-labeling has shown promising performance in various domains, for example in computer vision. To account for the hypothetical nature of the pseudo-labels, these are commonly provided in the form of probability distributions. Still, one may argue that even a probability distribution represents an excessive level of informedness, as it suggests that the learner precisely knows the ground-truth conditional probabilities. In our approach, we therefore allow the learner to label instances in the form of credal sets, that is, sets of (candidate) probability distributions. Thanks to this increased expressiveness, the learner is able to represent uncertainty and a lack of knowledge in a more flexible and more faithful manner. To learn from weakly labeled data of that kind, we leverage methods that have recently been proposed in the realm of so-called superset learning. In an exhaustive empirical evaluation, we compare our methodology to state-of-the-art self-supervision approaches, showing competitive to superior performance especially in low-label scenarios incorporating a high degree of uncertainty.


翻译:自我培训是半监督学习的一种有效方法。 关键的想法是让学习者自己根据当前假设,为未贴标签的事例迭代生成“ 假假冒监督” 。 与一致性正规化相结合, 假标签在各个领域表现良好, 例如在计算机视觉中。 考虑到假标签的假设性质, 这些通常是以概率分布的形式提供的。 但是, 人们可能认为, 即使是概率分布也代表着过度的知情度, 因为它表明学习者确切地知道地面真相有条件的概率。 因此, 我们的方法允许学习者以折叠式的标签形式标出一些实例, 也就是说, 几套( 可能) 概率分布。 由于这种更清晰的表达性, 学习者能够以更灵活和更忠实的方式代表不确定性和缺乏知识。 为了从这种标签薄弱的数据中学习, 我们利用了最近在所谓的超常学习领域提出的方法。 在一项详尽的实验评估中, 我们比较了我们的学习者用高超度、 高水平的自我定位方法, 我们比较了一种高超度的自我定位, 高水平的自我定位方法。

0
下载
关闭预览

相关内容

【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
73+阅读 · 2020年4月24日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
已删除
德先生
53+阅读 · 2019年4月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
14+阅读 · 2021年8月5日
Arxiv
19+阅读 · 2021年4月8日
Arxiv
25+阅读 · 2021年3月20日
Arxiv
5+阅读 · 2020年10月21日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
已删除
德先生
53+阅读 · 2019年4月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员