半监督学习(SSL)由于成功地使用了未标记数据,在许多机器学习任务中受到了极大的关注,而现有的SSL算法在训练过程中要么使用所有未标记的示例,要么使用具有固定高置信度预测的未标记示例。然而,可能会有太多正确/错误的伪标签示例被删除/选择。在本工作中,我们提出一个简单但强大的训练示例子集,以便只使用与已标记数据相关的伪标签的未标记示例来训练模型。在每次更新迭代中,只保留损失小于给定阈值(通过迭代动态调整)的示例,从而执行选择。我们提出的Dash方法在无标记数据选择方面具有自适应性,并具有理论保障。具体地,我们从非凸优化的角度从理论上建立了Dash的收敛速度。最后,我们通过与最先进的基准比较,证明了该方法的有效性。

http://proceedings.mlr.press/v139/xu21e.html

成为VIP会员查看完整内容
0
13

相关内容

半监督学习(Semi-Supervised Learning,SSL)是模式识别和机器学习领域研究的重点问题,是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据,以及同时使用标记数据,来进行模式识别工作。当使用半监督学习时,将会要求尽量少的人员来从事工作,同时,又能够带来比较高的准确性,因此,半监督学习目前正越来越受到人们的重视。

我们提出了一种新的在线元学习算法,在有限的监督下顺序揭示任务实例,并期望学习器在每一轮中对它们进行元学习,从而允许学习器在很少的任务级监督下快速定制特定任务模型。在线元学习中出现的一个基本问题是,随着时间的推移,学习任务越来越多,记忆的可扩展性也越来越强。到目前为止,之前的工作都允许完美的回忆,导致记忆随时间线性增加。与之前的工作不同,在我们的方法中,先前的任务实例是允许被删除的。我们建议通过固定大小的状态向量来利用之前的任务实例,状态向量是按顺序更新的。我们的理论分析表明,我们提出的记忆高效在线学习(MOML)方法具有凸损失函数的次线性遗憾和非凸损失的次线性局部遗憾。在基准数据集上,我们证明了我们的方法可以超越之前的方法,即使它们允许完美的回忆。

http://proceedings.mlr.press/v139/acar21b.html

成为VIP会员查看完整内容
0
14

用反向传播方法训练深度残差神经网络(ResNets)的记忆成本随网络深度的增加而线性增加。规避这个问题的一种方法是使用可逆的架构。本文提出通过增加动量项来改变ResNet的正向规则。所得到的网络,动量剩余神经网络(动量ResNets)是可逆的。与以前的可逆架构不同,它们可以作为任何现有的ResNet块的替代。我们证明动量ResNets可以被解释为二阶常微分方程(ode),并准确地描述了如何逐步增加动量增加动量ResNets的表示能力。我们的分析显示,Momentum ResNets可以学习任何线性映射到一个倍增因子,而ResNets不能。在优化设置的学习中,需要收敛到一个不动点,我们从理论上和经验上证明了我们的方法成功,而现有的可逆架构失败。我们在CIFAR和ImageNet上展示了Momentum ResNets与ResNets具有相同的精度,但占用的内存要小得多,并展示了预训练的Momentum ResNets对模型的微调是有前途的。

https://www.zhuanzhi.ai/paper/867b3834167694dab97cf812135dc273

成为VIP会员查看完整内容
0
15

虽然许多现有的图神经网络(gnn)已被证明可以执行基于ℓ2的图平滑,从而增强全局平滑,但在本工作中,我们旨在通过基于ℓ1的图平滑进一步增强GNN的局部平滑自适应。在此基础上,提出了一种基于ℓ1和ℓ2图平滑的弹性GNN。特别地,我们提出了一种新的、通用的消息传递方案。该消息传递算法不仅有利于反向传播训练,而且在保证理论收敛的前提下达到了预期的平滑特性。在半监督学习任务上的实验表明,所提出的弹性GNN在基准数据集上具有较好的自适应能力,对图对抗攻击具有显著的鲁棒性。

https://www.zhuanzhi.ai/paper/09bea7a76036948cbbba30e86af56ef8

成为VIP会员查看完整内容
0
23

我们提出了一个严格的方法,使用一组任意相关的弱监督源,以解决多类分类任务时,只有一个非常小的标记数据集可用。我们的学习算法可证明收敛于一个模型,该模型对于一组未标记数据的可行标记的对抗性选择具有最小的经验风险,其中标记的可行性是通过对弱监督源的严格估计统计量定义的约束来计算的。我们为这种依赖于弱监督来源提供的信息的方法提供了理论保障。值得注意的是,该方法不要求弱监督源具有与多类分类任务相同的标注空间。我们通过实验证明了我们的方法在各种图像分类任务中的有效性。

成为VIP会员查看完整内容
0
12

在统一鲁棒半监督变分自编码器(URSVAE)中,通过同时处理噪声标签和异常值,提出了一种新的噪声鲁棒半监督深度生成模型。输入数据的不确定性通常是将不确定性优先于概率密度分布的参数,以确保变分编码器对异常值的鲁棒性。随后,我们将噪声转换模型自然地集成到我们的模型中,以减轻噪声标签的有害影响。此外,为了进一步增强鲁棒性,采用鲁棒散度测度,推导并优化了新的变分下界来推断网络参数。通过证明对所提证据下界的影响函数是有界的,证明了所提模型在存在复合噪声的情况下在分类方面的巨大潜力。通过对图像分类任务的评价和与现有方法的比较,实验结果表明了该框架的优越性。

http://proceedings.mlr.press/v139/chen21a.html

成为VIP会员查看完整内容
0
19

图神经网络(GNN)中缺乏各向异性核极大地限制了其表达能力,导致了一些众所周知的问题,如过度平滑。为了克服这个限制,我们提出了第一个全局一致的各向异性核GNN,允许根据拓扑导出的方向流定义图卷积。首先,通过在图中定义矢量场,我们提出了一种方法应用方向导数和平滑投影节点特定的信息到场。然后,我们提出用拉普拉斯特征向量作为这种向量场。在Weisfeiler-Lehman 1-WL检验方面,我们证明了该方法可以在n维网格上泛化CNN,并证明比标准的GNN更有分辨力。我们在不同的标准基准上评估了我们的方法,发现在CIFAR10图数据集上相对误差减少了8%,在分子锌数据集上相对误差减少了11%到32%,在MolPCBA数据集上相对精度提高了1.6%。这项工作的重要成果是,它使图网能够以一种无监督的方式嵌入方向,从而能够更好地表示不同物理或生物问题中的各向异性特征。

https://www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

成为VIP会员查看完整内容
0
52

Adaptive Methods for Real-World Domain Generalization

不变方法在解决领域泛化问题方面已经取得了显著的成功,该问题的目标是对不同于训练中使用的数据分布进行推断。在我们的工作中,我们研究是否有可能利用未知测试样本本身的领域信息。我们提出一个域自适应方法包括两个步骤: a)我们首先学习区别的域嵌入从无监督训练的例子,和 b)使用该域嵌入作为补充信息来构建一个domainadaptive模型,这需要输入以及其域考虑而做出的预测。对于看不见的域,我们的方法简单地使用少数未标记的测试示例来构建域嵌入。这使得对任何看不见的域进行自适应分类成为可能。我们的方法在各种领域泛化基准上实现了最先进的性能。此外,我们还引入了第一个真实世界的大规模域泛化基准Geo-YFCC,该基准包含超过40个训练域、7个验证域和15个测试域的1.1万个样本,比之前的工作大了几个数量级。我们表明,现有的方法要么不能扩展到这个数据集,要么不如基于所有训练领域的数据联合的训练模型的简单基线。相比之下,我们的方法获得了显著的1%的改进。

https://www.zhuanzhi.ai/paper/6e7661967d0879ebfd0236873a75386b

成为VIP会员查看完整内容
0
27

类不平衡数据的半监督学习虽然是一个现实的问题,但已经得到了研究。虽然现有的半监督学习(SSL)方法在少数类上表现不佳,但我们发现它们仍然在少数类上生成高精度的伪标签。通过利用这一特性,在这项工作中,我们提出了类再平衡自我训练(CReST),这是一个简单而有效的框架,用于改进现有的对类不平衡数据的SSL方法。CReST通过从一个未标记集中添加伪标记样本扩展了一个标记集,迭代地重新训练一个基线SSL模型,在该模型中,根据估计的类分布,从少数类中更频繁地选择伪标记样本。我们还提出了一种渐进式分布对齐,以适应调整CReST+的再平衡强度。我们展示了CReST和CReST+在各种类不平衡的数据集上改进了最先进的SSL算法,并始终优于其他流行的再平衡方法。

https://www.zhuanzhi.ai/paper/fdb3245caf8bded4d2ba340c2a9c64cc

成为VIP会员查看完整内容
0
29

图神经网络最近的成功极大地促进了分子性质的预测,促进了药物发现等活动。现有的深度神经网络方法通常对每个属性都需要大量的训练数据集,在实验数据量有限的情况下(特别是新的分子属性)会影响其性能,这在实际情况中是常见的。为此,我们提出了Meta-MGNN,一种新颖的预测少样本分子性质的模型。Meta-MGNN应用分子图神经网络学习分子表示,建立元学习框架优化模型。为了挖掘未标记的分子信息,解决不同分子属性的任务异质性,Meta-MGNN进一步将分子结构、基于属性的自监督模块和自关注任务权重整合到Meta-MGNN框架中,强化了整个学习模型。在两个公共多属性数据集上进行的大量实验表明,Meta-MGNN优于各种最先进的方法。

https://arxiv.org/abs/2102.07916

成为VIP会员查看完整内容
0
27
小贴士
相关VIP内容
专知会员服务
14+阅读 · 9月25日
专知会员服务
13+阅读 · 9月18日
专知会员服务
15+阅读 · 7月19日
专知会员服务
23+阅读 · 7月17日
专知会员服务
19+阅读 · 7月11日
专知会员服务
52+阅读 · 5月10日
专知会员服务
27+阅读 · 3月31日
专知会员服务
27+阅读 · 2月20日
相关论文
Pravesh K. Kothari,Peter Manohar,Brian Hu Zhang
0+阅读 · 10月22日
Sharan Vaswani,Benjamin Dubois-Taine,Reza Babanezhad
0+阅读 · 10月21日
Eduin E. Hernandez,Stefano Rini,Tolga M. Duman
0+阅读 · 10月18日
Xiaorui Liu,Wei Jin,Yao Ma,Yaxin Li,Hua Liu,Yiqi Wang,Ming Yan,Jiliang Tang
7+阅读 · 7月5日
Simon S. Du,Kangcheng Hou,Barnabás Póczos,Ruslan Salakhutdinov,Ruosong Wang,Keyulu Xu
8+阅读 · 2019年11月4日
Hongwei Wang,Fuzheng Zhang,Mengdi Zhang,Jure Leskovec,Miao Zhao,Wenjie Li,Zhongyuan Wang
10+阅读 · 2019年6月13日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
7+阅读 · 2019年2月19日
Adaptive Fraud Detection System Using Dynamic Risk Features
Huiying Mao,Yung-wen Liu,Yuting Jia,Jay Nanduri
3+阅读 · 2018年10月10日
Top