题目: Online Deep Clustering for Unsupervised Representation Learning

摘要:

联合聚类和特征学习方法在无监督表示学习中表现出了显著的效果。但是,特征聚类和网络参数更新训练计划的交替导致视觉表征学习的不稳定。为了克服这个挑战,我们提出在线深度集群(ODC),它可以同时执行集群和网络更新,而不是交替进行。关键见解是,聚类中心应该稳步发展,以保持分类器的稳定更新。具体来说,设计和维护了两个动态内存模块,即样本记忆用于存储样本标签和特征,中心记忆用于中心进化。我们将全局聚类分解为稳定的内存更新和成批的标签重新分配。该过程被集成到网络更新迭代中。通过这种方式,标签和网络齐头并进,而不是交替发展。大量的实验表明,ODC能够稳定训练过程,有效地提高训练性能。

成为VIP会员查看完整内容
0
50

相关内容

表示学习是通过利用训练数据来学习得到向量表示,这可以克服人工方法的局限性。 表示学习通常可分为两大类,无监督和有监督表示学习。大多数无监督表示学习方法利用自动编码器(如去噪自动编码器和稀疏自动编码器等)中的隐变量作为表示。 目前出现的变分自动编码器能够更好的容忍噪声和异常值。 然而,推断给定数据的潜在结构几乎是不可能的。 目前有一些近似推断的策略。 此外,一些无监督表示学习方法旨在近似某种特定的相似性度量。提出了一种无监督的相似性保持表示学习框架,该框架使用矩阵分解来保持成对的DTW相似性。 通过学习保持DTW的shaplets,即在转换后的空间中的欧式距离近似原始数据的真实DTW距离。有监督表示学习方法可以利用数据的标签信息,更好地捕获数据的语义结构。 孪生网络和三元组网络是目前两种比较流行的模型,它们的目标是最大化类别之间的距离并最小化了类别内部的距离。

题目: A survey on Semi-, Self- and Unsupervised Learning for Image Classification

摘要:

尽管深度学习策略在计算机视觉任务中取得了出色的成绩,但仍然存在一个问题:当前的策略严重依赖大量的标记数据。在许多实际问题中,创建如此大量的带标签的训练数据是不可行的。因此,通常将未标记的数据合并到训练过程中,以较少的标记达到相同的结果。由于进行了大量并行研究,因此很难跟踪最新动态。本文概述了标签较少的图像分类中常用的思想和方法。详细比较了25种方法。在分析中,确定了三个主要趋势。

  • 最先进的方法基于其准确性可扩展到实际应用。
  • 为获得与所有标签的使用效果可比的结果而需要的监督程度正在降低。
  • 所有方法都有共同的想法,而只有少数几种方法将这些想法结合起来以实现更好的性能。

基于这三个趋势,发现了未来的研究机会。

成为VIP会员查看完整内容
0
35

题目:

Confidence-Aware Learning for Deep Neural Networks

简介:

尽管深度神经网络可以执行多种任务,但过分一致的预测问题限制了它们在许多安全关键型应用中的实际应用。已经提出了许多新的工作来减轻这个问题,但是大多数工作需要在训练和/或推理阶段增加计算成本,或者需要定制的体系结构来分别输出置信估计。在本文中,我们提出了一种使用新的损失函数训练深度神经网络的方法,称为正确排名损失,该方法将类别概率显式规范化,以便根据依据的有序等级更好地进行置信估计。所提出的方法易于实现,并且无需进行任何修改即可应用于现有体系结构。而且,它的训练计算成本几乎与传统的深度分类器相同,并且通过一次推断就可以输出可靠的预测。在分类基准数据集上的大量实验结果表明,所提出的方法有助于网络产生排列良好的置信度估计。我们还证明,它对于与置信估计,分布外检测和主动学习密切相关的任务十分有效。

成为VIP会员查看完整内容
0
48

题目: Laplacian Regularized Few-Shot Learning

简介:

我们为小样本学习提出了一个拉普拉斯正则化推断。给定从基类中学习到的任何特征嵌入,我们将包含两个项的二次二进制赋值函数最小化:(1)将查询样本分配给最近的类原型的一元项,以及(2)鼓励附近查询样本成对使用的成对拉普拉斯项具有一致的标签。我们的推论不会重新训练基本模型,并且可以将其视为查询集的图形聚类,但要受到支持集的监督约束。我们导出了函数松弛的计算有效边界优化器,该函数在保证收敛的同时为每个查询样本计算独立(并行)更新。在基础类上进行简单的交叉熵训练,并且没有复杂的元学习策略后,我们对五个基准进行了全面的实验。我们的LaplacianShot在不同模型,设置和数据集上具有显着优势,始终优于最新方法。此外,我们的归纳推理非常快,其计算时间接近于归纳推理,可用于大规模的一次性任务。

成为VIP会员查看完整内容
0
62

自监督式VO方法在视频中联合估计摄像机姿态和深度方面取得了很大的成功。然而,与大多数数据驱动的方法一样,现有的VO网络在面对与训练数据不同的场景时,性能显著下降,不适合实际应用。在本文中,我们提出了一种在线元学习算法,使VO网络能够以一种自监督的方式不断适应新的环境。该方法利用卷积长短时记忆(convLSTM)来聚合过去的丰富时空信息。网络能够记忆和学习过去的经验,以便更好地估计和快速适应当前帧。在开放环境中运行VO时,为了应对环境的变化,我们提出了一种在线的特征对齐方法,即在不同的时刻对特征分布进行对齐。我们的VO网络能够无缝地适应不同的环境。在看不见的户外场景、虚拟到真实世界和户外到室内环境的大量实验表明,我们的方法始终比最先进的自监督的VO基线性能更好。

成为VIP会员查看完整内容
0
20

图卷积网络(GCN)在许多应用中越来越受欢迎,但在大型图数据集上的训练仍然是出了名的困难。它们需要从它们的邻居递归地计算节点表示。当前的GCN训练算法要么计算成本高,随层数呈指数增长,要么加载整个图和节点嵌入时占用大量内存。提出了一种高效的GCN (L-GCN)分层训练框架,将训练过程中的特征集合和特征转换分离出来,大大降低了训练的时间复杂度和记忆复杂度。我们在图同构框架下对L-GCN进行了理论分析,结果表明,在较温和的条件下,L-GCN与代价较高的传统训练算法具有同样强大的GCNs性能。我们进一步提出了L^2-GCN,它为每一层学习一个控制器,可以自动调整L-GCN中每一层的训练时间。实验表明,L-GCN至少比目前的水平快一个数量级,内存使用的一致性不依赖于数据集的大小,同时保持了可比较的预测性能。通过学习控制器,L^2-GCN可以进一步减少一半的训练时间。我们的代码在这个https URL中可用。

成为VIP会员查看完整内容
0
33

元学习已被提出作为一个框架来解决具有挑战性的小样本学习设置。关键的思想是利用大量相似的小样本任务,以学习如何使基学习者适应只有少数标记的样本可用的新任务。由于深度神经网络(DNNs)倾向于只使用少数样本进行过度拟合,元学习通常使用浅层神经网络(SNNs),因此限制了其有效性。本文提出了一种新的学习方法——元转移学习(MTL)。具体来说,“meta”是指训练多个任务,“transfer”是通过学习每个任务的DNN权值的缩放和变换函数来实现的。此外,我们还介绍了作为一种有效的MTL学习课程的困难任务元批处理方案。我们使用(5类,1次)和(5类,5次)识别任务,在两个具有挑战性的小样本学习基准上进行实验:miniImageNet和Fewshot-CIFAR100。通过与相关文献的大量比较,验证了本文提出的HT元批处理方案训练的元转移学习方法具有良好的学习效果。消融研究还表明,这两种成分有助于快速收敛和高精度。

地址:

https://arxiv.org/abs/1812.02391

代码:

https://github.com/yaoyao-liu/meta-transfer-learning

成为VIP会员查看完整内容
0
125

题目: Structural Deep Clustering Network

摘要: 聚类是数据分析的基本任务。近年来,深度聚类技术(deep clustering)得到了广泛的关注,它的灵感主要来自于深度学习方法。当前的深度聚类方法通常借助深度学习强大的表示能力(如自编码)来提高聚类结果,这表明学习一种有效的聚类表示是一个关键的要求。深度聚类方法的优势在于从数据本身中提取有用的表示,而不是从数据的结构中提取,这在表示学习中受到的关注较少。基于图卷积网络(GCN)在对图结构进行编码方面取得的巨大成功,我们提出了一种结构化深度聚类网络(SDCN),将结构信息集成到深度聚类中。具体来说,我们设计了一个传递算子,将自编码器学习到的表示转换到相应的GCN层,并设计了双重自监督机制来统一这两种不同的深层神经结构,指导整个模型的更新。通过这种方式,从低阶到高阶的多种数据结构自然地与自动编码器学习的多种表示相结合。在此基础上,从理论上分析了传递算子。通过使用传递操作符,GCN改进了作为高阶图正则化约束的特定于自编码的表示形式,并且自动编码器有助于缓解GCN中的过度平滑问题。通过综合实验,我们证明我们提出的模型可以持续地比最先进的技术表现得更好。

成为VIP会员查看完整内容
0
78

题目: AdversarialRepresentationActiveLearning

简介: 主动学习的目的是通过查询将由Oracle标记的信息最多的样本来开发标签有效的算法。 设计需要较少标签的有效培训方法是一个重要的研究方向,它可以更有效地利用计算和人力资源来进行训练深度神经网络。 在这项工作中,我们演示了如何利用深度生成模型中的最新进展,在使用尽可能少的标签来达到最高分类精度方面,胜过最新技术。 与以前的方法不同,我们的方法不仅使用标记图像来训练分类器,而且还使用未标记图像和生成的图像来共同训练整个模型。

成为VIP会员查看完整内容
0
32
小贴士
相关论文
Wenwu Zhu,Xin Wang,Peng Cui
19+阅读 · 2020年1月2日
Continual Unsupervised Representation Learning
Dushyant Rao,Francesco Visin,Andrei A. Rusu,Yee Whye Teh,Razvan Pascanu,Raia Hadsell
5+阅读 · 2019年10月31日
Xiaohua Zhai,Avital Oliver,Alexander Kolesnikov,Lucas Beyer
5+阅读 · 2019年5月9日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
11+阅读 · 2018年12月10日
Invariant Information Distillation for Unsupervised Image Segmentation and Clustering
Xu Ji,João F. Henriques,Andrea Vedaldi
4+阅读 · 2018年7月21日
Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein
7+阅读 · 2018年5月23日
Liu Liu,Hairong Qi
9+阅读 · 2018年4月4日
Uri Shaham,Kelly Stanton,Henry Li,Boaz Nadler,Ronen Basri,Yuval Kluger
9+阅读 · 2018年1月10日
Bryan Perozzi,Rami Al-Rfou,Steven Skiena
7+阅读 · 2014年6月27日
Top