在为视觉训练深度神经网络时,预训练表示的迁移提高了样本效率并简化了超参数调整。我们回顾了在大型监督数据集上进行预训练和在目标任务上对模型进行微调的范例。我们扩大了预训练的规模,并提出了一个简单的方法,我们称之为大迁移(BiT)。通过组合一些精心选择的组件,并使用一个简单的启发式传输,我们在20多个数据集上实现了强大的性能。BiT在非常广泛的数据范围内执行得非常好——从每个类1个示例到总共100万个示例。BiT在ILSVRC-2012上达到87.5%的top-1准确率,在CIFAR-10上达到99.4%,在19个任务的视觉任务适应基准(VTAB)上达到76.3%。在小型数据集上,在ILSVRC-2012上BiT达到了76.8%,每个类有10个例子,在CIFAR-10上达到了97.0%,每个类有10个例子。我们对导致高迁移性能的主要部件进行了详细的分析。

成为VIP会员查看完整内容
0
31

相关内容

我们介绍了一种通过对比图的结构视图来学习节点和图级表示的自监督方法。我们表明,与视觉表示学习不同,增加视图数量到两个以上或对比多尺度编码不会提高性能,而最佳性能是通过对比一阶邻居编码和图扩散来实现的。在线性评估协议下,我们在8个节点中的8个和图分类基准上实现了新的最先进的自监督学习结果。例如,在Cora(节点)和reddy - binary(图形)分类基准上,我们实现了86.8%和84.5%的准确率,相对于之前的最先进水平分别提高了5.5%和2.4%。与监督基准相比,我们的方法在8个基准中有4个优于监督基准。

成为VIP会员查看完整内容
0
55

OpenAI在昨天悄然放出了GPT第三代——《Language Models are Few-Shot Learners》。刷遍Twitter!史无前例!论文介绍了GPT-3这是一种由1750亿个参数组成的最先进的语言模型。论文由32位作者72页pdf。

最近的工作表明,通过对大量文本进行预训练,然后对特定任务进行微调,在许多NLP任务和基准测试方面取得了巨大的进展。尽管这种方法在架构中通常与任务无关,但它仍然需要成千上万个特定于任务的实例微调数据集。相比之下,人类通常只需要几个例子或简单的指令就可以完成一项新的语言任务——这是目前的NLP系统仍然难以做到的。在这里,我们展示了扩展语言模型极大地提高了任务无关性、低命中率的性能,有时甚至达到了与先前最先进的微调方法的匹配性能。具体来说,我们训练了一个带有1750亿个参数的自回归语言模型GPT-3,比以前任何非稀疏语言模型都多10倍,并在小样本设置下测试了它的性能。对于所有任务,GPT-3的应用没有任何梯度更新或微调,任务和小样本演示指定纯粹通过与模型的文本交互。GPT-3在许多NLP数据集上实现了强大的性能,包括翻译、问答和完形填空任务,以及一些需要即时推理或领域适应的任务,如整理单词、在句子中使用新单词或执行3位算术。同时,我们还确定了一些数据集,其中GPT-3的小样本学习仍然效果不佳,以及一些数据集,其中GPT-3面临着与大型web语料库上的训练有关的方法问题。最后,我们发现GPT-3可以生成新闻文章的样本,这些文章是人类评价者难以区分的。我们讨论了这个发现和一般的GPT-3的更广泛的社会影响。

GPT-3的主要目标是用更少的领域数据、且不经过精调步骤去解决问题。

为了达到上述目的,作者们用预训练好的GPT-3探索了不同输入形式下的推理效果。

这里的Zero-shot、One-shot、Few-shot都是完全不需要精调的,因为GPT-3是单向transformer,在预测新的token时会对之前的examples进行编码。

作者们训练了以下几种尺寸的模型进行对比:

实验证明Few-shot下GPT-3有很好的表现:

最重要的是,GPT-3在Few-shot设定下,在部分NLU任务上超越了当前Fine-tuning的SOTA。

成为VIP会员查看完整内容
0
43

交叉熵是图像分类模型监督训练中应用最广泛的损失函数。在这篇论文中,我们提出了一种新的训练方法,在不同架构和数据扩充的监督学习任务中,它的表现始终优于交叉熵。我们修改了批量对比损失,这是最近被证明在自监督学习强大表示是非常有效的。我们能够比交叉熵更有效地利用标签信息。在嵌入空间中,将同一类的点聚在一起,同时将不同类的样本聚在一起。除此之外,我们还利用了关键的成分,如大批量和标准化嵌入,这些已经被证明有利于自监督学习。在ResNet-50和ResNet-200上,我们的交叉熵性能都超过了1%,在使用自动增广数据增强的方法中,我们设置了78.8%的最新水平。这一损失也清楚地表明,在校准和准确性方面,对标准基准的自然损坏具有鲁棒性。与交叉熵相比,我们的监督对比损失更稳定的超参数设置,如优化或数据扩充。

成为VIP会员查看完整内容
0
55

主题: Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning

摘要: 广义零样本学习(GZSL)解决了同时涉及可见类和不可见类的实例分类问题。关键问题是如何有效地将从可见类学习到的模型转换为不可见类。GZSL中现有的工作通常假设关于未公开类的一些先验信息是可用的。然而,当新的不可见类动态出现时,这种假设是不现实的。为此,我们提出了一种新的基于异构图的知识转移方法(HGKT),该方法利用图神经网络对GZSL、不可知类和不可见实例进行知识转移。具体地说,一个结构化的异构图,它是由所见类的高级代表节点构造而成,这些代表节点通过huasstein-barycenter来选择,以便同时捕获类间和类内的关系,聚集和嵌入函数可以通过图神经网络来学习,它可以用来计算不可见类的嵌入,方法是从它们的内部迁移知识。在公共基准数据集上的大量实验表明,我们的方法达到了最新的结果。

成为VIP会员查看完整内容
0
51

题目

跨语言表示学习,Unsupervised Cross-lingual Representation Learning at Scale

关键词

自然语言处理,表示学习,跨语言,人工智能

简介

本文表明,针对多种跨语言转换任务,大规模地对多语言语言模型进行预训练可以显着提高性能。 我们使用超过2 TB的经过过滤的CommonCrawl数据在一百种语言上训练了基于Transformer的屏蔽语言模型。 我们的模型称为XLM-R,在各种跨语言基准测试中,其性能明显优于多语言BERT(mBERT),包括XNLI的平均精度为+ 13.8%,MLQA的平均F1得分为+ 12.3%,NER的平均F1得分为+ 2.1%。 XLM-R在低资源语言上表现特别出色,与以前的XLM模型相比,斯瓦希里语的XNLI准确性提高了11.8%,乌尔都语的准确性提高了9.2%。 我们还对获得这些收益所需的关键因素进行了详细的实证评估,包括(1)积极转移和能力稀释以及(2)大规模资源资源的高低性能之间的权衡。 最后,我们首次展示了在不牺牲每种语言性能的情况下进行多语言建模的可能性。 XLM-R在GLUE和XNLI基准测试中具有强大的单语言模型,因此非常具有竞争力。 我们将公开提供XLM-R代码,数据和模型。

作者

Alexis Conneau, Kartikay Khandelwal等。

成为VIP会员查看完整内容
0
20

题目:

Transfer Learning in Visual and Relational Reasoning

简介:

迁移学习已成为计算机视觉和自然语言处理中的事实上的标准,尤其是在缺少标签数据的地方。通过使用预先训练的模型和微调,可以显着提高准确性。在视觉推理任务(例如图像问答)中,传递学习更加复杂。除了迁移识别视觉特征的功能外,我们还希望迁移系统的推理能力。而且,对于视频数据,时间推理增加了另一个维度。在这项工作中,我们将迁移学习的这些独特方面形式化,并提出了一种视觉推理的理论框架,以完善的CLEVR和COGdatasets为例。此外,我们引入了一种新的,端到端的微分递归模型(SAMNet),该模型在两个数据集上的传输学习中均显示了最新的准确性和更好的性能。改进的SAMNet性能源于其将抽象的多步推理与序列的长度解耦的能力及其选择性的关注能力,使其仅能存储与问题相关的信息外部存储器中的对象。

目录:

成为VIP会员查看完整内容
0
38

题目: Large Scale Learning of General Visual Representations for Transfer

摘要: 在训练深层视觉神经网络时,预训练表示的传递提高了样本效率,简化了超参数整定。我们重新审视了在大监督数据集上进行预训练和微调目标任务权重的范例。我们扩大了训练前的规模,并创建了一个简单的配方,我们称之为大转移(BiT)。通过组合一些精心挑选的组件,并使用简单的启发式进行传输,我们在20多个数据集上获得了很强的性能。BiT在一系列出人意料的数据体系中表现良好——从10到100万个标记示例。BiT在ILSVRC-2012上达到87.8%的top-1精度,在CIFAR-10上达到99.3%,在视觉任务适应基准(包括19个任务)上达到76.7%。在小型数据集上,ILSVRC-2012每类25个示例的BiT达到86.4%,CIFAR-10每类10个示例的BiT达到97.6%。我们对导致高传输性能的主要组件进行了详细的分析。

作者简介: Alexander Kolesnikov,谷歌仪器科学家。个人主页:[https://neutrons.ornl.gov/contacts/kolesnikovai]{https://neutrons.ornl.gov/contacts/kolesnikovai}

成为VIP会员查看完整内容
0
8

题目: AdversarialRepresentationActiveLearning

简介: 主动学习的目的是通过查询将由Oracle标记的信息最多的样本来开发标签有效的算法。 设计需要较少标签的有效培训方法是一个重要的研究方向,它可以更有效地利用计算和人力资源来进行训练深度神经网络。 在这项工作中,我们演示了如何利用深度生成模型中的最新进展,在使用尽可能少的标签来达到最高分类精度方面,胜过最新技术。 与以前的方法不同,我们的方法不仅使用标记图像来训练分类器,而且还使用未标记图像和生成的图像来共同训练整个模型。

成为VIP会员查看完整内容
0
33

In existing visual representation learning tasks, deep convolutional neural networks (CNNs) are often trained on images annotated with single tags, such as ImageNet. However, a single tag cannot describe all important contents of one image, and some useful visual information may be wasted during training. In this work, we propose to train CNNs from images annotated with multiple tags, to enhance the quality of visual representation of the trained CNN model. To this end, we build a large-scale multi-label image database with 18M images and 11K categories, dubbed Tencent ML-Images. We efficiently train the ResNet-101 model with multi-label outputs on Tencent ML-Images, taking 90 hours for 60 epochs, based on a large-scale distributed deep learning framework,i.e.,TFplus. The good quality of the visual representation of the Tencent ML-Images checkpoint is verified through three transfer learning tasks, including single-label image classification on ImageNet and Caltech-256, object detection on PASCAL VOC 2007, and semantic segmentation on PASCAL VOC 2012. The Tencent ML-Images database, the checkpoints of ResNet-101, and all the training codehave been released at https://github.com/Tencent/tencent-ml-images. It is expected to promote other vision tasks in the research and industry community.

1
8
下载
预览
小贴士
相关资讯
元学习—Meta Learning的兴起
专知
41+阅读 · 2019年10月19日
已删除
将门创投
8+阅读 · 2019年3月18日
预训练模型迁移学习
极市平台
8+阅读 · 2018年11月6日
迁移学习之Domain Adaptation
全球人工智能
13+阅读 · 2018年4月11日
数据科学家应该知道的10个高级深度学习架构
深度学习
6+阅读 · 2018年2月11日
干货|多重预训练视觉模型的迁移学习
机器学习算法与Python学习
4+阅读 · 2017年12月25日
相关论文
Simple and effective localized attribute representations for zero-shot learning
Shiqi Yang,Kai Wang,Luis Herranz,Joost van de Weijer
5+阅读 · 2020年6月10日
AJ Piergiovanni,Anelia Angelova,Michael S. Ryoo
22+阅读 · 2020年2月26日
Ting Chen,Simon Kornblith,Mohammad Norouzi,Geoffrey Hinton
20+阅读 · 2020年2月13日
Alexis Conneau,Kartikay Khandelwal,Naman Goyal,Vishrav Chaudhary,Guillaume Wenzek,Francisco Guzmán,Edouard Grave,Myle Ott,Luke Zettlemoyer,Veselin Stoyanov
4+阅读 · 2019年11月5日
Tencent ML-Images: A Large-Scale Multi-Label Image Database for Visual Representation Learning
Baoyuan Wu,Weidong Chen,Yanbo Fan,Yong Zhang,Jinlong Hou,Junzhou Huang,Wei Liu,Tong Zhang
8+阅读 · 2019年1月7日
Diverse Image-to-Image Translation via Disentangled Representations
Hsin-Ying Lee,Hung-Yu Tseng,Jia-Bin Huang,Maneesh Kumar Singh,Ming-Hsuan Yang
13+阅读 · 2018年8月2日
Xiangteng He,Yuxin Peng
3+阅读 · 2018年4月26日
Liu Liu,Hairong Qi
9+阅读 · 2018年4月4日
Hyrum S. Anderson,Anant Kharkar,Bobby Filar,David Evans,Phil Roth
3+阅读 · 2018年1月30日
Duhyeon Bang,Hyunjung Shim
7+阅读 · 2018年1月28日
Top
微信扫码咨询专知VIP会员