通过调整预训练的机器学习模型来解决特殊问题,在时间内建立自定义NLP模型。

在自然语言处理迁移学习中,您将学习:

  • 用新的领域数据对预训练的模型进行微调
  • 选择正确的模型来减少资源的使用
  • 用于神经网络结构的迁移学习
  • 生成文本与生成预先训练的Transformers
  • BERT跨语言迁移学习
  • 探索自然语言处理学术文献的基础

https://www.manning.com/books/transfer-learning-for-natural-language-processing

从头开始训练深度学习NLP模型是昂贵的、耗时的,并且需要大量的数据。在自然语言处理的迁移学习中,DARPA研究员Paul Azunre揭示了前沿的迁移学习技术,可以将可定制的预训练模型应用到您自己的NLP架构中。您将学习如何使用迁移学习为语言理解提供最先进的结果,即使使用有限的标签数据。最重要的是,您将节省训练时间和计算成本。

关于本书:

自然语言处理迁移学习教你通过构建现有的预训练模型快速创建强大的NLP解决方案。这是一本非常有用的书,书中提供了一些非常清晰的概念解释,你需要这些概念来学习转学,同时也提供了一些实际的例子,这样你就可以马上练习你的新技能。随着您的学习,您将应用最先进的迁移学习方法来创建垃圾邮件分类器、事实检查器和更多的现实世界的应用程序。

成为VIP会员查看完整内容
0
52

相关内容

迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

自然语言处理实战教你如何创建实用的NLP应用,而不陷入复杂的语言理论和深度学习的数学。在这本引人入胜的书中,您将探索构建大量强大的NLP应用所需的核心工具和技术,包括聊天机器人、语言检测器和文本分类器。

真实世界的自然语言处理不是典型的自然语言处理教科书。我们专注于构建真实世界的NLP应用。这里真实世界的意义有两个方面:首先,我们关注构建真实世界的NLP应用需要什么。作为读者,您不仅将学习如何训练NLP模型,还将学习如何设计、开发、部署和监控它们。在此过程中,您还将学习现代NLP模型的基本构建模块,以及对构建NLP应用有用的NLP领域的最新开发。其次,与大多数介绍性书籍不同,我们采用自上而下的教学方法。我们不采用自下而上的方法,一页页地展示神经网络理论和数学公式,而是专注于快速构建“正常工作”的NLP应用程序。然后我们深入研究组成NLP应用的各个概念和模型。您还将学习如何使用这些基本构建块构建端到端定制NLP应用,以满足您的需求。

这本书由三个部分组成,共11章。第1部分介绍了NLP的基础知识,其中我们学习了如何使用AllenNLP 快速构建一个NLP应用,以完成情感分析和序列标记等基本任务。

第1章首先介绍了NLP的“什么”和“为什么”——什么是NLP,什么不是NLP,如何使用NLP技术,以及NLP如何与人工智能的其他领域相关联。

第2章演示了如何构建第一个NLP应用程序,一个情感分析器,并介绍了现代NLP模型的基础知识——单词嵌入和递归神经网络(RNN)。

第3章介绍了自然语言处理应用的两个重要组成部分,单词和句子的嵌入,并演示了如何使用和训练它们。

第4章讨论了最简单但最重要的NLP任务之一,句子分类,以及如何在这个任务中使用RNN。

第5章介绍了序列标注任务,如词性标注和命名实体提取。它还涉及到一个相关的技术,语言建模。

第2部分介绍高级NLP主题,包括序列到序列模型、Transformer以及如何利用迁移学习和预先训练过的语言模型来构建强大的NLP应用。

第6章介绍了序列到序列的模型,它将一个序列转换为另一个序列。我们在一个小时内构建了一个简单的机器翻译系统和一个聊天机器人。

第7章讨论了另一种流行的神经网络结构,卷积神经网络(CNN)。

第8章深入介绍了Transformer,它是当今最重要NLP模型之一。我们将演示如何使用Transformer构建改进的机器翻译系统和拼写检查器。

第9章在前一章的基础上,讨论了迁移学习,这是现代NLP中的一种流行的技术,使用预先训练过的语言模型,如BERT。

第3部分将讨论与开发NLP应用程序相关的主题,这些应用程序对真实数据具有健壮性,并部署和服务它们。

第10章详细介绍了开发NLP应用程序时的最佳实践,包括批处理和填充、正则化和超参数优化。

第11章总结了如何部署和服务NLP模型。它还涵盖了如何解释和解释ML模型。

成为VIP会员查看完整内容
0
51

当看到这些材料时,一个明显的问题可能会出现:“为什么还要写一本深度学习和自然语言处理的书呢?”一些优秀的论文已经出版,涵盖了深度学习的理论和实践方面,以及它在语言处理中的应用。然而,从我教授自然语言处理课程的经验来看,我认为,尽管这些书的质量非常好,但大多数都不是针对最有可能的读者。本书的目标读者是那些在机器学习和自然语言处理之外的领域有经验的人,并且他们的工作至少部分地依赖于对大量数据,特别是文本数据的自动化分析。这些专家可能包括社会科学家、政治科学家、生物医学科学家,甚至是对机器学习接触有限的计算机科学家和计算语言学家。

现有的深度学习和自然语言处理书籍通常分为两大阵营。第一个阵营专注于深度学习的理论基础。这对前面提到的读者肯定是有用的,因为在使用工具之前应该了解它的理论方面。然而,这些书倾向于假设一个典型的机器学习研究者的背景,因此,我经常看到没有这种背景的学生很快就迷失在这样的材料中。为了缓解这个问题,目前存在的第二种类型的书集中在机器学习从业者;也就是说,如何使用深度学习软件,而很少关注理论方面。我认为,关注实际方面同样是必要的,但还不够。考虑到深度学习框架和库已经变得相当复杂,由于理论上的误解而滥用它们的可能性很高。这个问题在我的课程中也很常见。

因此,本书旨在为自然语言处理的深度学习搭建理论和实践的桥梁。我涵盖了必要的理论背景,并假设读者有最少的机器学习背景。我的目标是让任何上过线性代数和微积分课程的人都能跟上理论材料。为了解决实际问题,本书包含了用于讨论的较简单算法的伪代码,以及用于较复杂体系结构的实际Python代码。任何上过Python编程课程的人都应该能够理解这些代码。读完这本书后,我希望读者能有必要的基础,立即开始构建真实世界的、实用的自然语言处理系统,并通过阅读有关这些主题的研究出版物来扩展他们的知识。

http://clulab.cs.arizona.edu/gentlenlp/gentlenlp-book-05172020.pdf

成为VIP会员查看完整内容
0
75

当前自然语言处理的发展为低资源语言和领域提供了挑战和机遇。众所周知,深度神经网络需要大量的训练数据,而这些数据在资源贫乏的情况下可能无法得到。然而,也有越来越多的工作来提高低资源环境下的性能。基于对神经模型的基本改变和目前流行的预训练和微调范式,我们概述了低资源自然语言处理的有前途的方法。在讨论了低资源场景的定义和数据可用性的不同维度之后,我们接着研究了在训练数据稀少时支持学习的方法。这包括创建附加标签数据的机制,如数据增强和远程监督,以及转移学习设置,以减少对目标监督的需要。调查结束时,简要地看了一下在非NLP机器学习社区中建议的方法,这些方法在资源少的情况下可能对NLP有益。

https://arxiv.org/abs/2010.12309

成为VIP会员查看完整内容
0
40

深度神经网络在拥有大量数据集和足够的计算资源的情况下能够取得巨大的成功。然而,他们快速学习新概念的能力相当有限。元学习是解决这一问题的一种方法,通过使网络学会如何学习。令人兴奋的深度元学习领域正在高速发展,但缺乏对当前技术的统一、深刻的概述。这项工作就是这样。在为读者提供理论基础之后,我们研究和总结了主要的方法,这些方法被分为i)度量;ii)模型;和iii)基于优化的技术。此外,我们确定了主要的开放挑战,如在异构基准上的性能评估,以及元学习计算成本的降低。

摘要:

近年来,深度学习技术在各种任务上取得了显著的成功,包括游戏(Mnih et al., 2013; Silver et al., 2016),图像识别(Krizhevsky et al., 2012; He et al., 2015)和机器翻译(Wu et al., 2016)。尽管取得了这些进展,但仍有大量的挑战有待解决,例如实现良好性能所需的大量数据和训练。这些要求严重限制了深度神经网络快速学习新概念的能力,这是人类智能的定义方面之一(Jankowski等人,2011;(Lake等,2017)。

元学习被认为是克服这一挑战的一种策略(Naik and Mammone, 1992; Schmidhuber, 1987; Thrun, 1998)。其关键思想是元学习主体随着时间的推移提高自己的学习能力,或者等价地说,学会学习。学习过程主要与任务(一组观察)有关,并且发生在两个不同的层次上:内部和外部。在内部层,一个新的任务被提出,代理试图快速地从训练观察中学习相关的概念。这种快速的适应是通过在外部层次的早期任务中积累的知识来促进的。因此,内部层关注的是单个任务,而外部层关注的是多个任务。

从历史上看,元学习这个术语的使用范围很广。从最广泛的意义上说,它概括了所有利用之前的学习经验以更快地学习新任务的系统(Vanschoren, 2018)。这个广泛的概念包括更传统的机器学习算法选择和hyperparameter优化技术(Brazdil et al ., 2008)。然而,在这项工作中,我们专注于元学习领域的一个子集,该领域开发元学习程序来学习(深度)神经网络的良好诱导偏差。1从今以后,我们使用术语深元学习指元学习的领域。

深度元学习领域正在快速发展,但它缺乏一个连贯、统一的概述,无法提供对关键技术的详细洞察。Vanschoren(2018)对元学习技术进行了调查,其中元学习被广泛使用,限制了对深度元学习技术的描述。此外,在调查发表后,深度元学习领域也出现了许多令人兴奋的发展。Hospedales等人(2020)最近的一项调查采用了与我们相同的深度元学习概念,但目标是一个广泛的概述,而忽略了各种技术的技术细节。

我们试图通过提供当代深度元学习技术的详细解释来填补这一空白,使用统一的符号。此外,我们确定了当前的挑战和未来工作的方向。更具体地说,我们覆盖了监督和强化学习领域的现代技术,已经实现了最先进的性能,在该领域获得了普及,并提出了新的想法。由于MAML (Finn et al., 2017)和相关技术对该领域的影响,我们给予了格外的关注。本研究可作为深度元学习领域的系统性介绍,并可作为该领域资深研究人员的参考资料。在整个过程中,我们将采用Vinyals(2017)所使用的分类法,该分类法确定了三种深度元学习方法:i)度量、ii)模型和iii)基于优化的元学习技术。

成为VIP会员查看完整内容
0
77

题目: A Survey on Transfer Learning in Natural Language Processing

摘要:

深度学习模型通常需要大量数据。 但是,这些大型数据集并非总是可以实现的。这在许多具有挑战性的NLP任务中很常见。例如,考虑使用神经机器翻译,在这种情况下,特别对于低资源语言而言,可能无法整理如此大的数据集。深度学习模型的另一个局限性是对巨大计算资源的需求。这些障碍促使研究人员质疑使用大型训练模型进行知识迁移的可能性。随着许多大型模型的出现,对迁移学习的需求正在增加。在此调查中,我们介绍了NLP领域中最新的迁移学习进展。我们还提供了分类法,用于分类文献中的不同迁移学习方法。

成为VIP会员查看完整内容
0
95

Manning最畅销的Java 8书籍已经被修订为Java 9和Java 10!在Modern Java In Action中,读者可以使用最新的特性和技术,在已有的Java语言技能的基础上进行构建。

Java 9的发布建立在Java 8令人激动的基础之上。除了Java 8的lambdas和streams之外,Java 9还添加了许多自己的新特性。它包含了新的库特性来支持响应式编程,这为用户提供了一种新的方式来思考编程和编写更易于阅读和维护的代码。

成为VIP会员查看完整内容
0
54

计算机视觉是许多前沿创新的核心,包括自动驾驶汽车、无人机、增强现实、面部识别等等。由于人工智能和深度学习(DL)的快速发展,每天都有惊人的新的计算机视觉应用程序被开发出来。这本《深度学习视觉系统》教你的概念和工具,建立智能,可扩展的计算机视觉系统,可以识别和反应的对象,在图像,视频,和现实生活。有了作者Mohamed Elgendy的专家指导和现实世界项目的说明,您将最终掌握最先进的深度学习技术,这样您就可以构建、贡献和领导令人兴奋的计算机视觉领域!

对这项技术

通过使用深度神经网络,人工智能系统根据它们对输入数据的感知做出决策。基于深度学习的计算机视觉(CV)技术,增强和解释视觉感知,使图像识别、生成和分类等任务成为可能。CV的令人兴奋的进步已经在包括机器人、自动化、农业、医疗保健和安全在内的广泛行业中产生了解决方案。在许多情况下,CV被认为比人类视觉更准确,这是一个重要的区别,当你想到CV程序可以检测皮肤癌或在医学诊断扫描中发现异常时。无论我们谈论的是自动驾驶汽车还是拯救生命的医疗项目,毫无疑问,计算机视觉的深度学习应用正在改变世界。

百度网盘:链接: https://pan.baidu.com/s/1nhgWcnW4Yf8f40DF3zGdHg 提取码: 9vzk

关于这本书 深度学习视觉系统教你应用深度学习技术来解决真实世界的计算机视觉问题。DL和CV专家Mohamed Elgendy以其简单易懂的风格向您介绍了视觉直觉的概念——机器如何学习理解它所看到的东西。然后你将探索不同简历应用中的DL算法。你将深入到简历解释系统或管道的不同部分。使用Python、OpenCV、Keras、Tensorflow和Amazon的MxNet,您将发现解决CV问题的高级DL技术。

我们聚焦的应用包括图像分类、分割、字幕描述、生成以及人脸识别和分析。您还将学习最重要的深度学习体系结构,包括人工神经网络(ANNs)、卷积网络(cns)和递归网络(RNNs),您可以将这些知识应用到相关的深度学习学科,如自然语言处理和语音用户界面。来自Amazon、谷歌和Facebook的真实的、可扩展的项目把这一切都带回家了。有了这本无价的书,你将获得必要的技能,以建立惊人的端到端的CV项目,解决现实世界的问题。

里面有什么

  • 计算机视觉概论
  • 深度学习和神经网络
  • 转移学习和先进的CNN架构
  • 图像分类和字幕
  • 使用YOLO、SSD和R-CNN进行目标检测
  • 风格转移
  • AI伦理
  • 实际项目

目录:

Part I. DEEP LEARNING FOUNDATION

  1. Introduction to Computer Vision
  2. Deep learning and neural networks
  3. Convolutional Neural Networks (CNNs)
  4. Improving deep neural networks and hyperparameters tuningart I. Image Classification and Object Detection
  5. Advanced CNN architectures
  6. Transfer learning
  7. Object detection with YOLO, SSD and R-CNNPART III. Generative Models
  8. Generative Adversarial Networks (GANs)
  9. DeepDream and Neural Style Transfer
  10. Visual Embeddings
成为VIP会员查看完整内容
0
116
小贴士
相关资讯
NAACL 2019自然语言处理亮点
专知
15+阅读 · 2019年6月15日
如何用最强模型BERT做NLP迁移学习?
AI100
3+阅读 · 2019年2月3日
预训练模型迁移学习
极市平台
7+阅读 · 2018年11月6日
NLP 研究灵感库
AI研习社
3+阅读 · 2018年6月10日
干货 | NLP 研究灵感库
AI科技评论
6+阅读 · 2018年6月7日
相关论文
Mohamed Khodeir,Ben Agro,Florian Shkurti
0+阅读 · 11月25日
Jingtao Zhan,Jiaxin Mao,Yiqun Liu,Jiafeng Guo,Min Zhang,Shaoping Ma
6+阅读 · 10月12日
Thomas Hubert,Julian Schrittwieser,Ioannis Antonoglou,Mohammadamin Barekatain,Simon Schmitt,David Silver
4+阅读 · 4月13日
Jingfeng Zhang,Cheng Li,Antonio Robles-Kelly,Mohan Kankanhalli
3+阅读 · 2020年5月1日
Davide Abati,Jakub Tomczak,Tijmen Blankevoort,Simone Calderara,Rita Cucchiara,Babak Ehteshami Bejnordi
5+阅读 · 2020年3月31日
Self-labelling via simultaneous clustering and representation learning
Yuki Markus Asano,Christian Rupprecht,Andrea Vedaldi
3+阅读 · 2019年11月26日
Adversarial Transfer Learning
Garrett Wilson,Diane J. Cook
10+阅读 · 2018年12月6日
Marek Rei,Anders Søgaard
3+阅读 · 2018年11月14日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Srinivas Ravishankar, Chandrahas,Partha Pratim Talukdar
6+阅读 · 2018年1月8日
Top