https://www.oreilly.com/library/view/natural-language-processing/9781098103231/

自2017年推出以来,Transformer已迅速成为在各种自然语言处理任务上实现最先进结果的主导架构。如果你是一名数据科学家或程序员,这本实用的书向你展示了如何使用基于python的深度学习库hugs Face transformer来训练和扩展这些大型模型。

Transformers 已经被用来编写真实的新闻故事,改进谷歌搜索查询,甚至创造出讲笑话的聊天机器人。在本指南中,作者Lewis Tunstall、Leandro von Werra和Thomas Wolf(拥抱Transformers 的创始人之一)使用亲身实践的方法来教你Transformers如何工作,以及如何将它们集成到应用程序中。你会很快学到他们能帮你解决的各种任务。

  • 为核心NLP任务构建、调试和优化Transformers模型,如文本分类、命名实体识别和回答问题

  • 学习如何使用Transformers进行跨语言迁移学习

  • 在真实世界中标签数据稀缺的场景中应用Transformers

  • 利用蒸馏、剪枝和量化等技术,使Transformers模型有效地用于部署

  • 从零开始训练Transformers ,学习如何扩展到多个GPU和分布式环境

本书的目标是让您能够构建自己的语言应用程序。为了达到这个目的,它关注于实际的用例,并且只在必要的时候深入研究理论。这本书的风格是动手操作,我们强烈建议您亲自运行代码示例来进行试验。本书涵盖了NLP中transformers的所有主要应用,每一章(除了少数例外)专门针对一个任务,结合一个实际的用例和数据集。每一章还介绍了一些额外的概念。以下是我们将涉及的任务和主题的一个高级概述:

第一章,你好Transformers,介绍了Transformers,并把它们放到了背景中。它还介绍了“Hugging Face”生态系统。

第二章文本分类,重点介绍了情感分析(一个常见的文本分类问题),并介绍了Trainer API。

第三章,Transformer剖析,更深入地介绍了Transformer架构,为接下来的章节做准备。

第四章,多语言命名实体识别,重点关注在多语言文本中识别实体的任务(一个令牌分类问题)。

第五章,文本生成,探讨了Transformers模型生成文本的能力,并介绍了解码策略和度量。

第六章,摘要,深入研究了文本摘要的复杂序列到序列任务,并探讨了该任务使用的度量。

第七章“问答”,重点介绍了基于综述的问答系统的构建,并介绍了利用Haystack进行检索的方法。

第八章《Transformers在生产中高效运行》,重点介绍了模型性能。我们将着眼于意图检测的任务(序列分类问题的一种类型),并探索知识蒸馏、量化和剪枝等技术。

第九章,处理很少或没有标签,着眼于在没有大量标签数据的情况下提高模型性能的方法。我们将构建一个GitHub问题标签和探索技术,如零样本分类和数据增强。

第十章,从头开始训练Transformer,向您展示了如何从头开始构建和训练一个自动完成Python源代码的模型。我们将研究数据集流和大规模培训,并构建我们自己的标记器。

第十一章,未来方向,探讨了Transformers面临的挑战和一些令人兴奋的新方向的研究,在这一领域将进入。

成为VIP会员查看完整内容
510

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【Manning新书】自然语言处理实战:深度学习应用,337页pdf,
【Manning新书】TensorFlow机器学习,454页pdf
专知会员服务
103+阅读 · 2021年11月14日
【Manning新书】TensorFlow机器学习,第二版
专知
3+阅读 · 2021年11月14日
【赠书】TensorFlow自然语言处理
AINLP
17+阅读 · 2019年7月14日
ML通用指南:文本分类详细教程(上)
论智
19+阅读 · 2018年7月29日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
Arxiv
39+阅读 · 2021年11月11日
Arxiv
28+阅读 · 2021年9月26日
Arxiv
102+阅读 · 2021年6月8日
Arxiv
19+阅读 · 2020年12月23日
VIP会员
相关基金
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员