近年来,自然语言处理的研究方法取得了一些突破。这些突破来源于两个新的建模框架以及在计算和词汇资源的可用性的改进。在这个研讨会小册子中,我们将回顾这些框架,以一种可以被视为现代自然语言处理开端的方法论开始:词嵌入。我们将进一步讨论将嵌入式集成到端到端可训练方法中,即卷积神经网络和递归神经网络。这本小册子的第二章将讨论基于注意力的模型的影响,因为它们是最近大多数最先进的架构的基础。因此,我们也将在本章中花很大一部分时间讨论迁移学习方法在现代自然语言处理中的应用。最后一章将会是一个关于自然语言生成的说明性用例,用于评估最先进的模型的训练前资源和基准任务/数据集。

https://compstat-lmu.github.io/seminar_nlp_ss20/

在过去的几十年里,人工智能技术的重要性和应用不断得到关注。在当今时代,它已经与构成人类塑造环境的大部分环境密不可分。因此,商业、研究和开发、信息服务、工程、社会服务和医学等无数部门已经不可逆转地受到人工智能能力的影响。人工智能有三个主要领域组成了这项技术:语音识别、计算机视觉和自然语言处理(见Yeung (2020))。在这本书中,我们将仔细研究自然语言处理(NLP)的现代方法。

这本小册子详细介绍了用于自然语言处理的现代方法,如深度学习和迁移学习。此外,本研究亦会研究可用于训练自然语言处理任务的资源,并会展示一个将自然语言处理应用于自然语言生成的用例。

为了分析和理解人类语言,自然语言处理程序需要从单词和句子中提取信息。由于神经网络和其他机器学习算法需要数字输入来进行训练,因此应用了使用密集向量表示单词的词嵌入。这些通常是通过有多个隐藏层的神经网络学习的,深度神经网络。为了解决容易的任务,可以应用简单的结构神经网络。为了克服这些简单结构的局限性,采用了递归和卷积神经网络。因此,递归神经网络用于学习不需要预先定义最佳固定维数的序列的模型,卷积神经网络用于句子分类。第二章简要介绍了NLP中的深度学习。第三章将介绍现代自然语言处理的基础和应用。在第四章和第五章中,将解释和讨论递归神经网络和卷积神经网络及其在自然语言处理中的应用。

迁移学习是每个任务或领域的学习模型的替代选择。在这里,可以使用相关任务或领域的现有标记数据来训练模型,并将其应用到感兴趣的任务或领域。这种方法的优点是不需要在目标域中进行长时间的训练,并且可以节省训练模型的时间,同时仍然可以(在很大程度上)获得更好的性能。迁移学习中使用的一个概念是注意力,它使解码器能够注意到整个输入序列,或自注意,它允许一个Transformer 模型处理所有输入单词,并建模一个句子中所有单词之间的关系,这使得快速建模一个句子中的长期依赖性成为可能。迁移学习的概念将在小册子的第6章简要介绍。第七章将通过ELMo、ULMFiT和GPT模型来描述迁移学习和LSTMs。第八章将详细阐述注意力和自注意力的概念。第九章将迁移学习与自注意力相结合,介绍了BERT模型、GTP2模型和XLNet模型。

为NLP建模,需要资源。为了找到任务的最佳模型,可以使用基准测试。为了在基准实验中比较不同的模型,需要诸如精确匹配、Fscore、困惑度或双语评估替补学习或准确性等指标。小册子的第十章简要介绍了自然语言处理的资源及其使用方法。第11章将解释不同的指标,深入了解基准数据集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA,以及可以找到资源的预训练模型和数据库,如“带代码的论文”和“大坏的NLP数据库”。

在小册子的最后一章中,介绍了生成性NLP处理自然语言生成,从而在人类语言中生成可理解的文本。因此,不同的算法将被描述,聊天机器人和图像字幕将被展示,以说明应用的可能性。

本文对自然语言处理中各种方法的介绍是接下来讨论的基础。小册子的各个章节将介绍现代的NLP方法,并提供了一个更详细的讨论,以及各种示例的潜力和限制。

成为VIP会员查看完整内容
0
156

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

学习使用Python分析数据和预测结果的更简单和更有效的方法

Python机器学习教程展示了通过关注两个核心机器学习算法家族来成功分析数据,本书能够提供工作机制的完整描述,以及使用特定的、可破解的代码来说明机制的示例。算法用简单的术语解释,没有复杂的数学,并使用Python应用,指导算法选择,数据准备,并在实践中使用训练过的模型。您将学习一套核心的Python编程技术,各种构建预测模型的方法,以及如何测量每个模型的性能,以确保使用正确的模型。关于线性回归和集成方法的章节深入研究了每种算法,你可以使用书中的示例代码来开发你自己的数据分析解决方案。

机器学习算法是数据分析和可视化的核心。在过去,这些方法需要深厚的数学和统计学背景,通常需要结合专门的R编程语言。这本书演示了机器学习可以如何实现使用更广泛的使用和可访问的Python编程语言。

使用线性和集成算法族预测结果

建立可以解决一系列简单和复杂问题的预测模型

使用Python应用核心机器学习算法

直接使用示例代码构建自定义解决方案

机器学习不需要复杂和高度专业化。Python使用了更简单、有效和经过良好测试的方法,使这项技术更容易为更广泛的受众所接受。Python中的机器学习将向您展示如何做到这一点,而不需要广泛的数学或统计背景。

成为VIP会员查看完整内容
0
131

由沃德(Brian Ward)着,姜南、袁志鹏译的《精通Linux(第2版)》讲解了Linux操作系统的工作机制以及运行Linux系统所需的常用工具和命令。根据系统启动的大体顺序,本书更深入地介绍从设备管理到网络配置的各个部分,最后演示了系统各部分的运行方式,并介绍了一些基本技巧和开发人员常用的工具。

Linux不像其他操作,会对用户隐藏很多重要的东西。相反,Linux会让用户掌控一切。而要掌控一切,就必须理解这个操作系统的工作机制,包括如何启动、如何连网,以及Linux内核如何工作。本书是畅销书的新版本,作者拥有多年的实践经验,内容通俗易懂。通过这本书,读者可以迅速从Linux新手变成老鸟,把作者丰富的经验装进自己的知识库。

<章节目录>

第1章概述 第2章基础命令和目录结构 第3章设备管理 第4章硬盘和文件系统 第5章Linux内核的启动 第6章用户空间的启动 第7章系统配置:日志、系统时间、批处理任务和用户 第8章进程与资源利用详解 第9章网络与配置 第10章网络应用与服务 第11章shell脚本 第12章在网络上传输文件 第13章用户环境 第14章Linux桌面概览 第15章开发工具 第16章从C代码编译出软件 第17章在基础上搭建

成为VIP会员查看完整内容
0
56

学习Ruby中面向对象编程背后的原理,并在几章中创建一个功能完整的基于Ruby 3的应用程序。您将基本了解许多辅助技术,如数据库、XML、web框架和网络—其中一些技术将是您的第一个Ruby应用程序所需要的。基于畅销的第一和第二版,开始Ruby 3,第四版是一个学习Ruby的引导指南。

这本书的新版本提供了与以前版本相同的对Ruby的精彩介绍,并对Ruby的最新版本进行了更新,包括通过改进分配器实现的性能,减少了堆碎片等。此外,还添加了:即时编译器的详细信息,GIL(全局解释器锁)限制的减少,以及静态类型检查器。

您将看到为什么轻量级和敏捷的Ruby编程语言仍然是构建当今web应用程序的开发人员的一个流行的开源脚本选择。这本书也可以作为一本教科书或一本关于开始Ruby编程的教科书的伴侣使用。在阅读和使用这本书之后,你将对用Ruby语言编程有一个坚实的掌握。

你会学到什么 了解Ruby的基本原理及其面向对象的构建块 使用Ruby库、gem和文档 使用文件和数据库 编写和部署Ruby应用程序 利用各种Ruby web框架并有效地使用它们 用Ruby做网络编程

这本书是给谁的 初学者、Ruby新程序员以及对学习Ruby编程语言基础感兴趣的web开发人员。

https://www.apress.com/gp/book/9781484263235

成为VIP会员查看完整内容
0
18

当看到这些材料时,一个明显的问题可能会出现:“为什么还要写一本深度学习和自然语言处理的书呢?”一些优秀的论文已经出版,涵盖了深度学习的理论和实践方面,以及它在语言处理中的应用。然而,从我教授自然语言处理课程的经验来看,我认为,尽管这些书的质量非常好,但大多数都不是针对最有可能的读者。本书的目标读者是那些在机器学习和自然语言处理之外的领域有经验的人,并且他们的工作至少部分地依赖于对大量数据,特别是文本数据的自动化分析。这些专家可能包括社会科学家、政治科学家、生物医学科学家,甚至是对机器学习接触有限的计算机科学家和计算语言学家。

现有的深度学习和自然语言处理书籍通常分为两大阵营。第一个阵营专注于深度学习的理论基础。这对前面提到的读者肯定是有用的,因为在使用工具之前应该了解它的理论方面。然而,这些书倾向于假设一个典型的机器学习研究者的背景,因此,我经常看到没有这种背景的学生很快就迷失在这样的材料中。为了缓解这个问题,目前存在的第二种类型的书集中在机器学习从业者;也就是说,如何使用深度学习软件,而很少关注理论方面。我认为,关注实际方面同样是必要的,但还不够。考虑到深度学习框架和库已经变得相当复杂,由于理论上的误解而滥用它们的可能性很高。这个问题在我的课程中也很常见。

因此,本书旨在为自然语言处理的深度学习搭建理论和实践的桥梁。我涵盖了必要的理论背景,并假设读者有最少的机器学习背景。我的目标是让任何上过线性代数和微积分课程的人都能跟上理论材料。为了解决实际问题,本书包含了用于讨论的较简单算法的伪代码,以及用于较复杂体系结构的实际Python代码。任何上过Python编程课程的人都应该能够理解这些代码。读完这本书后,我希望读者能有必要的基础,立即开始构建真实世界的、实用的自然语言处理系统,并通过阅读有关这些主题的研究出版物来扩展他们的知识。

http://clulab.cs.arizona.edu/gentlenlp/gentlenlp-book-05172020.pdf

成为VIP会员查看完整内容
0
72

当前自然语言处理的发展为低资源语言和领域提供了挑战和机遇。众所周知,深度神经网络需要大量的训练数据,而这些数据在资源贫乏的情况下可能无法得到。然而,也有越来越多的工作来提高低资源环境下的性能。基于对神经模型的基本改变和目前流行的预训练和微调范式,我们概述了低资源自然语言处理的有前途的方法。在讨论了低资源场景的定义和数据可用性的不同维度之后,我们接着研究了在训练数据稀少时支持学习的方法。这包括创建附加标签数据的机制,如数据增强和远程监督,以及转移学习设置,以减少对目标监督的需要。调查结束时,简要地看了一下在非NLP机器学习社区中建议的方法,这些方法在资源少的情况下可能对NLP有益。

https://arxiv.org/abs/2010.12309

成为VIP会员查看完整内容
0
39

The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances

人脸识别是计算机视觉领域中最基本、最长期存在的研究课题之一。随着深度卷积神经网络和大规模数据集的发展,深度人脸识别取得了显著的进展,并在实际应用中得到了广泛的应用。以自然图像或视频帧作为输入,端到端深度人脸识别系统输出人脸特征进行识别。为了实现这一目标,整个系统通常由三个关键要素构建:人脸检测、人脸预处理和人脸表示。人脸检测在图像或帧中定位人脸。然后,对人脸进行预处理,将人脸标定为标准视图,并将其裁剪为标准化像素大小。最后,在人脸表示阶段,从预处理后的人脸中提取识别特征进行识别。深度卷积神经网络满足了这三个要素。摘要随着深度学习技术的蓬勃发展,端到端深度人脸识别技术的能力得到了极大的提高,本文对端到端深度人脸识别技术中各个方面的最新进展进行了综述。首先,我们介绍端到端深度人脸识别的概述,如前所述,它包括人脸检测、人脸预处理和人脸表示。然后,我们分别回顾了基于深度学习的每个元素的进展,包括许多方面,如最新的算法设计、评估指标、数据集、性能比较、存在的挑战和未来的研究方向。我们希望这一调查可以为我们更好地理解端到端人脸识别的大图和更系统的探索带来有益的想法。

https://arxiv.org/abs/2009.13290

成为VIP会员查看完整内容
0
55

当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现,那么它就被认为是有利的。这种心态无缝地反映在连续学习的重现领域,在这里研究的是持续到达的基准数据集。核心挑战是如何保护之前获得的表示,以免由于迭代参数更新而出现灾难性地遗忘的情况。然而,各个方法的比较是与现实应用程序隔离的,通常通过监视累积的测试集性能来判断。封闭世界的假设仍然占主导地位。假设在部署过程中,一个模型保证会遇到来自与用于训练的相同分布的数据。这带来了一个巨大的挑战,因为众所周知,神经网络会对未知的实例提供过于自信的错误预测,并在数据损坏的情况下崩溃。在这个工作我们认为值得注意的教训来自开放数据集识别,识别的统计偏差以外的数据观测数据集,和相邻的主动学习领域,数据增量查询等预期的性能收益最大化,这些常常在深度学习的时代被忽略。基于这些遗忘的教训,我们提出了一个统一的观点,以搭建持续学习,主动学习和开放集识别在深度神经网络的桥梁。我们的结果表明,这不仅有利于每个个体范式,而且突出了在一个共同框架中的自然协同作用。我们从经验上证明了在减轻灾难性遗忘、主动学习中查询数据、选择任务顺序等方面的改进,同时在以前提出的方法失败的地方展示了强大的开放世界应用。****

成为VIP会员查看完整内容
0
56

题目 Algorithms in C:C语言算法实现

关键词

算法设计,C语言,编程

简介

本书的目的是研究各种重要且有用的算法:解决适合计算机实现的问题的方法。 我们将处理许多不同的应用领域,始终尝试着重于重要的知识和学习有趣的“基本”算法。 由于涉及的领域和算法众多,因此我们无法深入研究许多方法。 但是,我们将尝试在每种算法上花费足够的时间,以了解其基本特征并尊重其微妙之处。 简而言之,我们的目标是学习当今计算机上使用的大量最重要的算法,并且足以使用和欣赏它们。

要很好地学习算法,必须实现并运行它。 因此,理解本书中介绍的程序的推荐策略是实施和测试它们,尝试使用变体,然后对实际问题进行尝试。 我们将使用C编程语言来讨论和实现大多数算法。 但是,由于我们使用的是语言的较小子集,因此我们的程序可以轻松转换为许多其他现代编程语言。

本书的读者应该至少有一年的高级和低级语言编程经验。 另外,虽然在第3章和第4章中对此材料进行了详细的介绍,但对简单数据结构(如数组,堆栈,队列和T恤)上的基本算法进行一些接触可能会有所帮助,尽管在第3章和第4章中对此材料进行了详细介绍。 还假定了其他基本计算机科学概念。 (我们将在适当的时候简要地回顾这些材料,但始终在解决特定问题的上下文中。)我们处理的一些应用领域需要基本演算的知识。 我们还将使用一些非常基本的材料,包括lin-ear代数,几何和离散数学,但是这些主题的先前知识不是必需的。

目录


成为VIP会员查看完整内容
0
49

当对大量的标记数据集合(如ImageNet)进行训练时,深度神经网络展示了它们在特殊监督学习任务(如图像分类)上的卓越表现。然而,创建这样的大型数据集需要大量的资源、时间和精力。这些资源在很多实际案例中可能无法获得,限制了许多深度学习方法的采用和应用。为了寻找数据效率更高的深度学习方法,以克服对大型标注数据集的需求,近年来,我们对半监督学习应用于深度神经网络的研究兴趣日益浓厚,通过开发新的方法和采用现有的半监督学习框架进行深度学习设置。在本文中,我们从介绍半监督学习开始,对深度半监督学习进行了全面的概述。然后总结了在深度学习中占主导地位的半监督方法。

成为VIP会员查看完整内容
0
104

本备忘单是机器学习手册的浓缩版,包含了许多关于机器学习的经典方程和图表,旨在帮助您快速回忆起机器学习中的知识和思想。

这个备忘单有两个显著的优点:

  1. 清晰的符号。数学公式使用了许多令人困惑的符号。例如,X可以是一个集合,一个随机变量,或者一个矩阵。这是非常混乱的,使读者很难理解数学公式的意义。本备忘单试图规范符号的使用,所有符号都有明确的预先定义,请参见小节。

  2. 更少的思维跳跃。在许多机器学习的书籍中,作者省略了数学证明过程中的一些中间步骤,这可能会节省一些空间,但是会给读者理解这个公式带来困难,读者会在中间迷失。

成为VIP会员查看完整内容
0
200
小贴士
相关VIP内容
专知会员服务
131+阅读 · 2月25日
专知会员服务
56+阅读 · 2月19日
专知会员服务
18+阅读 · 2020年12月17日
专知会员服务
72+阅读 · 2020年11月7日
专知会员服务
39+阅读 · 2020年10月27日
专知会员服务
55+阅读 · 2020年10月2日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
56+阅读 · 2020年9月6日
【经典书】算法C语言实现,Algorithms in C. 672页pdf
专知会员服务
49+阅读 · 2020年8月13日
专知会员服务
104+阅读 · 2020年6月12日
机器学习速查手册,135页pdf
专知会员服务
200+阅读 · 2020年3月15日
相关论文
Aidin Zehtab-Salmasi,Mohammad-Reza Feizi-Derakhshi,Mohamad-Ali Balafar
0+阅读 · 4月10日
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
91+阅读 · 2020年3月18日
Anderson de Andrade
5+阅读 · 2019年10月28日
Zekun Li,Zeyu Cui,Shu Wu,Xiaoyu Zhang,Liang Wang
6+阅读 · 2019年10月12日
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Daniel S. Park,Jascha Sohl-Dickstein,Quoc V. Le,Samuel L. Smith
3+阅读 · 2019年5月9日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
4+阅读 · 2019年4月17日
Advances in Natural Language Question Answering: A Review
K. S. D. Ishwari,A. K. R. R. Aneeze,S. Sudheesan,H. J. D. A. Karunaratne,A. Nugaliyadde,Y. Mallawarrachchi
4+阅读 · 2019年4月10日
Austin R. Benson,Rediet Abebe,Michael T. Schaub,Ali Jadbabaie,Jon Kleinberg
3+阅读 · 2018年2月20日
Top