【干货书】语义关系与深度学习，86页pdf

受生物过程的启发，人工神经网络的理论基础于20世纪40年代奠定[McCulloch and Pitts, 1943]。神经元的放电代表一个命题，通过激活或抑制连接来模拟神经网络中的逻辑演算。感知器(perceptron)，一种解释单个人工神经元功能的算法，发明于20世纪50年代末[Rosenblatt, 1958]。随之而来的是我们现在熟悉的网络的分层结构，以及反向传播机制，这一范式的学习过程的核心。Rumelhart等人[1986]展示了反向传播机制如何在对人和家庭关系进行编码时，在中间隐藏层上产生有用的表示。术语深度学习是相当新的，NLP的“接管”是最近才出现的，主要是由于硬件的进步使得NLP的大型语料库的理论模型在计算上可行且高效，包括单词语义表示的归纳[Mikolov et al.， 2013c]。当NLP采用神经网络时，神经网络已经完全形成。它们带来了许多架构和数学模型，这些都是机器学习社区在这几十年里发展起来的。这种相互作用是双向的:自然语言处理任务的特殊要求刺激了进一步的发展和创新。在语义关系研究中采用深度学习，带来了不同于前几章探讨的方法和建模假设。

我们在5.2节以深度学习的高级概述开始本章。然后我们再回顾与语义关系相关的研究问题。语义关系的深度学习通常在一个体系结构中结合了对包含候选关系的整个句子的处理。论证的含义的表达将与上下文的表达和关系线索交织在一起——关系论证和周围的文本之间的表达。为了使事情更清楚，并允许未经尝试的组合，单词表示(属性特征，第5.3节)是分开的关系线索和上下文(关系特征，第5.4节)。第5.5节讨论了对数据集的关注，特别是对远程监督的深度学习解决方案:如何自动获取和处理大量有噪声的训练数据。第5.6节讨论语义关系的学习和建模，无论是作为特定结构还是作为神经模型;它展示了在不同的学习模式中，论点的表征和上下文线索是如何相互交织的。