论文浅尝 | 嵌入常识知识的注意力 LSTM 模型用于特定目标的基于侧面的情感分析

2018 年 6 月 11 日 开放知识图谱

MaY, Peng H, Cambria E. Targeted aspect-based sentiment analysis via embedding commonsense knowledge into an attentive LSTM[C]//AAAI. 2018.

任务简介

特定目标的基于侧面的情感分析，在原来基于侧面的情感分析的基础上，进一步挖掘细粒度的信息，分析特定对象的侧面级别的情感极性。具体任务的示例如图1所示，给定句子识别该句子描述了哪个目标的哪个侧面，并且识别出关于该侧面的情感极性。

图 1 特定目标的侧面级别的情感分析示例

图 2 文本描述多个目标的多个侧面的示例

从图 2 的示例中，我们可以看出真实的文本描述中，我们可能同时描述多个目标和关于这些目标的多个侧面，原来基于侧面的情感分析，一般用于评论分析，假定目标实体已经给定，因此该任务只能识别出侧面以及分类该侧面的情感，更一般的情况，该任务并不能解决，因此，需要构建新的任务，特定目标的基于侧面的情感分析，同时抽取文本的描述的目标、它们对应的侧面以及描述这些侧面的情感极性。例如，给定句子“I live in [West London] for years. I like it and itis safe to live in much of [west London]. Except [Brent] maybe.”包含两个目标[west London]和[Brent]。我们的目标就是识别目标的侧面并且分类这些侧面的情感。我们想到的输出就是关于目标[WestLondon]的结果[‘general’:positive;‘safety’:positive]和关于目标[Brent]的结果[‘general’: negative; ‘safety’:negative]。

现有方法的不足：

（1）在一个句子中，同一个目标可能包含多个实例（同一个目标的不同表述方式，例如，同义词、简写等）或者一个目标对应一个句子中的多个词语。但是，现有的方法都假设所有的实例对于情感分类的重要性是一样的，简单地计算所有实例的向量的均值。事实上，同一个目标中的个别实例对于情感分类的重要性明显高于其他的实例。

（2）现有的层次注意力机制模型将关于给定目标、侧面和情感的建模过度简化成一种黑盒的神经网络模型。现有的研究方法都没有引入外部知识（情感知识或者常识知识）到深度神经网络，这些知识可以有助于侧面和情感极性的识别。

模型简述和常识知识：

本文提出的神经结构如图2所示，包含两个模块：序列编码器和层次注意力模块。给定一个句子s={w₁,w₂,…,w_L}，首先查阅词向量表将句子中输入的词语全部变成词向量{v_w1,v_w2,…,v_wL}。其中序列编码器基于双向LSTM，将词向量转换成中间隐含层序列输出，注意力模块置于隐含层输出的顶部，其中比较特殊的是，本结构中加入目标级别的注意力模块该模块的输入不是序列全部的中间隐含层输出，而是序列中描述目标对象对应的位置的词语的隐含层输出（如图2中的紫色模块），计算这些词语的自注意向量（v_t）。这里目标级别的注意力模块的输出表示目标，目标的表示结合侧面的词向量用于计算句子级别的注意力表示，将整个句子表示一个向量，这个句子级别的注意力模块返回一个关于特定目标和侧面的句子向量，然后用这个向量预测这个目标对应的侧面的情感极性。

图 3 注意力神经结构

为了提升情感分类的精确度，本文使用常识知识作为知识源嵌入到序列编码器中。这里使用 SenticNet 作为常识知识库，该知识库包含了 5000 个概念关联了丰富的情感属性（如表1所示），这些情感属性不但提供了概念级别的表示，同时提供了侧面和它们的情感之间对应的语义关联。例如，概念“rottenfish”包含属性“KindOf-food”可以直接关联到侧面“restaurant”或者“food quality”，同时情感概念“joy”可以支撑情感极性的分类。（如图4所示）

表 1 SenticNet 的示例

因为 SenticNet 的高维度阻碍了将这些常识知识融合到深度神经网络结构中。AffectiveSpace 提出了方法将 SenticNet 中的概念转化成连续低维度的向量，而且没有损失原始空间中的语义和情感关联。基于这个新的概念空间，本文将概念级别的信息嵌入到深度神经网络模型中可以更好地分类自然语言文本中的侧面和情感分类。

图 4 SenticNet 语义网络的部分

实验结果

本文主要评估了两个子任务：一是侧面分类，二是基于侧面的情感分类；主要评估两个测度，精确度、Macro-F1和Micro-F1；实验室的数据集包括SentiHood和Semeval-2015；常识知识库使用SenticNet和使用AffectiveSpace作为概念embedding，如果没有抽取到概念，那么使用零向量作为输入。实验结果如图5和图6所示。