TPAMI2022 || 基于图神经网络实现强化的、增量和跨语言社会事件检测

北京航空航天大学、美国伊利诺伊大学芝加哥分校和澳大利亚莫纳什大学联合提出了一个全新的强化、增量且跨语言的社会事件检测体系结构FinEvent在离线、在线和跨语言社会事件检测任务中，FinEvent的模型质量有了显著和持续的提高，分别提高了14%-118%、8%-170%和2%-21%。

Reinforced, Incremental and Cross-lingual Event Detection From Social Messages

论文地址：https://ieeexplore.ieee.org/document/9693189/authors#authors

本作品的源代码和数据在 https://github.com/RingBDStack/FinEvent 公开。

摘要：

  从社会信息中发现热点社会事件(如政治丑闻、重大会议、自然灾害等)是至关重要的，因为它突出了重大事件，有助于人们理解现实世界。由于社会信息的流特性，随着时间的推移，增量的社会事件检测模型在获取、保存和更新消息方面已经引起了广泛的关注。然而，现有的面向流社会信息的事件检测方法通常面临着事件特征模糊、文本内容分散、语言多，准确率和泛化能力较低。在本文中，我们提出了一种新的增强的（强化的）、增量的和跨语言的社会事件检测体系结构，即来自流媒体社会信息的FinEvent。具体来说，我们首先将社会消息建模为融合丰富元语义和多种元关系的异构图，并将其转换为加权多关系消息图。其次，我们提出了一种新的强化加权多关系图神经网络框 架，通过使用多智能体强化学习算法来选择跨不同关系/边的最优聚合阈值，以学习社会消息嵌入。为了解决社会事件检测中的长尾问题，设计了一种平衡采样策略指导的对比学习机制，用于增量社会消息表示学习。第三，设计了一种新的基于深度强化学习的空间聚类模型，用于在社会事件检测任务中选择形成一个聚类所需的最佳最小样本数和两个聚类之间的最佳最小距离。最后，在图神经网络上实现了基于知识保存的增量社会信息表示学习，实现了跨语言的社会事件传递检测。我们进行了大量的实验来评估推特流上的FinEvent，结果表明，在离线、在线和跨语言社会事件检测任务中，FinEvent的模型质量有了显著和持续的提高，分别提高了14%-118%、8%-170%和2%-21%。

引言   社会事件是现实世界中不寻常事件的发生，涉及特定的时间、地点、人物、内容等。[1],同时在社交网络和媒体中被广泛传播和讨论。例如，在2020年1月26日发生的卡拉巴萨斯直升机坠毁事故[1]中，包括退役职业篮球运动员科比·布莱恩特、他13岁的女儿吉安娜、棒球教练约翰·阿尔托贝利和其他5名乘客在内的9人遇难。社交媒体平台(推特、微博、脸书、Tumblr、Telegram等)已经成为官方和个人社交新闻的主要来源。这些平台吸引了大量用户，因为它们为人们提供了方便的方式来实时分享和寻求关于社会事件的观点。从大量社交信息中检测社会事件是有益的。一方面，以事件的形式存储每日新闻和社会消息可以使信息存储更有条理[2] 并丰富信息推荐[3]. 另一方面，社会事件检测可以应用在大量的实际应用中，例如舆情分析[4], 情感分析[5],企业风险管理[6], 政治选举预测[7],等等。从技术上来说，社会事件检测侧重于从大量真实的社会消息中学习高效的事件相关聚类。     然而，社会事件检测任务比传统的文本挖掘或社会网络挖掘更具挑战性，因为一般的社会事件是开放领域中有意义和有影响的社会信息的组合。社会事件往往包含一些与事件相关的异质元素，如地点、人物、组织、关系、日期时间、关键词等。虽然存在基于异质信息网络(HIN)[8]的社会消息模型[4]，[9]，[10]，但如何学习更有区别的社会消息嵌入仍然是一个难以解决的问题。特别是，社会消息的内容总是重叠的、冗余的和离散的，而消息流的噪声特性使得传统的离群点检测技术[11]-[14]不适合语义丰富的事件检测任务。因此，第一个挑战仍然是如何对社会消息建模，并设计一个更具更有区别和解释性的社会信息嵌入框架。除了上述复杂的语义，事件检测任务还具有长尾分布的特点[15]。一般受到社会数据收集和社会事件标注成本的限制。每个事件中包含的消息(样本)数量相对不均衡[9]。长尾问题促成了第二个问题挑战，即检测方法的性能下降和泛化能力差。更多实用的社会事件检测方法通常使用流聚类检测技术，而不是事件分类技术。此外，实用的社会事件检测方法也需要实现对流消息的增量检测[12], [16]甚至跨语言检测[17], [18]。一方面，社交消息和社会事件都具有时间属性，社交消息流中社交事件的数量也会增加。不同于现有的在线社交事件检测方法[1],[13], [14], [19]–[22] 基于确定性模式，如团、密集图、关键词、主题和模板等，一个泛化性能更好的语义增量事件检测框架值得研究。另一方面，跨语言消息会导致隐含词或实体语义嵌入的空间不一致[23], 这也为事件检测模型带来了直接的可用性困难(虽然有第三方翻译工具或翻译对齐模型可以解决这些问题，但这些困难是相对客观的)。因此，第三个挑战是如何实现跨语言的社会事件检测，甚至推广到低资源的语言消息数据。  

为了应对上述挑战，我们推出了一种新的强化的、增量的和跨语言的社会事件检测架构，即用于从流社会消息中检测事件FinEvent。该体系结构主要包含预处理、消息嵌入、训练、检测和传输5个模块。首先，我们利用异构信息网络[8] 将各种类型的面向事件的元素和关系组织成一个统一的图形结构。与以往利用元路径实例将异构图转化为同构图的方法([4]、[9]、[10])不同，我们首次提出了一种加权多关系图来建模社会消息之间的关联，并将元路径实例的数量保留为不同的边/关系权重。其次，我们提出了一种新的多智能体强化加权多关系图神经网络框架，即MarGNN，利用强化学包含习(RL)学习社会信息嵌入。具体来说，我们利用GNN学习表示社会信息中包含的语义和结构信息并使用多代理Actor-critic算法(AC)[24] 为每个关系学习最优数量/阈值，以便分别指导关系内和关系间的信息聚合。第三，为了解决社会事件检测中的长尾问题，设计了一种基于平衡采样策略的对比学习机制BasCL来指导框架的训练。然后，我们定期更新消息以保持一个最新的嵌入空间，并基于一种精心设计的基于MarGNN的知识保存技术实现增量式社会事件检测。第四，我们还设计了一种新的深度强化学习(DRL)指导的DB-SCAN模型，即DRL-DBSCAN，基于学习到的社会信息嵌入，自动实现社会事件聚类检测任务。通过DRL-DBSCAN，我们使用双延迟深度确定性策略梯度算法(TD3)[25] 学习最小点的最佳参数—形成聚类所需的最小样本数，以及ϵ—社会流中两个集群之间的最小距离。最后，提出了一种跨语言的社会信息嵌入方法，即Crlme，通过传递MarGNN的参数来提高目标语言(非英语)信息的嵌入性能。在Crlme方法的基础上，我们实现了跨语言社会事件的检测。   我们的初步工作发表在2021年[10]网络大会的会议记录中。本文将原始的保留参数的增量事件检测模型KPGNN扩展到一个强化的、增量的、跨语言的社会事件检测体系结构。这个完整版本涉及到在升级方法和建议架构的框架结构方面的一些改进。在模型升级方面，不同于将HINs转化为同构图，我们首先引入了加权多关系图，以保留图中的异构关系中更丰富的结构和统计特征。其次，我们提出了一种新的MarGNN框架来学习更有区别的社会信息嵌入。具体来说，MarGNN通过RL学习最优保留阈值，合理地保留和整合了每个关系中最有价值的语义和结构信息。第三，我们提出了新的DRL-DBSCAN方法，不同于启发式的K-Means或DBSCAN方法，实现了无需人工参数的社会事件聚类检测任务。第四，我们提出了新的Crlme方法来实现跨语社会事件检测。在实验中，提出并分析了更先进的性能。通过深入的分析，验证了[FinEvent](在https://github.com/RingBDStack/FinEvent 公开本作品的源代码和数据 "源码")的有效性和解释性。    总之，本文的贡献总结如下:

• 提出了一种新型的社会事件检测体系结构，并将其命名为FinEvent。FinEvent利用社会消息表示学习框架MarGNN、跨语言社会消息表示学习方法Crlme和社会事件聚类检测模型DRL-DBSCAN，实现离线、在线和跨语言社会事件检
• 提出了一种新的多智能体增强加权多关系图神经网络框架MarGNN，以学习更有区别的社会信息嵌入。它从不同关系在社会信息聚合中的重要性的角度提供了一个深刻的解释。
• 为了解决社会事件检测中的长尾问题，设计了一种基于平衡抽样的对比学习策略BasCL作为社会信息表征学习的基本目标函数。
• 为了实现社会事件的自动聚类检测，提出了一种新的深度强化学习引导的基于密度的空间聚类模型DRL-DBSCAN。不需要离线维护，也不需要人工经验，通过深度强化学习来学习DBSCAN的最优参数。
• 为了提高低资源语言信息嵌入的性能，提出了一种新的跨语言社会信息表示学习方法Crlme。它从跨语言社会事件检测的角度提供了一个低成本的迁移学习应用。
• 在推特流上实现了大量的实验和分析，证明了FinEvent在有效性和解释方面优于现有的SOTA社会事件检测方法。甚至增量的和跨语言的社会事件检测任务也以知识保存和知识转移的便捷方式被释放。