以多模式差异学习手段实现(仇恨)模式的演变 (On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive Learning)

The dissemination of hateful memes online has adverse effects on social media platforms and the real world. Detecting hateful memes is challenging, one of the reasons being the evolutionary nature of memes; new hateful memes can emerge by fusing hateful connotations with other cultural ideas or symbols. In this paper, we propose a framework that leverages multimodal contrastive learning models, in particular OpenAI's CLIP, to identify targets of hateful content and systematically investigate the evolution of hateful memes. We find that semantic regularities exist in CLIP-generated embeddings that describe semantic relationships within the same modality (images) or across modalities (images and text). Leveraging this property, we study how hateful memes are created by combining visual elements from multiple images or fusing textual information with a hateful image. We demonstrate the capabilities of our framework for analyzing the evolution of hateful memes by focusing on antisemitic memes, particularly the Happy Merchant meme. Using our framework on a dataset extracted from 4chan, we find 3.3K variants of the Happy Merchant meme, with some linked to specific countries, persons, or organizations. We envision that our framework can be used to aid human moderators by flagging new variants of hateful memes so that moderators can manually verify them and mitigate the problem of hateful content online.

翻译：网上传播仇恨的迷因对社交媒体平台和真实世界产生了不利影响。检测仇恨的迷因具有挑战性, 其原因之一是Memes的进化性质; 与其它文化理念或符号混在一起, 可能会产生新的仇恨的迷因。在本文中, 我们提出一个框架, 利用多式对比学习模式, 特别是 OpenAI 的 CLIP, 找出仇恨内容的目标, 并系统调查仇恨的迷因的演变。我们发现, CLIP 生成的嵌入中存在语义规律, 描述同一模式( 图像) 或跨模式( 图像和文本) 的语义关系。我们利用这一属性, 我们研究如何通过将多种图像中的视觉元素结合起来来创造仇恨的迷因子。我们展示了我们框架分析仇恨的演变能力, 聚焦于反穆斯林的迷因, 特别是快乐的Merchant meme 。利用我们从4chan 提取的数据集框架, 我们发现“ Happle Merchant” 的仇恨变种或“ 变相”, 我们的“ 我们的“ 我们的“ 我们的” 变相” 和“ 我们的“ 我们的” 变相” 的“我” 的“ 的“我们” 的“我们” 的” 的“变相” 的“我们” 的” 的“我” 的“我” 的” 能够连接到” 的” 的“我”, 的“我” 的“我” 的“我” 的“我” 的” 的“我” 的” 的“我” 的” 的“我” 的“我们的” 的” 的“我” 的” 的” 的” 的“可以链接的“我” 的” 的” ” 的” 的“可以链接的“我” 的“我们的” 的” 的” 的“可以链接的“我” 的” 的“我们的”, 的“我们的” 的“变相”, 的“ 的“我们的” 与” 和“我们的“我们的” 的“我们的” 的“变式” 的”