现代恐怖主义和战争的性质已经发生了重大变化,技术的进步使得在社交媒体平台上捕捉和传播未经审查的图像宣传成为可能。这些通常为高清画质的视觉图像可用于训练人工智能生成模型,这引发了人们对滥用此类技术助长暴力、激进化和两极分化的担忧,并对微观和宏观层面产生了深远的心理影响。本论文研究了当前的人工智能法规,尤其是欧盟的《人工智能法》,是否能充分应对这些风险,并寻求相关的技术解决方案来降低这些风险。利用 PRISMA 框架建立了一个工作语料库,并借鉴了有关人工智能驱动的激进化和在线恐怖活动的研究。通过社会技术视角,探索了接触暴力内容如何触发激进化途径,研究了激进化模式以及结构化在线和离线恐怖活动之间的相互作用。还探讨了互联网基础设施和核心算法在促进激进化方面的作用,以及极端主义组织如何利用这些社会和技术要素来实现其目标,从而导致广泛的直接和间接后果。根据基于风险的方法对风险状况进行了分析,发现了多种风险,包括宣传驱动的非人性化、“他者化 ”现象的加强、暴力正常化以及广泛的心理伤害。对欧盟人工智能法案进行了差距评估,发现该法案虽然广泛涵盖了这些风险,但只是抽象地解决了偏见、隐私、透明度和可解释性等关键挑战,没有明确的技术要求。此外,对作为恶意行为者的极端组织和恐怖组织关注不够,技术标准化程度有限,也没有制定国家教育计划,以建立防止滥用生成式人工智能的弹性。建议采用系统的人工审核、先进的机器学习算法来检测极端主义输入和暴力输出,并使用生成式对抗网络(GAN)对个人视觉属性进行匿名处理。此外,还提出了一套水印技术标准,以支持全球监管工作和研究。这些差距凸显了监管机构和其他利益相关者之间积极合作的必要性,以确保负责任地开发和部署人工智能技术,降低本研究中发现的风险。