《虚假信息的演变：深度伪造的未来》最新108页

本报告是根据加拿大安全情报局（Canadian Security Intelligence Service）作为其学术推广和利益相关者参与（AOSE）以及信息源分析和利用（AXIS）计划的一部分而组织的研讨会上发表的观点和发言人提供的短文编写的。本报告旨在为正在进行的讨论提供支持，不构成分析文件，也不代表相关组织的任何正式立场。研讨会按照查塔姆大厦规则进行；因此，报告中不注明发言者和与会者的身份。

据评估，虚假信息对安全和民主构成的威胁是一个重大的、持续的、甚至是习惯性的问题。在人工智能（AI）进步的推动下，深度伪造被视为虚假信息的现代演变，给政府、个人和社会带来了新的挑战。保护信息生态系统的完整性不仅是民主的基本优先事项，也是整个社会的基本优先事项。

技术进步与公益应用

深度伪造（Deepfakes）最初是深度学习和虚假媒体的谐音，现在被更广泛地用来指任何由深度学习算法创建或编辑的冒充媒体。利用生成式人工智能技术制作的人工视频、图像、音频/语音和文本迅速发展，变得越来越容易获取和逼真。在许多方面，这些进步都带来了令人兴奋的机遇。

大规模语言和图像生成模型的出现极大地推动了生成式人工智能的发展。开发的重点是使模型更强大、更有能力、更易于使用，同时通过详细的文本提示，让用户对生成媒体的风格和内容有更多的控制权。
深度伪造可用于创建娱乐内容，如逼真的换脸或为电影、电视或视频游戏进行视觉配音，从而实现新的创意可能性，让虚构角色栩栩如生。它们还可用于视觉效果和修复目的，重现或增强难以实际制作或制作成本高昂的场景。例如，深度伪造技术可用于对演员进行老化或去老化处理，或在电影或广告中复活已故演员。
作为培训和模拟的营销和教育工具，深度伪造可以在医学、军事训练或应急响应等领域实现逼真的场景，让从业人员在安全可控的环境中练习技能。

对社会和安全的威胁

随着媒体生成能力变得越来越广泛和精确，滥用的可能性也在增加。深度伪造的主要问题之一是有可能传播虚假信息和操纵政治言论，从而导致民主社会的混乱、不信任和社会不稳定。

深度伪造引发了严重的隐私问题，因为它们可以通过将某人的脸部叠加到露骨的材料上，来制作未经同意的露骨内容。这对个人隐私和名誉构成了威胁，同时也造成了精神痛苦。此外，深度伪造还带来了许多法律和道德挑战。它们可能侵犯知识产权，违反隐私法。
深度伪造还有可能削弱人们对视觉媒体的信任。随着技术的日益成熟，人们越来越难以区分真假内容，从而难以依赖视频证据，加剧了虚假信息的问题。
深度伪造的广泛存在会对社会产生负面影响，包括网络欺凌、骚扰和潜在的社会动荡。深度伪造可以被武器化，利用或操纵个人，导致名誉受损、心理伤害或社会分裂。

虽然深度伪造更有可能推进已经存在的安全威胁相关活动，而不是产生新的问题，但重要的是要认识到与深度伪造相关的潜在风险，并制定强有力的技术解决方案、道德准则和法律框架，以应对这些挑战并减轻其负面影响。

虚假信息是国家和非国家行为者在历史上一直在使用的一种工具，他们试图诋毁和淡化民主制度，放大阴谋和激进化，鼓励对权威的不信任。深度伪造提高了这些努力的速度和有效性，同时加快了针对政府/军事人员、网络钓鱼和社交工程以及模仿生物识别数据的速度。
深度伪造可被用作制造噪音的工具，充斥情报收集领域，通过制造人工生成的对话、视频或文本，分散对真实情报的注意力和/或扭曲对人类来源的感知。对开放源情报（OSINT）的依赖性增加，使得深度伪造信息在信息生态系统中的影响尤为显著。
深度伪造还可用于毒化用于训练深度学习系统的数据，故意用恶意信息损害这些系统。例如，用于检测网络攻击的算法可能会通过对其进行训练的大规模数据集进行数据投毒而受到损害。
从公共安全和安保的角度来看，深度伪造可以被用来实施欺诈、进行胁迫和/或勒索、为犯罪活动制造假证据，或在非法活动中冒充和/或指控个人有罪。

展望

深度伪造的目的在于欺骗，而人类思维无法始终如一地识别复杂技术的输出结果。虽然科技巨头已经开始将深度伪造内容标记为虚假信息，但综合人类和模型预测的检测系统具有更大的价值。政府在促进深度伪造技术的应用方面可以发挥作用，使公民和民主既受益又得到保护，而公民个人在保护自身及其社区方面也具有能动性。

深度伪造在诽谤、知识产权和隐私权等领域对现有法律框架提出了挑战；而目前，传播深度伪造内容的社交媒体平台几乎不承担传播者责任。应优先考虑调整和更新法律，以应对深度伪造带来的独特挑战，同时明确与问责制、责任和受深度伪造操纵影响的个人权利相关的问题。
促进能够检测和减少深度伪造的技术研发是一项重要的政策考虑。加强与行业专家的合作，制定负责任地使用深度伪造技术的标准和准则，以及平衡创新与必要监管之间的关系，在促进技术进步的同时应对风险，都是至关重要的。
内容认证是一种很有前景的方法。与其试图 “检测 ”人工智能生成的内容，不如通过嵌入内容 “DNA ”中的密码标记，将 “认证 ”架构嵌入互联网本身的框架中。
关于深度伪造的社会规范和讨论应有助于营造一种环境，让人们对自己所看到的内容持怀疑态度，并鼓励人们对彼此的信息主张提出质疑。数字扫盲培训，尤其是针对社会思想领袖和有影响力人士的培训，有助于提高人们的风险意识和对媒体的信任。

可以肯定的是，深度伪造技术将继续加速发展，以更高效、更具成本效益的方式制作更逼真的内容。从全球角度考虑深度伪造问题，可以采取综合方法，最大限度地利用不断发展的技术，同时应对相关的个人和国家安全风险，维护隐私权，保持公众对媒体和信息来源的信任。