本报告介绍了深度伪造技术的技术原理、应用示例、检测办法及其产品作用机理,分析了该技术在国际冲突中的潜在用途,并针对防范、使用、管理深度伪造等问题提出了相应的政策建议。报告指出,对于深度伪造应当采取更加积极有效的防范措施;深度伪造虽然在国际冲突中可以起到独特作用,但它将从根本上破坏道德准则和价值观,因此民主国家应当尽力避免使用该技术;如果确要使用,则应当建立起“公平裁决流程”等强有力的管理机制。

深度伪造简介

1.1深度伪造技术原理 深度伪造的出现,是因为机器学习最近取得了突破。在过去的15年中,机器学习实现了其最初潜力;多模态数据(例如新闻文章、社交媒体、音频、图像、视频等)的广泛可得性,以及高性能CPU和GPU计算集群成本的大幅降低,则使机器学习技术无处不在。 最近的机器学习革命的核心是深度神经网络,通常称为“深度学习”。如果有足够的数据和计算能力,深度学习模型将极其强大,包括生成逼真的图像、音频、文本等。这也就是“深度伪造”技术的来源。 深度伪造通常使用的深度学习算法被称为GAN,即“生成对抗网络”。GAN于2014年开发,随着计算能力、可用数据和算法的提高,已迅速成熟,现可用于从静态的图像、文本到音频、视频流等所有形式的数字内容。GAN的底层算法通常是开源的,任何在线用户都可以下载并对其进行训练,其限制主要在于开发深度伪造所必需的训练数据和计算能力。 GAN虽然有很多变体,但它们都使用深度神经网络并遵循相同的简单架构(见图1)。

图1 GAN架构 1.2深度伪造产品的作用机理 随着机器学习越来越强大、性价比越来越高,受到操纵的媒体将对民主构成越来越大的挑战。在现代社交媒体中,真实信息和虚假信息都可以快速传播,从而产生信息级联。由于虚假事实普遍存在,它将被广泛接受。事实上,否认错误信息往往会导致其得到更广泛的传播,而且虚假信息比真实信息传播得更快。深度伪造产品质量越高、制作越简单,就越容易把真实内容或信息看作是不真实的。 目前,最大的危险来自拥有相当技术能力的国家(如俄罗斯)或可以花钱得到这些技术的国家(例如沙特阿拉伯)。然而,随着技术的进步和普及,较小的国家、非国家行为体甚至个人都可能开始使用深度伪造。尽管质量可能有所不同,但无需非常专业的行为就可以造成混乱或破坏政府政策。

深度伪造在国际冲突中的可能应用

以前,关于深度伪造的讨论主要集中在对民主和社会的威胁之上,认为它会玷污民主社会形象,破坏民主统治的合法性。但如今,被操纵的媒体正加剧国际冲突,深度伪造将使媒体上的造假活动更加有力。俄乌战争表明,深度伪造现在正被用于国际冲突,其作用在未来几年还将增大。根据深度伪造设计者目前的研究,该技术有8种典型应用,包括使战争和起义合法化、伪造命令、制造混乱、分裂上下级、削弱民众支持、使社会两极分化、分裂盟友、诋毁领导者等可能的情况。但美国也同样可以利用深度伪造来对抗敌人和其他威胁,以保护国际秩序。例如,显示俄罗斯将军命令俄军从乌克兰城市撤离,或者显示恐怖分子领导人发表导致恐怖组织分裂的批判性言论,等等。

声明:本文来自上海市人工智能与社会发展研究会,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。

成为VIP会员查看完整内容
23

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
【AI+军事】 《冲突监测》附论文
专知会员服务
43+阅读 · 2022年4月27日
【AI+军事】最新22页PPT,解读人工智能军事应用
专知会员服务
301+阅读 · 2022年3月14日
深度伪造与检测技术综述(中文版),25页pdf
专知
13+阅读 · 2020年12月12日
国家自然科学基金
18+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年4月5日
Arxiv
14+阅读 · 2022年5月6日
Arxiv
49+阅读 · 2021年5月9日
已删除
Arxiv
31+阅读 · 2020年3月23日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
相关论文
微信扫码咨询专知VIP会员