西交大最新《ChatGPT:人工智能生成的内容、挑战与解决方案》综述

随着ChatGPT等大型人工智能（AI）模型的广泛应用，人工智能生成内容（AIGC）越来越受到关注，正引领着内容创建和知识表示的范式转变。AIGC使用生成性大型AI算法，根据用户提供的提示，以更快的速度和更低的成本辅助或替代人类创建大量的、高质量的、类似人类的内容。尽管AIGC最近取得了显著的进步，但其安全性、隐私性、道德和法律挑战仍需得到解决。本文深入调研了AIGC的工作原理、安全和隐私威胁、最先进的解决方案以及AIGC范式的未来挑战。具体而言，我们首先探讨了AIGC的启用技术、通用架构，并讨论其工作模式和关键特征。然后，我们调研了AIGC的安全和隐私威胁的分类，并强调了GPT和AIGC技术的道德和社会影响。此外，我们回顾了关于AIGC模型及其生成内容的可规范AIGC范式的最新AIGC水印方法。最后，我们确定了与AIGC相关的未来挑战和开放的研究方向。

https://www.zhuanzhi.ai/paper/b8bd2d1b3785e54627ad947b1997f5d9

1. 引言

人工智能生成内容（AIGC）指的是利用生成性AI算法来协助或替代人类，基于用户的输入或需求，以更快的速度和更低的成本创建丰富的个性化和高质量内容[1]-[3]。AIGC包含了广泛的合成内容，包括文本（如诗歌），图片（如艺术品），音频（如音乐），视频（如动画），增强训练样本和交互式3D内容（如虚拟化身，资产和环境）。作为传统内容创作范例，如专业生成内容（PGC）和用户生成内容（UGC）的补充，充满前景的AIGC范例允许以自动化和有效的方式生产大量的内容，且成本低[4]，这对各种新兴应用如元宇宙[5]和数字孪生[6]都非常有益。例如，在Roblox（一款交互式元宇宙游戏）中，AIGC可以为化身产生个性化皮肤和3D游戏场景，使用户能在一个沉浸式的虚拟空间中玩耍，合作和社交。根据Gartner的数据[7]，到2025年，生成性AI算法预计将生产约10%的所有数据。

从技术角度看，AIGC通常由两个阶段组成[3]：(i) 提取和理解用户的意图信息，以及 (ii) 根据提取的意图生成所需的内容。2022年11月，OpenAI发布了ChatGPT，这是一个多功能的语言模型，能够生成代码，编写故事，执行机器翻译，进行语义分析等等。到2023年1月，每天有近1300万用户在与ChatGPT交互[8]。ChatGPT是生成预训练Transformer（GPT）的一个变种，GPT是一个基于Transformer的大型语言模型（LLM），能够理解人类语言并创造类似人类的文本（例如，故事和文章）[9]，如图1所示。随着最近大型语言模型（如ChatGPT和其后继者GPT-4）的进步，AIGC的能力得到了显著加强，可以执行更复杂的任务（例如，多模态任务）并具有更高的准确性，这得益于LLM提供的更好的意图提取[10]。由于技术进步和需求增加，AIGC已经引起了全球的关注，并在娱乐，广告，艺术和教育等各种应用中展现出了巨大的潜力。包括OpenAI，Google，Microsoft，NVIDIA和百度在内的科技巨头都已经宣布他们将探索AIGC，并开发了他们自己的AIGC产品。

在AIGC时代，更大的数据集是"燃料"，更大的基础模型是"引擎"，而广泛的计算能力则起到了"加速器"的作用。对于从GPT-3.5模型微调的ChatGPT，其训练数据集包括近1万亿个词，大约45TB大小[11]，并且在预训练GPT中整合了自我监督学习，强化学习和提示学习等多种AI技术。ChatGPT的训练所需的计算能力大约是每天3640 PetaFLOPs，相当于每秒计算10万亿次，需要3640天才能完成[12]。在大数据，大模型和大计算能力的工程组合下，ChatGPT展示了强大的新功能和更高级模式的学习能力，并能根据用户的多模态提示自动创作有价值的内容。除了大规模训练数据和广泛计算能力带来的好处外，ChatGPT还整合了一系列新技术。例如，ChatGPT使用了思维链（CoT）提示[13]，这使得预训练的LLM能够通过逐步推理来解释其推理过程，在少示例和零示例学习设置中。此外，从人类反馈中的强化学习（RLHF）[14]被整合进来，通过训练一个包含人类反馈的奖励模型并通过强化学习对LLM进行微调，帮助ChatGPT更好地理解人类的偏好。更进一步的，在计算机视觉（CV）领域，由创业公司Stability AI开发的稳定扩散[15]和由OpenAI在2022年开发的DALL-E 2[16]已经成功地从复杂和多样的文本描述中生成高分辨率和自然看起来的图像。

A.动机 尽管AIGC的前景光明，但安全和隐私问题对其广泛应用构成了重大障碍。在AIGC服务的生命周期中，可能会出现一些安全漏洞、隐私泄露、信任问题和道德问题，这些问题可能源自普遍的数据收集，智能模型/数据盗窃，到大量的网络钓鱼邮件的分发。

• 安全漏洞。AIGC模型在生命周期的每个阶段都面临着安全威胁。例如，在模型训练过程中，攻击者可能使用有毒或敌对的样本来降低模型性能[17]，或发起后门攻击以操纵模型结果[18]；在模型部署后，攻击者可能通过智能模型盗窃攻击来窃取AIGC模型或其部分功能[19]。由于大型AIGC模型如ChatGPT采用的策略比通用模型更复杂，可能会出现更多的安全威胁（如越狱[20]和提示注入[21]），这些威胁可能是全新的。此外，生成型AI模型仍然面临着关于透明度、鲁棒性和偏见/歧视的技术限制。

• 隐私侵权。AIGC模型的成功在很大程度上依赖于可能无可避免地包含用户敏感和私人信息的大量训练数据集。例如，ChatGPT在与用户交互时，能够记住与会话相关的项目以及用户输入、cookie和日志[22]，[23]。这为在AIGC中的数据滥用和犯罪活动带来了新的可能。根据最近的一项研究[24]，对黑盒GPT-2模型，攻击者可以使用提示注入和公共文本特征从AI记忆中恢复最多67%的训练文本，包括个人名字、地址和电话号码。2023年3月，由于对隐私合规的担忧，意大利禁止使用ChatGPT[25]。

• 信任问题。AIGC技术的快速发展使得创造和传播虚假信息和假证据，如深度伪造内容和假新闻[26]变得越来越容易。这导致了新类型的犯罪活动的出现，如AI欺诈、诽谤、身份盗窃和冒充[27]。例如，ChatGPT可以产生误导和不道德的回应，具有恶意意图的个人可以利用其生成无瑕疵文本的能力进行欺诈，复制语音模式进行冒充，和开发恶意代码进行黑客攻击。这极大地增加了为由生成性AI模型产生的材料建立可追溯来源和规定的需求，以确保其问责制。

• 道德影响。作为一把双刃剑，AIGC技术也对人类社会产生了负面影响，并可能被滥用用于分发恶意软件、勒索软件和网络钓鱼邮件。例如，ChatGPT产生即时和令人信服的对话的能力可以使其更容易制作钓鱼邮件，诱骗收件人点击有害链接，下载恶意软件，或者泄露机密信息[28]。此外，AIGC可以促进课堂上的作弊，艺术中的抄袭，和学术论文的欺诈，使得这样的行为更容易被犯下，也更难被发现。

本文的其余部分按如下方式组织。在第二部分，我们介绍AIGC的工作原理。第三部分讨论了AIGC中安全和隐私问题的分类，以及最新的对策。第四部分介绍了AIGC模型和内容的IP保护和规定。第五部分探讨了未来的研究方向。最后，第六部分得出结论。本文的组织结构在图2中展示。

2. AI生成内容：工作原理

在这一部分，我们首先介绍AIGC的发展路线图和启用技术。然后，我们讨论内容创建范式以及知识表示和使用范式的范式转变。之后，我们展示了AIGC的一般架构，工作模式，关键特性，应用，以及现代原型。

如图3所示，人工智能生成内容即服务（AIGCaaS）的一般架构包括以下三层：（i）基础设施层，（ii）AIGC引擎层，和（iii）AIGC服务层。

• 基础层。随着大型AI模型（如参数达1750B的GPT-3）的规模持续扩大，对广泛的计算能力，强大的AI算法，和大量训练数据的需求日益增长。对于ChatGPT，大计算能力，大数据，和大模型的组合释放出了其在学习用户提供的多模态提示并自动生成高质量内容方面的强大的突现能力。AI算法包括AI框架（如TensorFlow，Pytorch，和Keras），有监督/无监督学习算法，和生成AI模型（如transformer和扩散模型）。配备了强大的GPU，TPU，AI芯片和大量存储的云服务器，使得基础AIGC模型的高效训练成为可能。所涉及的训练数据可以是已标注的数据，或从互联网收集的数据，可以是非结构化和多模态的。

• AIGC引擎层。多模态基础模型（如GPT-4）在大量的多模态数据上进行预训练，并能在不需要任务特定微调的情况下执行多种不同的任务[33]。此外，各种底层技术，如CoT提示，人类反馈的强化学习（RLHF），和多模态技术，都被集成到训练和优化基础模型中。多模态基础模型作为AIGCaaS的引擎，为上层AIGC服务赋予了越来越强的实时学习能力。此外，多模态基础模型可以通过与数十亿用户的实时和密集交互进行逐步的演化和优化，因为它允许从更多的私有数据（如用户输入和历史对话）以及个人和机构的反馈中学习[38]。

• AIGC服务层。从能力的角度看，AIGC服务包括生成文本，音频，图像，视频，代码，3D内容，数字人，和多模态内容。从终端用户的角度看，AIGC服务可以分为两种类型：ToB（面向业务）和ToC（面向消费者）。虽然基础模型为各种任务提供了一种一刀切的解决方案，但它可能在特定任务上的表现不如专用AI模型。① 对于ToB情况，一个机构或机构联盟可以通过在包含标注业务数据的较小数据集上对基础模型进行微调，训练出一个专用AI模型来执行特定任务，如医疗诊断或财务分析。例如，一个机构联盟可以通过联邦学习和迁移学习技术使用本地业务数据共同训练一个在基础模型之上的专用AI模型[39]。此外，还可以结合两种方法以获得更好的结果。例如，可以使用一个专用AI模型进行特定任务，并将其输出作为输入提供给基础模型，以生成更全面的响应。 ② 对于ToC情况，每个用户都可以定制一个网络分身[6]（即智能手机或PC中的程序），并使用自然语言与之交流。网络分身有自己的记忆存储用户的偏好，兴趣和历史行为，以及任务特定的专业知识。利用这些知识，网络分身为用户生成个性化的提示，从而提供高效和定制的AIGC服务。此外，它还实现了一个反馈环，用户可以对AI提供的建议进行评价。网络分身也可以通过构建一个连接的网络并自由分享所学习的知识和技能，来协同完成更复杂的任务[6]。 对于ToB和ToC两种情况，以伦理和保护隐私的方式处理个人和机构的私有数据都至关重要。此外，在提供AIGC服务时，保护基础模型和专用AI模型的知识产权，以及AI生成内容的出处，也是非常重要的。

在未来，AIGC有可能完全取代简单和非创新的人类工作，同时也加速了人机协作时代的到来。AIGC在内容生成方面有两种主要模式：辅助生成和自主生成[5]。

• AI-Assisted Content Creation（需要人类干预）。在这种模式下，AI算法为创造内容的人类提供建议或帮助。然后，人类可以根据AI提出的建议编辑和改进内容，以提高最终产品的质量。然而，这种模式在内容创建上往往比较慢且成本更高。

• Autonomous Content Creation by AI（不需要人类干预）。在这种模式下，AI完全自主地创造内容，没有任何人类的干预。AI机器人可以自主快速且低成本地创建大量内容，而产生的内容质量取决于生成的AI模型。

在此部分，我们将讨论不同类型的AI生成内容以及其应用： 1）文本生成。大型语言模型（LLM）可以比人类作者更快、更有效地生成高质量的文本 [10]。这包括博客、新闻、代码、文章、营销副本和产品描述。此外，它使聊天机器人和虚拟助手能够通过AI生成的文本以人类的方式与客户和客户进行沟通。 2）图像生成。大型视觉模型（LVM）可以将草图转化为数字绘制的图像，用于各种目的，包括创造视觉艺术、广告图片、游戏场景、驾驶模拟环境以及增加训练样本。 3）音频生成。AI生成的音频有着广泛的应用，包括语音合成、音乐创作和声音设计。如Amper Music这样的音乐创作AI程序，允许用户使用AI创建原创音乐。 4）视频生成。AI生成的视频可以广泛用于虚拟现实、增强现实、营销、广告、娱乐和教育等各种领域。 5）3D内容生成。AIGC可以通过分析照片和视频等真实世界的数据来创建逼真的3D模型，AI生成的3D模型可以用来创建动画、游戏资产和产品设计。 6）数字人生成。AIGC可以生成具有高度逼真动作和表情的数字人，可用于游戏、虚拟现实和广告等各种领域。 7）跨模态生成。AIGC中的跨模态内容生成指的是使用基础AIGC模型在多种模态之间生成新内容 [3]。它包括文本到图像、图像到文本、文本到代码、文本到视频、文本到音频等。 总的来说，AIGC让生活变得更加便捷和高效，但也带来了新的安全/隐私威胁、伦理问题以及潜在的偏见，这些将在下一节中展示。