赛尔译文 | 基础模型的机遇与风险 （八）
原文：On the Opportunities and Risks of Foundation Models 链接：https://arxiv.org/pdf/2108.07258.pdf 译者：哈工大 SCIR 张伟男，朱庆福，聂润泽，牟虹霖，赵伟翔，高靖龙，孙一恒，王昊淳，车万 翔（所有译者同等贡献） 转载须标注出处：哈工大 SCIR
编者按：近几年，预训练模型受到了学术界及工业界的广泛关注，对预训练语言模型的大量研究和应用也推动了自然语言处理新范式的产生和发展，进而影响到整个人工智能的研究和应用。近期，由斯坦福大学众多学者联合撰写的文章《On the Opportunities and Risks of Foundation Models》，将该模型定义为基础模型（Foundation Models），以明确定义其在人工智能发展过程中的作用和地位。文章介绍了基础模型的特性、能力、技术、应用以及社会影响等方面的内容，以此分析基于基础模型的人工智能研究和应用的发展现状及未来之路。鉴于该文章内容的前沿性、丰富性和权威性，我们（哈工大 SCIR 公众号）将其翻译为中文，希望有助于各位对基础模型感兴趣、并想了解其最新进展和未来发展的读者。因原文篇幅长达 200 余页，译文将采用连载的方式发表于哈工大 SCIR 公众号，敬请关注及提出宝贵的意见！
-
引言 -
能力 -
应用 -
技术 -
社会 -
结论
5.社会
5.4 合法性
Authors: Neel Guha, Peter Henderson, Lucia Zheng, Mark Krass, Daniel E. Ho
在本章节中，我们将描述美国法律如何影响、约束或促进基础模型的创造和使用。2我们注意到围绕算法工具的法律环境仍然不确定。我们强调了与 (1) 模型训练、(2) 模型预测的责任和 (3) 对模型输出的保护有关的问题。
2 我们这里的观点基于美国法规和法律框架上。因此，关于基础模型对其他国家的影响的讨论可能需要采取不同的观点。
尽管了解法律如何影响基础模型至关重要，但更重要的是要认识到法律不能成为我们评估基础模型的构建、维护和使用的唯一视角。如果需要了解法律允许的基础模型应用在哪些方面可能仍然不足够明智，道德框架的约束就显得必要，因为它们会造成一定的危害，上述内容也会在 §5.6: 规模伦理和 §5.1: 不平等和公平中进行更深入的讨论。研究滥用的可能性和可能的安全问题（参见 §5.2: 滥用和 §4.7: 安全和隐私）对于预防产生有害结果至关重要，这与法律机制经常提供的事后处理机制正好相反。
5.4.1 训练
训练基础模型将需要积累大量的多模态数据，从而引发有关数据收集和数据使用的问题。
首先，模型创建者通过网络爬虫来扩增数据集的能力将受到法院条款的约束，值得一提的是美国计算机欺诈和滥用法案 (CFAA)，该法案将“未经授权”的服务器访问定义为刑事犯罪[Wajert and Rottman 2019]。法院在这些问题上还存在一些冲突，最近的案件一直在探寻何种情况下网络爬虫是被禁止的。3数据访问的限制将从根本上影响数据从业者可用于训练基础模型数据的多样性 [Levendowski 2018]。
3 Van Buren v. United States, 141 S.Ct. 1648 (2021).
其次，训练集中的大部分数据都将受到版权保护，甚是可能是知识产权法的保护。然而，版权法承认个人可能被允许使用受版权保护的材料这一例外情况。4一些学者认为训练数据集的法律许可性将在很大程度上取决于法院是否将模型训练过程解释为合理使用原则下的“改造”[Lemley and Casey 2020]。虽然什么是改造很大程度上取决于上下文，但一般的原则是改造性使用是指那些“添加新的内容，并具有更进一步的目的或不同的特性，且不是替代作品的原始用途”[Office 2021]。最近发布的 Github Copilot 工具已经将这些议题带到了我们面前 [Gershgorn 2021]。
4 参见, 例如, 17 USC §107 to 112.
最后，一些训练数据集可能会违反隐私法。例如，伊利诺伊州允许个人来起诉不当的数据收集或生物识别数据的使用（例如，视网膜或虹膜扫描、指纹、声纹、掌纹或面部识别）。5外国隐私法，如欧盟的通用数据保护条例 (GDPR) — 如果数据集中包含来自欧盟公民的信息 — 将要求数据所有人必须了解数据收集的目的。法律可能会引出更多的问题，如加州消费者保护隐私法案 (CCPA) ，该法案为个人提供了“被遗忘的权利（right to be forgotten）”，引发了关于模型创建者是否需要从模型中“删除”训练数据的问题 [Villaronga et al. 2018;Ginart et al. 2019]。
5 IBM 是一个当前进行的集体诉讼的被告，原告声称 IBM 收集和使用这些数据（包括用于机器视觉目的）违反了本法规。参见集体诉讼投诉 2, Vance v. Int’l Bus。Machines Corp., No. 20 C 577（ND Ill. 于 2020 年 1 月 24 日提交）。
5.4.2 结果责任
尽管基础模型本身与任务无关，但经过微调的模型 — 或由基础模型本身学习的表示 — 可用于传统的预测任务。当这些任务构成更大决策系统的组成部分时，基础模型将因此影响行为、决策或政策。当上述这些造成伤害时，模型创建者 — 和操作它们的个人 — 可能要承担法律责任。
将基础模型嵌入物理系统（例如自动驾驶汽车、电网管理系统、医疗诊断等）可能会对个人造成身体伤害。在这里，法院可能会根据侵权原则解决责任问题 [Lemley and Casey2019; Selbst 2020]。关键的待解决的问题包括用户、基础模型提供商和应用程序开发商责任之间的相互作用，以及法院将用于评估基础模型风险状况的标准。在特别敏感的领域（例如医学）中的部署模型将需要监管部门的批准，并需要开发标准化流程来评估其中的安全性 [Wu et al. 2021g]。
根据受保护的公民属性（例如种族、性别）对个人进行分类的微调过的基础模型可能面临民权法下的挑战。学者们指出，在招聘、住房或信贷贷款等背景下基础模型可能会产生差别对待的情况 [Gillis and Spiess 2019; Scherer et al. 2019]，而且也尚不清楚法院究竟将如何裁决这些问题。再例如，学者们指出法院对“歧视”的传统观点实际上会阻止机器学习从业者使用许多的算法公平的技术 [Xiang 2021; Ho and Xiang 2020]。6
6 更多有关模型如何嵌入特定偏见的信息请参阅 §5.1: 不平等和公平。
美国法律承认对政府部门特殊的特权和限制。因此，政府部门 — 在地方、州或联邦级别 — 使用基础模型时，除了平等保护要求之外，还涉及到一些特殊的考虑。在应用于风险评估 — 或其他导致剥夺生命、自由或财产 — 中时，基础模型将引起程序性正当的诉讼请求。7例如，当行政机构（例如环境保护局）使用模型时，原告可能会声称模型的使用违反了正当程序、合理性/非任意性和透明度的基本标准。
7 程序性正当的法律程序通常承认原告在任何会剥夺他们生命、自由或财产的审议期间的基本权利（例如盘问不利证人的权利）。
5.4.3 模型结果的合法保护
模型输出 — 以及对负责的模型创建者 — 也可以获得某些法律保护。首先，生成模型产生的内容可能涉及言论自由问题。目前尚不明确法院会在何种程度上对机器生成的内容依据第一修正案进行保护。学者们还讨论了许多悬而未决的问题，包括“人工智能的言论”是否应该受到保护 [Massaro et al. 2016] 或者模型输出的事实上是否是人类程序员的言论 [Kajbaf 2019]。还有一些人还注意到资料公开的可能性（类似于药物等的安全信息披露），这也涉及言论主义的问题，在这种情况下，模型将被迫对使用者告知其内容是由机器生成的 [Lamo and Calo 2019]。这些问题可能会产生影响广泛的后果，并决定了个人是否可以使用基础模型来批量生成言论，或者模型创建者是否要对基础模型生成的内容负责。
其次，模型输出内容的所有权也存在不确定性。现有的版权法不将计算机程序视为作者，因此，不对计算机程序创建的“作品”提供版权保护 [Grimmelmann 2015]。在这种情况下，学者们提出了一系列方法。有些人认为，根据情况，计算机程序的人类创建者及其人类用户都可能声称自己是程序输出内容的“作者”[Ginsburg and Budiardjo 2019]。
随着模型越来越多地用于“创作”过程 — 从艺术创作到新闻填充等更一般的使用场景 — ，关于机器生成内容所有权的争议将变得更加常见。
虽然我们上面的分析只是简要阐述了基础模型所涉及的法律问题，但这些问题的解决对于基础模型的构建、使用和部署都至关重要，或者借用 Larry Lessig 的话来说，“代码即是法律（Code is law.）”[Lessig 2000]。
5.5 经济
Authors: Zanele Munyikwa, Mina Lee, Erik Brynjolfsson
基础模型有潜力通过提高生产力和创新来显著提高整体生活水平。这些模型可以用来替代人工或者帮助人类发现新的任务和机会，这样可能导致所有权和权力更加集中或者分散。在更广泛的层面上，最终的结果可能是由于潜在的中心化（§5.1: 不平等和公平、§5.6: 规模伦理）而导致不平等的加剧，或者由于基础模型更容易适配多样的应用而带来更广泛的共享繁荣（§1: 引言）。所有这些方面的最终效果都不是由技术或经济决定，而是由技术人员、决策者、管理人员、产业工人和其他社会参与者的选择和行动共同决定的。
基础模型可以视为经济学家所说的通用技术 (general-purpose technology)[Bresnahan andTrajtenberg 1995]。通用技术是指像是蒸汽机、电力等可以推动技术转型和生产力增长浪潮的技术，因其具有的普遍性、随时间不断改进且还会产生互补创新（围绕一个核心产品的一系列产品和服务）。虽然目前基础模型可能还并不普遍，但它们似乎已经具备好成为广泛应用的技术创新的基础，并具有通用技术的关键标志。因此，基础模型可能具有重要的经济意义。在考虑基础模型对经济的影响时，我们将重点关注三个广泛的影响领域：生产力、收入不平等以及所有权问题。
5.5.1 生产力和创新
基础模型可能会大幅提高生产力和创新。生产力的增长是提高生活水平的主要因素之一，因为它增加了国家的财富并可以解决从贫困、医疗再到环境和教育等一系列挑战性问题。
生产力被定义为每单位投入的产出。8提高生产力的一种方法是减少分母；例如，让公司的广告用更少的文案撰写人或每个文案撰写人用更少的劳动时间来撰写，从而降低了投入的单位数量。还可以通过增加分子来提高生产力，例如让软件开发人员能够在给定时间内写出更多代码。如果分子的增长足够大，即便生产效率得到了提高，也会吸引更多的人从事软件开发 [Autor 2015]。在许多任务中，我们已经观察到机器学习系统提高了生产力。例如，面向临床文档的自动补全系统将临床概念的键盘输入负担减少了 67% [Gopinathet al. 2020]。同样，基础模型影响生产力的潜力几乎涵盖所有工业以及许多职业。仅考虑语言相关的行业一项，美国劳工部 O*NET 数据库对美国职业的分析表明，许多语言相关的职业可能会受到基础模型的影响。大约 13% 的职业的主要任务与写作相关，这些职业的总工资（平均年薪乘以该职业的就业人数）超过 6750 亿美元。然而，基础模型的潜在影响不仅体现在语言相关的行业中，它们还将影响医学图像诊断、平面设计、音乐9等等很多其他任务（只要任务特点是人类需要创造出的东西类似于已经存在的其他东西）[Winkler et al.2019; Ramesh et al. 2021]。
8 注意，当评价合理时，生产力不仅仅是统计生产的单位或工作小时数的问题，而且还需要考虑了质量的变化。因此，对于固定的劳动量，质量的提高，例如更加有趣的小说创作，也属于生产力的提高。
9 https://www.landr.com/
脑洞大开的话，也许基础模型最深刻的影响是它们增强创造力和提高创新速度的潜力。例如，DALL·E [Ramesh et al. 2021] 可以改变插图市场，就像廉价相机彻底改变摄影一样。如果这些模型使人类能够开发出新的方法来编写歌曲和小说（§2.5: 交互），发现药物分子的变体（§3.1: 医疗保健和生物医学），扩展专利（§3.2: 法律），构建创新性的软件应用程序，或开发新的业务流程，那么不仅生产力的水平而且生产力的增长速度也会增加。这样的话，基础模型就具备了 Paul Romer 增长模型 [Romer 1990] 甚至是元思想（关于想法的想法）中思想或蓝图的一些特征，与大多数其他商品不同，模型是非竞争性的，从而加速了增长。
值得注意的是，生产力的变化在官方的统计数据中并不总是可见的，因为投入和产出的很多方面都难以计算 [Brynjolfsson and Collis 2019]。因此，传统的生产力指标、国内生产总值 (GDP) 或者价格水平（商品和服务的当前价格的平均值）等相关指标无法完全表现出基础模型的成本和收益。从历史上看，对于通用技术尤其如此，因为它们是一连串二次创新的催化剂，这些创新通常会改变经济中的商品和服务类型，甚至改变几年甚至几十年的生产和创新。
5.5.2 收入不平等
即使基础模型提高了平均生产力或收入，也没有经济规律可以保证每个人都会从中受益，这是因为并非所有任务都会受到相同程度的影响。更重要的是，无论生产率增长如何，基础模型对劳动力需求（以及就业和工资）的影响可能是正面的也可以是负面的 [Brynjolfssonand McAfee 2011; Brynjolfsson and Mitchell 2017]。当一项技术替代人工完成任务时，它往往会减少对完成这些任务工人数量的需求，这就抑制了就业和收入。然而，当一项技术可以补充劳动力，或促进新的机会或任务时，它往往会增加劳动力需求 [Acemoglu and Restrepo2019]。就业机会可能（而且经常）增多，即使生产力提高。例如，飞机的发明创造了对新职业——飞行员的需求。反过来，喷气发动机的发展是对人类飞行员的补充，进一步增加了对他们的需求。类似地，基础模型对就业、工资和收入不平等的影响将因使用方式而异。
工业革命主要改变了体力劳动的方式，而基础模型可能会改变涉及认知的任务，如内容创建和交流。总的来说，由于基础模型是通常具有强大生成能力，我们认为它们将能够在许多创造性环境中提升人类的能力，而不是取代人类，因为这些模型独立应用于开放式生成任务时仍然存在显著的限制 [See et al. 2019]。正如我们在 §2.5: 交互 中所描述的，基础模型还可以帮助用户共同构建新颖的艺术形式或更有效地构建新应用程序的原型。流畅的人机交互和人工介入的交互将需要界面设计（§2.5: 交互）的进步以及可解释性（§4.11: 可解释性）和稳健性（§4.8: 对分布变化的鲁棒性）方面的的根本性改进，以便人类可以理解模型行为并期待模型在不同的环境中都可以表现良好。
5.5.3 中心化
基础模型经济影响的另一个关键决定因素是谁拥有数据和模型。特别是，迄今为止，推动基础模型不断发展的主要是大型企业。因此，数据和模型的所有权通常高度集中，从而导致市场集中（§5.6: 规模伦理），这也会导致决策权等权力的显著集中，从而减少那些没有所有权群体的收入和机会。为了平衡这种中心化，已经有多方草根势力在努力进行开源人工智能研究，例如 Masakhane、EleutherAI 和 HuggingFace，或通过分布式训练构建基础模型。然而，由于基础模型依赖大量数据和计算资源（§5.3: 环境），工业界可以训练的私有模型与对社区开放的模型之间的差距可能仍然很大。10
10 Lambda Lab 估计 GPT-3 的训练成本超过 460 万美元，研发成本在 1140 万美元到 2760 万美元之间，运行 GPT-3所需的硬件成本在 10 万美元到 15 万美元之间，以上不考虑其他成本（电力、冷却、备份等），其上线后的运行成本至少为 87,000 美元/年。(https://bdtechtalks.com/2020/09/21/gpt-3-economy-business-model)
5.5.4 其他因素
简短的本章节并不是要全面地介绍基础模型的所有经济影响。除了影响生产力、收入不平等和所有权之外，基础模型也可能对工作质量和工作满意度产生巨大的影响。例如，它们可能通过自动且重复的、无趣的工作部分来提高工作满意度，或者通过加快工作节奏来降低满意度，从而导致更频繁的工作倦怠。正如 §5.1: 不平等和公平 和 §5.6: 规模伦理 中所讨论的，基础模型还可以以意想不到的方式放大和延续偏见，又或者用作减少偏见的工具。基础模型还可以促进全球贸易和远程工作，正如早期机器翻译系统的使用在相关领域产生了显著影响 [例如 Brynjolfsson et al. 2019]。基础模型还可能对环境存在显著的影响（§5.3: 环 境），并且对经济环境中职业变化和业务转型的速度及其方向有着可预见的和意料之外的影响。更笼统地说，考虑到基础模型的涌现能力，我们应该想到未来充满难以预测的各种未知可能，还可能会产生实质性的后续影响。11
11 作为次生效应的一个例子，汽车的发明影响了郊区的发展和扩张。
总之，基础模型有望成为我们这个时代重要的通用技术，它们可能大幅提高生活水平，但同时也会带来不平等的加剧和权力集中的风险。这些技术的经济影响不是预先确定的，而是取决于技术人员、政策制定者、管理人员、产业工人和其他利益相关者如何应对以下挑战：
• 我们如何利用基础模型的潜力来提高生产力？
• 我们能否开发出增强创造力和提高创新速度的模型？
• 利益和控制权是否集中于少数人还是被大家共享？了解这些系统的经济潜力是引导它们朝着符合我们价值观方向发展的第一步。
5.6 规模伦理
Authors: Kathleen Creel, Dallas Card, Rose E. Wang, Isabelle Levent, Alex Tamkin, Armin W.Thomas, Lauren Gillespie, Rishi Bommasani, Rob Reich
基础模型的广泛使用带来了伦理、社会和政治方面的挑战，此外还有对不平等加剧的担忧，这是 §5.1: 不平等和公平 的主题。在本章中，我们将讨论与基础模型的应用规模相关的社会、政治和伦理风险，例如同质化和权力集中、解决这些问题的规范和发布策略，以及因基础模型的开发和部署带来的对更广泛的政治经济方面的担忧。
5.6.1 同质化和规模化
如果同一模型仅以很小的改变就可以在各种领域中迁移，那么原始模型的优势、劣势、偏见和特质都将被放大（§5.1: 不平等和公平），任何标准化技术的广泛应用和依赖都是如此，类似于许多汽车或飞机中使用的零件制造失误可能会在各个行业产生深远而严重的后果，基础模型的服务 内在的偏见或错误都可能会向外蔓延。然而，当前基础模型的不可解释性（§4.11: 可解释性）及其与任务无关的训练使得预测、理解和解决这些问题变得十分具有挑战性。如果基础模型被广泛采用，那么基础模型开发人员比标准模型开发人员承担更大的责任，因为他们在设计和部署中的选择具有普遍的影响 [Arendt 1987]。
基础模型的定义特征 — 其有效地适配多种任务的能力 — 使得它们很可能被广泛用于各种的社会意义很大的任务。与当前分布式和多样化的决策模型相比，将同一基础模型的许多变种应用于多个自动化决策任务意味着决策主体可能面临植根于底层基础模型的更为同质的判断集。
这种单一算法 [Kleinberg and Raghavan 2021] 可能导致若干个体决策主体 [Gandy 2021]一致且武断的排斥、错误分类或不公正对待，我们将上述情况称为 同质化 [Creel and Hellman2021]。例如，§4.6.2: 数据-解决方案 讨论了导致数据子集中出现我们不愿看到的行为的数据质量问题，其中数据子集可以由对数据进行分化的任何形式的过滤器产生，包括社会群体（参见 §4.11.1: 可解释性-表征行为 和 §4.8.1: 鲁棒性-优势）。在数据质量工具（§4.6.2: 数据-解决方案）的性能和识别模型表现不佳的数据片段能力得到提高之前 [Chung et al. 2019; Goelet al. 2021]，基础模型可能始终无法为一部分人提供准确的信息或服务（另请参见 §4.8: 对分布变化的鲁棒性）。
同质化有可能放大偏见、标准化偏见、加剧不公正并放大专断的排斥 [Creel and Hellman2021; Gandy 2021]。例如，Zhou et al. [2021a] 认为 BERT 编码了一个以盎格鲁为中心（Anglocentric）的相似性度量 作为默认，如果在应用基础模型的上下文中应用该度量方法可能是有害的。跨领域应用基础模型有可能成为一种认知和文化同质化的力量，在多个应用领域传播一个隐含的观点，通常也是社会主流的观点。
由于需要大量未标记和标记的数据，现有的训练语料库标准化的趋势可能会在基础模型中加剧。就模型在相似数据上进行训练而言，它们可能会获得相似的行为模式、偏见（§5.1.3: 不平等和公平-资源）和错误。以前的高强度数据管理和标记工作，例如 ImageNet，已经标准化了训练语料库。在上述过程中，他们也标准化了错误：在 ImageNet 上训练的模型通常依赖于相同的“虚假线索”和“捷径”，例如使用绿草等背景纹理来预测前景对象类别，例如奶牛 [Geirhos et al. 2020; Hendrycks et al. 2021e]。尽管它们对许多类型的分布变化（§4.8.1: 鲁棒性-优势）具有更高的稳健性，但基础模型和其他大型模型学习虚假相关性（§4.8.2: 鲁棒性-挑战）的可能性并没有降低，因此如果在相同的数据集上训练，也很可能学习类似的错误。由于选择公开可用的未标记数据，类似的影响可能会出现。许多基础模型都在未标记的语料库上进行训练，这些语料库因为其便利性和可访问性而被选择，例如公开的互联网数据 [Caswell et al. 2021]，而不是因为它们的质量好。然而，如 [Marr 2017] 和§4.6.1: 数据-需求 中所讨论的，可公开访问的数据，无论是标记的还是未标记的，在许多私有的基础模型的训练语料库中的重要性都没有私有数据高。因此，需要更多的关于相似数据的训练在多大程度上使基础模型内的相关性同质化的研究，以及关于这种同质化可能导致模型迁移后的各种变体出现一致性错误的程度的研究（除非应用约束来消除每次迁移过程的行为，如§4.3.3: 适配-使用实例 中的讨论）。
同质化并非是不可避免的。随着模型开发人员有意扩大其数据集的立场多样性（§5.1.3: 不平等和公平-资源），基础模型在用于生成任务时提供多种视角的能力也亟需更多的研究。例如，Sheng et al. [2021] 已经证明，采用特定人口群体“角色”的对话系统在衡量社会偏见时的表现不同。除了应以避免偏见为目标进行“人物角色”的选择之外，各种根据认知和人口类型不同带来的“人物角色”多样性还可用于为生成任务生成更多样且连贯的输出。关于如何平衡输出的多样性与个人用户的相关性和实用性，仍有许多悬而未决的问题。12
12 可能的实现方法请参阅 [Keskar et al. 2019] 和§4.3.3: 适配-使用实例中可控生成的讨论和 [Dinan et al. 2021] 中综合性的讨论。
5.6.2 监视、排斥和权力
基础模型的一个关键前提是大量未标注数据可以与大量的计算资源相结合，以打造一个基础，从中可以为各种应用衍生出大量产品。这种模式的转变有可能改变社会结构并转移权力，建立或巩固模型创建者的影响力 [Zimmerman 2020]。我们将在下面讨论三个潜在的影响。
大量数据收集和监视 虽然收集标注数据集通常需要与领域专家合作并了解此类数据的问题和局限性，但训练基础模型中对大量数据的需求促使一些研究人员强调 数量而不是质量。13尽管预处理可以帮助提高这些数据 [例如 Brown et al. 2020] 的质量，但涉及的数据规模需要自动化方法，而这些方法一般是比较直白生硬或没有充分记录的 [Dodge et al. 2021]。
13 例如，Ding et al. [2021] 收集了 3000 万个文本-图像对，选择不解决诸如水印和白边之类的噪声，尽管它们对模型质量有影响。
尽管关于数据保护的立法（例如欧洲的 GDPR）不断推进，但在获取数据时继续使用各种存在问题的做法，包括不透明的政策 [Obar and Oeldorf-Hirsch 2020] 和“暗模式”的使用（例如, 控制界面 [Narayanan et al. 2020]）完全违反服务条款。事实上，这实质上是 ClearviewAI 公司采取的策略，该公司未经用户同意，违反平台服务条款，从社交媒体上抓取照片，以开发面部分类软件。尽管如此，该公司还是能够将这项技术出售给警察部门和其他组织，在许多情况下，州立法者或部门负责人 [Mac et al. 2021] 对上述情况都不知情。在某种程度上，基础模型的模式增加了在任何特定领域首先拥有尽可能大数据集的价值，可能会进一步鼓励参与者进行积极的数据收集，即使这种追求在法律上是存在问题的，或者与用户的期望背道而驰 [Nissenbaum 2009; Zuboff 2018]。
数据对基础模型的重要性还意味着已经从事大范围数据收集的组织将在开发此类模型方面处于有利地位，并且可能有动力保持这一优势。就衍生产品本身可用于收集额外数据（例如在监控或健康诊断应用中）而言，基础模型的开发人员可能会想办法确保他们获得此类数据的所有权。因此，尽管基础模型范式的一个关键优势是能够生成适配的模型变体，但基础模型的开发人员可能会想尽办法来确保数据可以从所有适配的模型变体反馈到他们手中。14
14 举一个更简单的例子，考虑信用评分行业，这一行业已经形成了当人们使用其产品（如审查贷款申请）时信息流回中心的数据经纪人，而个人别无选择，只能接受的模式 [Lauer 2017]。
权力的集中 尽管随着时间的推移，计算的绝对成本已经变得非常便宜，但目前最大的基础模型的训练过程所需要的计算资源使得它们的开发超出了绝大多数机构和组织的能力（§5.3: 环境）。因此，谁可以访问相关计算资源和数据的问题可能会决定谁能够在未来几年内打造出尖端的基础模型（另见 §5.5.3: 经济-中心化）。
GPT-3 至少部分上来说是规模上的实验，表明可以通过扩大模型大小、数据量和训练时间来实现显著的性能提升，而无需进行重大的模型创新。尽管有大量正在进行的研究致力于减少训练此类模型所需的资源量（参见 §4.2: 训练），但 OpenAI 的工作表明，从更大规模的训练 [Kaplan et al. 2020] 中仍然可以获得收益，其他组织可能在其他领域遵循这条道路也似乎是合理的（例如 [Lieber et al. 2021]）。
如果规模确实是成功的关键，那么最有能力生产具有竞争力的基础模型的组织将会是资源最丰富的：风险投资的初创企业、已经占据主导地位的科技巨头和国家政府。这引发了对市场集中的潜在担忧，并可能表明目前在极端资本密集型行业（例如国防和半导体制造 [Carril and Duggan 2020]）中存在寡头垄断的情况。
此外，这种权力的集中引起了人们对当前被边缘化的个人和社区参与基础模型开发过程 [Kalluri 2020] 能力的担忧。特别是在政府服务领域，基础模型的采用可以进一步将决策权从政府转移到企业服务提供商，并为程序正当性和问责制引入额外的障碍 [Citron 2008]。尽管如此，更多的草根势力（例如 Masakhane、EleutherAI、HuggingFace）提供了令人振奋的替代方案，并且在整合参与性或价值敏感设计 [Friedman and Hendry 2019; Prabhakaran andDonald Martin 2020] 方面有大量工作。
推动普遍的自动化决策 近年来，自动化决策系统在工业界和政府部门 [O'Neil 2016; Engstromet al. 2020] 中的使用急速增多。尽管对此类自动化的许多担忧并非局限于基础模型，但 GPT-3等模型的生成能力以及在基准任务上的出色表现（例如Devlin et al. [2019]），有可能促使如行政机构等不太谨慎地采用这项技术，而上述机构缺乏理解复杂机器学习系统必要的技术知识 [Calo and Citron 2021]。因此，就基础模型的实际能力和局限性进行清晰有效的沟通显得尤为重要。
大多数自动化决策系统将作为更普遍的社会技术系统的一部分而存在，人类在其中也发挥着关键作用 [Selbst et al. 2018]。15因此，即使标准化评估性能的大幅提升也无法保证会转化为现实世界中的预期结果（特别是如果系统部署时没有经过仔细考虑或持续性的评估）。例如，研究表明，法官在解释风险评估系统的输出时 [Albright 2019] 可能会重新施加种族偏见，再或者以其他方式强加他们自己的偏见 [Stevenson and Doleac 2021]。从这方面来说，具有适当生态有效性的持续评估 [de Vries et al. 2020] 将是至关重要的，但在没有足够证据的情况下 [Ferguson 2017]，可能也无法阻止大家使用具有潜在危险的或昂贵的系统。有关拒绝模型方法的研究正在进行中：即个人在不引起任何不良影响的前提下，可以选择不参与到基础模型及适配的模型变体的方法，无论个人作为数据还是决策主体 [Benjamin 2016]。
15 关于人类如何与自动化的判断进行交互的扩展研究，包括对正面和负面自动形成偏见的讨论，见 Hidalgo[2021]。
简言之，一旦部署了基础模型，就会在其功能中发现算法决策现存的问题。在某种程度上，采用基础模型加速了从人类决策到机器决策的转变，基础模型更强调了对自动化的关注。尽管这些挑战并没有简单的解决方案，但以下几点十分重要：要质疑基础模型将如何影响关于其生成内容的对话的影响力；与民间社会组织、政策制定者和人民就此类系统的能力和局限性进行沟通；并努力在社会不同阶层之间就此类模式的使用进行更广泛的对话。
5.6.3 规范
公共政策和法律的正式监管（§5.4: 合法性）在创建技术创新基础设施以及减轻广泛传播技术的潜在有害影响方面发挥着重要作用。正如塔斯基吉梅毒实验的进行与科研协议以及如 IRB 等的机构的发展之间长达数十年的滞后性所表明的那样，保护人类主体和利益相关者的公共政策往往落后于公众意识和对他们造成伤害的证据 [Grady 2015; Stark 2012;Department of Health and Welfare 1979]。因此，社会依赖于包含责任制的软件开发和部署的专业性的规范。
规范存在于建议和要求之间的连续体上。作为一项新兴技术，负责任的基础模型开发和部署的规范还没有在任何强度的建议 [Crootof 2019] 下建立起来。在接下来的内容中，我们将讨论已部署模型的规范，因为研究用途的模型涉及到的范围更广。
那些希望基础模型的开发人员采用某些规范的人可能需要以身作则，让他们自己的行为和言论形成规范。正如 §1.2: 生态系统 中所讨论的，我们认为大学和其他非营利机构在为基础模型建模规范方面起着重要作用。作为教育机构，大学处于很独特的地位，它们会鼓励下一代理论或实践科学家思考本报告中提出的问题，并促进研究人员和学生之间的跨学科对话 [Rogers 2021]。大学和学院还可以通过审核现有的基础模型并发布其调查结果、设立道德审查委员会 [Bernstein et al. 2021] 以及开发自己的基础模型，为规范的建立做出贡献。
设计和使用规范需要在资助架构、模型存储、发布实践、会议提交和拨款提案要求等方面进行制度化。16例如，HuggingFace 的界面目前鼓励发布数据和模型卡片，包括对于偏见和社会影响的讨论。17由于它不是必需的，而且可能因为数据的质量相对于数据的重要性来说 [Sambasivan et al. 2021] 并不是十分重要，所以很少被提出。偏见和社会影响包含在会议的道德声明和某些形式的标准评估中（如 §4.4: 评估 中所述），但在其他方面被一些研究人员视为非强制性的考虑因素，这一点必须有所改变。
16 对于部分遵守“非强制性公平意识政策”的有益讨论，例如此处讨论的规范，请参阅 Dai et al. [2021]。
17 https://huggingface.co/docs/datasets/master/
对于某些有社会影响的实例，我们建议建立法律标准，要求适配的模型变体证明其相关的属性（§5.4: 合法性）。特别关注的领域尽管应由民主的方式决定，但可能包括分配政府服务、医疗诊断和监测、雇用和借贷等：在所有环境中，人们的机会甚至生活都依赖于适配的模型变体的正常运作。
我们应该促进、制度化或需要哪些规范呢？我们在这里推荐一些，但主要目的是鼓励针对开发和使用基础模型所需的规范开展对话。之前的工作主要集中在提倡文档的规范上 [Gebru et al. 2018; Bender and Friedman 2018; Mitchell et al. 2019; Dodge et al. 2019]。由于出现在下游环境中的许多负面社会影响最初可能看起来是 外来的或针对于特别的用例的（§5.1: 不平等和公平），因此文档和透明度对于基础模型尤为重要。目前，一些相关人员可以记录到适配的模型变体中存在的偏见或者其他负面的特征，但却没有可以向基础模型开发人员报告他们所发现问题的渠道。搜集适配的模型变体中相关问题的各种报告可能会让模型开发团队发现模型的 内在属性，这样的属性会横跨多个用例。由于适配的模型变体的创建者通常代表着与基础模型开发者或提供者不同的机构，因此此类的反馈需要额外的报告机制和规范或法规才能将信息传达至基础模型开发者。此类反馈也可以提供给普通的模型审计人员，从而使审计和追索更容易实现。
对规范、标准和创建报告机制的公开投入也会允许下游用户向基础模型提供者提交反馈，为了实现这一点，应以允许受影响的一方追溯问题源头的方式持续地标注适配的模型变体。在实践中，重大的技术和社会障碍可能会阻碍这种追踪，例如从隐私角度的考量和许多基础模型的本身的性质，但如果完全不标注是不可能的。
模型开发者和供应商为这样的报告提供机制非常重要。报告机制可以基于当前平台上已有的类似形式，例如 GitHub 上开源项目的问题跟踪。特别的是，提交的问题应该是公开的，以便其他用户识别到当前的趋势，哪怕尚未进行任何更改，并且开发人员和提供商需要对未解决的问题负责。此外还需要额外的机制将这样的趋势向上汇总给基础模型提供者。Dinan et al. [2021] 和 §4.6: 数据 中讨论了关于训练数据中跟踪问题的类似建议。
营养标签作为一种有用的模型，借鉴了消费者隐私 [Kelley et al. 2009] 中的标签讨论。营养标签包括“原始”成分清单和加工食品的完整营养信息。模型卡 [Mitchell et al. 2019] 或适配的模型变体的营养标签也可以包括“原材料”列表，例如使用的训练数据和基础模型，以及适配的模型变体完整的“营养成分”，例如其已知的能力、弱点和偏见等。
上报完整的流程是十分必要的，以便数据主体和受影响的各方将危害追踪到其来源。然而，如果没有能力对模型适配后的变体、基础模型或上述两者造成的损害进行责任划归，并且没有追索的机制的话，哪怕危害可以被归因，即使成功地追踪到损害也不太可能让模型产生改变（另见§5.1.3: 不平等和公平-资源）。因此，需要大量的技术、政策和法律相关的工作，以开发将数据、模型及其变体的内容传达给其他专家并最终传达给公众的模式框架；根据造成的损害追究责任；并开辟追索的途径。
5.6.4 发布与审计
2019 年 2 月，OpenAI 开展了一项实验，通过发布参数减少到 124M 的 GPT-2 模型，且并没有发布数据集，他们希望争取时间：包括测试偏见的时间，准备面对滥用的时间，以及社会可以适配大型语言模型的时间 [Solaiman et al. 2019]。八个月后，当 OpenAI 发布价值∼15 亿美元的完整参数版本的 GPT-2 时，测试暴露了该模型的一些功能和局限性，但绝不是全部。今天在考虑类似问题时，由于发布模型可能带来的危害主要集中在滥用方面 (§5.2: 滥 用)18，所以必须权衡透明度带来的好处和可能造成的滥用，这是闭门测试无法复制的，即更广泛和独立的审计和授权访问。
18 有关滥用危害的分析，请参阅关于虚假新闻的 [Rini 2017] 和关于深度伪造的 [Rini 2020]。
审计 审计员探寻了当前模型的局限性，并提供了解决问题的方法，以及在多样性比较强的设置条件下测试适配的模型变体。审计的开放访问策略使得数量更多且多样化更强的研究人员可以调查任何模型的偏见，局限性和安全漏洞，更好地展现可接受的模型使用情况并校正对其的信任程度 [Danks 2019; Baier 1986]。19
19 校正信任可能需要一个能够表现模型与信任相关特征的解释，例如敏感功能的歧视性使用 [Dimanov et al.2020]。为了支持基础模型的独立审计，模型的开发人员或第三方中介机构可以为审核人员开放 API 权限，包括梯度的访问，并开放训练数据的访问 [Raji and Buolamwini 2019; Raji et al. 2020]。
在工业界的专有数据训练的基础模型不太可能被发布出来，并且在隐私数据（如医学环境下的数据）训练出的模型也不应该被发布。为了专有模型从独立审计中受益，并且为了模型主体可以从模型根据审计过程得到的改进受益，我们建议审核应该在阶段性发布期间进行。虽然阶段性发布可能无法展示出所有可能的模型用例，但更大范围地探寻没有被发掘用例的一种方式是雇佣中立的第三方，有他们来决定哪些个人或组织应该在阶段性的模型发布中获得早期的访问权限。当模型开发人员决定谁可以获得阶段性的的访问权限时，他们就会有偏袒地、选择性地分配权限，并且操纵其产品在公众眼中的认知。中立的“阶段性发布委员会”或联邦政府的审计师可以针对上述情况提供支持，并确保足够多的的审计人员和用户可以获得权限，以便利用社会各界的专业专长。阶段性的发布委员会也可以减轻审计人员因为他们分享出了并不讨好的模型结果所导致的可能失去早期访问权限的风险，这在标准的阶段性发布过程中可能存在。
权限与迁移 鉴于基础模型存在社会益处，模型的发布有潜力进一步分配这些益处。BERT 和M-BERT 等大型语言模型有跨语言迁移的能力 — 如果模型是开源的 — ，可能使语言之间实现迁移，否则有些语言可用的文本太少 [Wu and Dredze 2019; Wang et al. 2020a]。鉴于语言数量之多，商业供应商目前还不能很好地解决上述问题，单独上述一种益处就可能足够大。
发布并不足以使得基础模型的访问权限充分多，因为计算能力的障碍让很多人难以修改模型，甚至难以加载基础模型，就更不用说开发他们自己的基础模型。但是，针对以上几点，我们已经可以看到了最近技术的显著改进。零冗余优化器（ZeRO）等内存技术可以让研究人员只需简单的设置就可以运行和训练非常大的模型 [Rasley et al. 2020; Rajbhandariet al. 2021]。诸如蒸馏等的技术可以发布更小、更简单的模型，可以实现其父模型的大部分性能，同时训练过程更容易 [Li et al. 2020d]。如§5.3: 环境所讨论的，较低能源密集型训练方法的开发可以进一步增强使用发布模型的能力。再如§4.5: 系统中所讨论的，训练更大的模型需要效率的提升，例如硬件和软件的协同设计，也可以用来降低对当前模型访问的成本。
相比之下，最大的危害并不明显通过模型的发布来推动。哪怕没有发布模型，那些有能力从事虚假信息传播、网络战或者网络钓鱼的高水平的或者研究机构的从业人员很可能也有能力创建类似模型。虽然可能很重要，但这些危害不在进行模型发布评估时占过大的比重 [Solaiman et al. 2019; Shevlane and Dafoe 2020]。危害较大的地方在于那些拥有较少资源的从业者，他们无法创造自己的基础模型，但有可能去生成垃圾邮件或去滥用模型，制造虚假评论或者或在测试中作弊。对于有能力使用别人发布的模型但却不能自己创建出自己的模型的从业者可能带来的危害来说，模型发布的利是否大于弊？我们认为答案是肯定的。事实上拥有开发基础模型所需的资源和关系的研究小组的数量很少。甚至整体上来说，像我们一样的从业者的数量和多样性还没有多到可以想象所有可能有价值的使用场景或探寻到基础模型的能力上限。
5.6.5 何时不构建模型
功能强大技术的开发和部署不像重力那样是一种作用在我们身上的外部力量。技术反映了人类做出的一系列选择，人类也塑造了科技的前沿。因此，技术人员可以选择何时不去构建、设计或部署基础模型 [Zimmermann 2021]。这个决定不必是二元对立的，相反，人们可以通过否认其本身的价值、挑战假设的前提和修改研究议程以拒绝参与到当前的工作中 [Simpson 2007]。技术的产物，包括基础模型，本质是政治性的，因此对它们的研究都具有社会政治背景，而不仅仅是技术背景。开发人员和研究人员应该意识到他们在尝试解决哪些问题，例如如何扩大基础模型还是如何使基础模型更易于计算；这些问题是如何形成的；以及他们的解决方案最终赋予了谁权力 [Rogaway 2016; Winner 1980; Passi and Barocas2019]。我们应该重视旨在使基础模型更具可解释性、易访问性、可持续性和公平性的研究（参见§4.11: 可解释性、§5.3: 环境、§5.1: 不平等和公平）。
何时不构建基础模型或适配的模型变体这样的疑问，不仅是隐晦地在问“我们应该构建什么或不构建什么？”还是在问“在什么条件下才应该构建模型？”和“管理模型的搭建需要遵循什么标准和原则？” 第一个问题源于模型的视角，而后面的来自生态系统的视角（§1: 引言）。
考虑拒绝构建模型并不等于说“什么都不做”。它是对构建、设计和部署所需的时间、经费、专业知识和能源使用深思熟虑并做出明智的选择。归根结底，这是一个源于环境和价值观的困难的道德问题。在某些情况下，适配的模型变体（以及更普遍的算法和机器学习方法）的应用是不合适的，因为社区会爆发抗议活动，或者因为适配的模型变体无意地加剧了系统性问题，而这些问题可以通过公共政策、额外资金或跨学科合作来更好地解决[Angwin et al. 2016]。
应用于 Floridi et al. [2018] 中的机器学习的贝尔蒙特报告，为这个问题提供了一个可能的框架。借鉴“有益”原则 [Department of Health and Welfare 1979]，当适配的模型变体或研究方法可能弊大于利甚至根本没有任何好处时，我们可以确定重新考虑是否进行模型的构建。或者，在某些情况下，适配的模型变体对于一个任务在效率、性能和泛化指标（机器学习社区 [Birhane et al. 2020] 中优先考虑的价值）上更胜一筹，但个人、社区或组织可能会选择优先考虑突出其他价值的现有解决方案，例如与人之间的关联和可解释性 [Benjamin2016]。20这样做时，他们行使了自主权 — 正如贝尔蒙特报告的“尊重人”所解释的 — ，决定这不是构建模型 [Department of Health and Welfare 1979] 的合适环境。
20 另见§4.11.4: 可解释性-影响 以了解不可解释性影响的相关讨论。
来回答何时不构建模型的问题是一个既包含个人责任还包含更广泛的专业责任的问题。不由一个人、一个团队或一家公司来构建某事物的决定会引发这样的回答：“但如果我们不做这个，其他人就会做，而且他们还可能会做得更糟。”对两种模型结果的危害进行比较从而进行简单的利弊权衡忽略了整体性的重要性。一个糟糕的模型是由我们构建的，还是由其他人构建的是一件非常重要的事情 [Williams 1973]。个人有理由不构建违背他们价值观的东西，或者不做他们认为不正确的事情 [Korsgaard 2009] 。然而，如此创造的结构环境是不同的，哪怕只有一家公司决定构建一个道德上存在问题的最有效的模型，他们也会为其他公司考虑类似的研究方法打开大门，它们使得不进行类似研究的公司在竞争上处于不利的地位 [Askell et al. 2019]。因此，何时不构建模型既是个体的问题也是集体的问题，需要整个社区遵守职业道德和责任准则。
在人工智能/机器学习社区中，与医疗领域等其他领域相比，基础设施尚不发达。虽然像计算机协会 (ACM) 这样的专业机构有伦理声明，但工业界和学术界都缺乏广泛使用和接受的专业宣誓（例如希波克拉底誓言或工程师的义务）、参与部署和研究的监管机构（例如监管药物的 FDA）以及道德审查的官方协议（例如涉及人类受试者的研究的 IRB；[Bernsteinet al. 2021]）。选择退出的能力可以在许多阶段纳入基础模型生态系统，包括在数据生产、迁移和部署期间。随着规范转向收集越来越多的训练数据（§4.6: 数据），我们应该努力保持“对人的尊重”，[Department of Health and Welfare 1979] 强调隐私和用户同意是数据生命周期的一部分。上述努力需要以下几点：（1）在数据管理方面进行创新，并更具体地理解线上知情同意的含义（2）对知情同意的存档并确保流程对用户的尊重以及（3）隐私（请参阅§4.6: 数据 来了解的一种数据管理提案；[Ohm 2014])。尽管数据和基础模型在其应用中各不相同，但数据参与者应该可以表达他们不希望他们的数据被使用的方式。有选择退出模型的权利是有利于开发人员的，因为这样不需要开发者为每次新的、或是意外的用例获得同意，重要的是用户有权撤销非主观的授权，但如果一开始就已获得用户同意的话则不然。
5.6.6 小结
在本节中，我们向社会调查了一些伴随大规模使用基础模型的一些风险，例如结果的同质化和权力的集中化。基础模型的开发人员在立法的要求下应遵循基础模型的发展、审计和发布规范以减轻这些风险，个人应该能够无条件地拒绝成为基础模型的数据或决策主题。
基础模型的生成和交互能力的许多内容没有被调研到。例如，§5.5: 经济讨论了创造和设计工作自动化带来的经济生产率的潜在收益。然而，由于他们的生成性质，基础模型可能会代替许多人认为的有意义且充实的工作，例如图形设计和写作。我们希望本报告的视角有助于他人继续探索这里未解决的伦理和社会问题。
6 结论
在本文中，我们试图全面讨论基础模型许多最关键的内容，从他们的技术基础到他们的社会影响。我们采用了不寻常的方法：即试图澄清一个刚刚起步的范式的性质，而不是等待更多内容涌现出来或者等一切尘埃落定再进行研究。因此，尽管我们付出了很多努力，但正如我们重申的这只是范式转变的开始，因此也还有很多内容还不是很清楚：基础模型才刚刚开始改变世界范围内人工智能系统的搭建和部署。进一步来说，我们认为本文档有助于促进这些基础模型定位和模式的对话和人工智能新范式的诞生。也就是说，为了确保可以长期负责任地进行模型的开发和部署，我们认为不同的社会阶层、研究机构和学科之间自始至终的通力合作是尤为重要的。
本期责任编辑：冯骁骋
理解语言，认知社会
以中文技术，助民族复兴
相关内容
微信扫码咨询专知VIP会员