《国际人工智能安全报告》最新300页

关于本报告

这是第一份《国际人工智能安全报告》。继 2024 年 5 月发布中期报告之后，96 位人工智能（AI）专家为这份首次完整报告做出了贡献，其中包括由 30 个国家、经济合作与发展组织（OECD）、欧洲联盟（EU）和联合国（UN）提名的国际专家顾问团。报告旨在提供科学信息，为知情决策提供支持。报告不推荐具体政策。

虽然本报告关注的是人工智能风险和人工智能安全，但人工智能也为人们、企业和社会带来了许多潜在的好处。人工智能有多种类型，每种类型都有不同的好处和风险。在大多数情况下，在大多数应用中，人工智能都能帮助个人和组织提高效率。但是，只有对人工智能的风险进行适当管理，全世界的人们才能安全地充分享受人工智能的诸多潜在好处。本报告的重点是识别这些风险并评估降低风险的方法。本报告并不旨在全面评估人工智能可能带来的所有社会影响，包括其诸多潜在益处。

报告的重点是通用人工智能（general-purpose AI）。本报告的重点仅限于近年来发展尤为迅速的人工智能类型，对其相关风险的研究和了解较少：通用人工智能，或可执行各种任务的人工智能。本报告的分析重点是撰写本报告时最先进的通用人工智能系统，以及未来可能功能更强的系统。

报告总结了三个核心问题的科学证据：通用人工智能能做什么？与通用人工智能相关的风险是什么？针对这些风险有哪些缓解技术？

事关重大。我们--为本报告撰稿的专家们--在围绕通用人工智能的能力、风险和风险缓解措施的几个问题上仍存在分歧，有大有小。但我们认为，这份报告对于提高我们对这项技术及其潜在风险的集体认识至关重要。我们希望这份报告能帮助国际社会就通用人工智能达成更多共识，并更有效地降低其风险，从而让人们安全地体验到它的诸多潜在益处。这事关重大。我们期待着继续这一努力。

报告主要结论

通用人工智能（本报告重点关注的人工智能类型）的能力近年来迅速提高，并在最近几个月得到进一步改善。几年前，最好的大型语言模型（LLM）也很少能写出一段连贯的文字。如今，通用人工智能可以编写计算机程序，生成定制的逼真图像，并进行长时间的开放式对话。自《中期报告》（2024 年 5 月）发布以来，新模型在科学推理和编程测试中的表现明显更好。

许多公司目前正在投资开发通用人工智能体，将其作为进一步发展的潜在方向。人工智能代理是一种通用的人工智能系统，可以自主行动、计划和委托，以实现目标，几乎不需要人工监督。例如，先进的人工智能体将能够利用计算机完成比现有系统更长的项目，从而带来额外的好处和风险。

未来数月和数年中，能力的进一步提升可能会从缓慢到极其迅速。† 进展将取决于公司是否能够快速部署更多数据和计算能力来训练新模型，以及以这种方式 “扩展 ”模型是否能克服其当前的局限性。最近的研究表明，快速扩展模型至少在几年内仍是可行的。但是，能力的重大提升可能还需要其他因素：例如，难以预测的新研究突破，或者公司最近采用的新扩展方法的成功。

通用人工智能的一些危害已经得到证实。这些危害包括诈骗、未经同意的亲密图像（NCII）和儿童性虐待材料（CSAM）、对某些人群或某些观点有偏见的模型输出、可靠性问题以及侵犯隐私权。研究人员针对这些问题开发了缓解技术，但到目前为止，还没有一种技术组合能完全解决这些问题。自《中期报告》发布以来，与通用人工智能系统相关的歧视新证据揭示了更微妙的偏见形式。

随着通用人工智能的能力越来越强，有关额外风险的证据也逐渐出现。这些风险包括大规模劳动力市场影响、人工智能黑客攻击或生物攻击、社会失去对通用人工智能的控制等。专家们对这些风险的现有证据有不同的解释：一些专家认为，这些风险在几十年后才会出现，而另一些专家则认为，通用人工智能可能会在未来几年内导致大规模的社会危害。通用人工智能能力的最新进展--尤其是在科学推理和编程测试方面--为人工智能黑客攻击和生物攻击等潜在风险提供了新的证据，导致一家大型人工智能公司将其最佳模型的生物风险评估从 “低 ”提高到 “中”。

风险管理技术刚刚起步，但仍有可能取得进展。有各种技术方法可用于评估和降低通用人工智能的风险，开发者可以采用，监管者也可以要求，但它们都有局限性。例如，目前用于解释通用人工智能模型为什么会产生任何特定输出的可解释性技术仍然非常有限。不过，研究人员在解决这些局限性方面正在取得一些进展。此外，研究人员和政策制定者正越来越多地尝试将风险管理方法标准化，并进行国际协调。

通用人工智能的发展速度和不可预测性给政策制定者带来了 “证据困境”。鉴于人工智能的发展有时会非常迅速且出乎意料，政策制定者往往不得不在没有大量科学证据的情况下权衡即将到来的人工智能发展的潜在利益和风险。在此过程中，他们面临着两难选择。一方面，基于有限证据的先发制人的风险缓解措施可能会被证明是无效或不必要的。另一方面，等待更有力的证据来证明风险即将来临，可能会让社会毫无准备，甚至不可能采取缓解措施--例如，如果人工智能能力及其相关风险突然飞跃。公司和政府正在开发早期预警系统和风险管理框架，以减少这种困境。其中一些会在有新的风险证据时触发特定的缓解措施，而另一些则要求开发人员在发布新模型之前提供安全证据。

研究人员普遍认为，在以下问题上取得进展将有所帮助：未来几年，通用人工智能能力将以多快的速度发展，研究人员如何才能可靠地衡量这一进展？触发缓解措施的合理风险阈值是多少？决策者如何才能最好地获取与公共安全相关的通用人工智能信息？研究人员、技术公司和政府如何才能可靠地评估通用人工智能开发和部署的风险？通用人工智能模型如何在内部运作？如何设计通用人工智能，使其行为可靠？

人工智能不会发生在我们身边：人们的选择决定了人工智能的未来。通用人工智能技术的未来是不确定的，即使在不久的将来也可能出现各种各样的轨迹，包括非常积极和非常消极的结果。这种不确定性会让人产生宿命论，使人工智能看起来像是发生在我们身边的事情。但是，社会和政府如何驾驭这种不确定性，将决定我们将走哪条道路。本报告旨在促进对这些决定进行建设性的循证讨论。