新加坡-生成式AI的治理框架模型，23页pdf

2024年1月16日，新加坡AI Verify基金会（AIVF）和新加坡信息通信媒体发展局（IMDA）共同制定了《生成式人工智能治理的模型人工智能治理框架草案》（Proposed Model AI Governance Framework for Generative AI），以培育可信的生成式人工智能生态系统。该框架在现有涵盖传统AI的2020年人工智能模型治理框架基础上，进一步扩展了模型治理框架，推动了关于生成式人工智能治理的国际共识。

一、相关背景

生成式人工智能的变革潜力已显著超越传统人工智能。传统人工智能是指利用从历史数据中得出的见解进行预测的人工智能模型。典型的传统人工智能模型包括逻辑回归、决策树和条件随机场等。生成式人工智能是指能够生成文本、图像或其他媒体的人工智能模型。它们学习输入训练数据的模式和结构，并生成具有类似特征的新数据。生成式人工智能能够接受自然语言提示作为输入，包括GPT-4、Gemini、Claude和LLaMA等大型语言模型（LLM）。为了促进传统人工智能的负责任使用，新加坡于2019年发布了第一版AI治理框架，并在2020年进行了更新。然而，生成式人工智能的发展不仅加剧了传统人工智能相关风险（例如偏见、滥用、缺乏可解释性等），还引入了新的风险（例如误导、侵犯版权、价值取向问题等）。针对生成式人工智能引发的新问题，有必要更新早期的模型治理框架，以全面解决新出现的问题。新加坡于2023年6月发布讨论文件《生成式人工智能：对信任和治理的影响》，对现有的框架进行审查，广泛听取政策制定者、产业界、人工智能行业组织、研究社群和公众等多利益相关方意见。2024年1月16日，新加坡发布《生成式人工智能治理的模型人工智能治理框架草案》（以下简称框架草案），框架草案对讨论文件中提出的概念以及相关反馈意见和建议进行了整合，以在保护用户和推动创新之间取得谨慎的平衡，促进更广泛的可信生态系统。此外，新加坡成立AI verify基金会，构建AI 治理测试工具，如进行AI 测试框架、代码库、标准和最佳实践的开发和研究等，培育多元化的人工智能测试倡导者网络，并通过教育和推广推动广泛采用。 二、关于支持可信人工智能生态系统的九个提议

框架草案提议从九个维度支持全面和可信人工智能生态系统的建立，核心原则是决策的可解释、透明和公正原则。

（一）问责制

问责制是激励人工智能开发链中的参与者对最终用户负责的一个关键考虑因素。参与者包括模型开发人员、应用程序部署人员和云服务提供商（提供托管AI应用程序的平台）。与大多数软件开发一样，生成型人工智能也涉及到技术堆栈中的多层内容。虽然责任的分配可能不能立即明确，但可以借鉴云计算和软件开发中的实践经验，采取相关措施。

（二）数据

数据是模型开发的核心元素，它显著地影响了模型输出的质量。因此，提供给模型的数据内容很重要，并且需要确保数据质量，例如通过使用可信的数据源。在使用数据用于模型训练存在争议的情况下，如涉及个人数据和版权材料等情形下，坚持透明和公正原则至关重要，并且应在实际业务中切实做到确保透明度和公平对待。 （三）可信开发与部署

模型开发及在其上进行的应用程序部署是人工智能驱动创新的核心。尽管最终用户对其了解程度可能有限，但有关基本安全措施的透明度是非常关键的。产业界应在开发、评估和披露方面采用最佳实践，例如采取“食品标签”式的透明度管理方式。随着时间的推移，可以提高更广泛的意识和安全性。（四）事件报告

即使有最强大的开发流程和保障措施，也不可能做到万无一失，软件开发和人工智能都是如此。事件报告是一种既定的做法，允许及时通知和采取补救措施。建立相应的结构和流程以实现事件监测和报告是关键。这也将支持人工智能系统的持续改进。

（五）测试和保证

对于一个值得信赖的生态系统，第三方测试和保证起着补充的作用，金融和医疗保健等重要领域都是这样做的，以实现独立验证。尽管人工智能测试是一个新兴领域，但对于公司来说，采用第三方测试和保证来向最终用户证明信任是有价值的。围绕人工智能测试制定通用标准以确保质量和一致性也很重要。

（六）安全性

生成型人工智能模型本身引入新的威胁，且超出了任何软件堆栈中固有的安全风险。虽然这是一个新兴的领域，但需要调整现有的信息安全框架，并开发新的测试工具来解决这些风险。

（七）内容来源

人工智能生成的内容很容易被创建，这可能会加剧虚假信息相关风险。各国政府正在寻求数字水印和加密来源等技术解决方案，这些技术需要在正确的背景下使用，需要内容生成位置和生成方式等方面的透明度，使最终用户能够以知情的方式使用在线内容。

（八）安全性和一致性研究与开发(R&D)

当今最科学的模型安全技术也不能完全涵盖所有的风险。需要加快研发投资，以改善人工智能模型的意图，保证其与人类价值观的一致性。人工智能安全研发机构之间的全球合作对于有限资源的优化配置，以跟上商业驱动的模型能力的增长至关重要。

（九）人工智能造福公众

负责任的人工智能将支持引导人工智能走向为公共利益服务，如人工智能获取应民主化、改善公共部门人工智能的采用、提高员工的技能，以及人工智能系统的可持续开发等。

三、总结

人工智能治理仍处于初级阶段。进行国际合作、建立国际共识是进行人工智能治理的关键，正如新加坡IMDA在国家人工智能治理框架的制定过程中，与美国国家标准与技术研究院（NIST）进行了合作。该框架将随着技术和技术的发展而不断更新，新加坡将对人工智能模型治理框架进行持续完善和优化，采用实际方法来最大程度地提高信任和创新。新加坡预计在2024年中期正式发布《生成式人工智能治理的模型人工智能治理框架》。 （来源：信通院互联网法律研究中心）