7月5日下午,清华大学、中关村实验室、蚂蚁集团等机构联合撰写的**《大模型安全实践(2024)》白皮书**(以下简称“白皮书”)在2024世界人工智能大会上正式发布。

白皮书首次系统化提出安全实践总体框架,从安全性、可靠性、可控性等维度给到了技术实施方案,同时提供了金融、医疗、政务等领域的大模型安全应用案例,以及“五维一体”协同共治的治理框架,为大模型行业规范高质量发展提供技术和实践的建议与参考

大模型技术正成为推动社会进步和创新的关键力量。然而随着大模型能力的不断增强,其安全性、可靠性、可控性受到前所未有的挑战,如研发过程中引发信息泄露、价值对齐、机器幻觉等问题,以及落地过程中面临的数据、模型、算法及其运行的软硬件环境安全风险。

面对以上挑战,白皮书提出了大模型安全实践总体框架。

该白皮书确立了“以人为本,AI向善”为大模型安全建设的核心,确保技术进步服务于人类福祉; 以“安全、可靠、可控”三个核心维度的大模型安全技术体系,并涵盖了大模型安全测评与防御的综合技术方案; 以及“端、边、云”为大模型安全技术的主要承载实体。

图:大模型安全实践总体框架

作为报告核心,大模型安全技术体系里,安全性意味着确保模型在所有阶段都受到保护,涉及数据安全、模型安全、系统安全、内容安全、认知安全和伦理安全等;可靠性要求大模型在各种情境下都能持续提供准确、一致、真实的结果;可控性关乎模型在提供结果和决策时能否让人类了解和介入,可根据人类需要进行调适和操作。通过这三个维度,可提升大模型的鲁棒性、可解释性、公平性、真实性、价值对齐、隐私保护等方向的能力

白皮书指出安全评测技术和安全防御技术也是保障大模型安全的有效手段,但目前大模型的安全评测绝大多数是针对内容类场景,随着大模型技术快速发展和广泛应用,对Agent这类复杂大模型应用架构和未来通用AGI的评估是当下面临的挑战。制定标准建立面向未来的大模型可信测评体系将会变得越来越重要,这需要政府、高校等机构,联合有相关经验的企业共同合作。

**白皮书以蚂蚁集团自研的大模型安全一体化解决方****案“蚁天鉴”为例,**介绍了国内机构和企业在探索大模型安全应用的优秀实践。

图:蚁天鉴大模型一体化解决方案

蚁 天 鉴 蚁天鉴是一款兼具大模型安全测评和防御的产品,目前已开放给20余家外部机构和企业,在金融、政务、医疗等重要领域得到采用,为行业大模型数据、训练、部署、应用等环节提供安全保障。

金融场景

例如,在金融场景,蚂蚁AI金融助理“支小宝”,从大模型训练与推理风险管控、大模型风险点全方位评测、大模型用户交互风险管控三个方面保障大模型应用安全;针对金融业务,通过内嵌一致性检验和金融价值对齐,确保数据的准确性和金融逻辑的严格性。

医疗场景

在医疗场景,上海市第一人民医院引入“蚁天鉴”解决方案,在其首创安全前置护栏技术保障下,可精准杜绝医院最关注的风险的出现,保障医疗大模型生成的内容更符合医疗垂类的安全和专业,有效应对大模型应用中的信息安全与隐私保护、双向内容风险防控等问题。

政务领域

在政务领域,“赣服通”政务AI助理在端侧实施的安全措施具有借鉴意义。通过千万政务预料训练来实现精准意图识别、智能追问反问和高频事项即问即办等功能;针对政务行业大模型应用中生成不可控、安全覆盖面广、内容对抗强、时效要求高等挑战,构建安全护栏和安全防御两大核心能力,覆盖数百项大模型内容生成风险,可应对单次50万量级的饱和攻击。

清华大学长聘副教授、博士生导师李琦指出,大模型安全应用是一个新兴领域,研究和应用尚处于起步阶段。不少企业是在原有的传统数据安全、信息安全、系统安全等经验基础上,进行能力迁移,应用于大模型安全。随着新的大模型安全实践的不断深入,技术也会持续升级,为大模型安全构建实践范式,打造高价值参考体系。

图:蚂蚁集团安全实验室首席科学家王维强主题演讲

蚂蚁集团安全实验室首席科学家王维强在会上做了《大模型应用安全可信实践探索》的主题演讲。王维强认为,随着大模型的深度应用,在原有可信人工智能治理体系框架基础上,提升大模型的安全、可靠、可控建设,确保技术进步服务于人类福祉,是未来人工智能可持续发展的重要保障。

白皮书最后还提出了构建集大模型安全政府监管、大模型安全生态培育、大模型安全企业自律、大模型安全人才培养、大模型安全测试验证“五维一体”多元参与、协同共治的治理框架。这有助于推进大模型安全生态形成、大模型可持续发展

成为VIP会员查看完整内容
49

相关内容

大模型是基于海量多源数据打造的预训练模型,是对原有算法模型的技术升级和产品迭代,用户可通过开源或开放API/工具等形式进行模型零样本/小样本数据学习,以实现更优的识别、理解、决策、生成效果和更低成本的开发部署方案。
中国大模型落地应用案例集(2023),119页pdf
专知会员服务
272+阅读 · 1月10日
异构融合计算技术白皮书(2023),59页pdf
专知会员服务
60+阅读 · 2023年9月19日
《人工智能安全测评白皮书》,99页pdf
专知会员服务
363+阅读 · 2022年2月26日
《数据安全风险分析及应对策略研究(2022年)》
专知会员服务
40+阅读 · 2022年2月5日
《工业互联网平台白皮书 2021》,69页pdf
专知会员服务
43+阅读 · 2022年1月16日
专知会员服务
140+阅读 · 2021年6月1日
专知会员服务
41+阅读 · 2021年3月28日
《人工智能安全框架(2020年)》白皮书,68页pdf
专知会员服务
163+阅读 · 2021年1月9日
《人工智能安全测评白皮书》,99页pdf
专知
30+阅读 · 2022年2月26日
《2021—2022中国大数据产业发展报告》
专知
12+阅读 · 2022年1月23日
6G全球进展与发展展望白皮书,35页pdf
专知
19+阅读 · 2021年5月8日
中国工程院:《全球工程前沿2018》(附PDF下载)
走向智能论坛
10+阅读 · 2018年12月5日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Arxiv
60+阅读 · 2023年3月26日
Arxiv
128+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关VIP内容
中国大模型落地应用案例集(2023),119页pdf
专知会员服务
272+阅读 · 1月10日
异构融合计算技术白皮书(2023),59页pdf
专知会员服务
60+阅读 · 2023年9月19日
《人工智能安全测评白皮书》,99页pdf
专知会员服务
363+阅读 · 2022年2月26日
《数据安全风险分析及应对策略研究(2022年)》
专知会员服务
40+阅读 · 2022年2月5日
《工业互联网平台白皮书 2021》,69页pdf
专知会员服务
43+阅读 · 2022年1月16日
专知会员服务
140+阅读 · 2021年6月1日
专知会员服务
41+阅读 · 2021年3月28日
《人工智能安全框架(2020年)》白皮书,68页pdf
专知会员服务
163+阅读 · 2021年1月9日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员