人工智能安全挑战及治理研究

我国必须高度重视其带来的安全挑战，明确安全治理目标，综合运用包括法规政策、标准规范、技术支撑在内的多项治理措施，实施敏捷治理模式，有效提高我国人工智能安全治理能力，确保人工智能安全健康发展。 文 | 北京大学 陈钟 谢安明

习近平总书记早在十九届中央政治局第九次集体学习时就明确指出，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。因此，我国在大力发展人工智能的同时，必须高度重视其带来的安全挑战，明确安全治理目标，综合运用包括法规政策、标准规范、技术支撑在内的多项治理措施，实施敏捷治理模式，有效提高我国人工智能安全治理能力，确保人工智能安全健康发展。

一、人工智能安全挑战

计算机发明和计算机科学的诞生可以誉为人类信息处理的新范式，相比较以往的信息存储、加工、利用是一次数字化革命。人们通过计算机和编程不断推进信息化，解决了许多需要脑力劳动和知识加工利用的问题。互联网的发明进一步延伸了网络化，标志着人类社会进入了人人互联、万物互联的信息时代。自 1956 年达特茅斯会议首次提出“人工智能”概念以来，在 60 余年中，人工智能作为计算机科学的一个分支经历了起起落落的曲折发展。进入 21 世纪第二个十年后，随着网络算力、互联网和大数据等技术的巨大进步，人工智能进入了加速发展的新阶段，并广泛应用到金融、医疗、商业、工业等领域，成为引领未来和推动经济增长的战略性技术。特别是近期生成式预训练语言大模GPT（Generative Pre-trained Transformer）涌现式突破，以及人机对话 ChatGPT、AI 绘画 Midjourney 等工具大规模测试应用，带来计算机科学第二次范式变革，也就是通过具有通用性的预训练生成式大模型能力，让计算机具备了连续对话、帮助人类写文章做策划，能够达到律师执业资格考试和高校入学考试等人类考生前 10% 的水平，甚至根据人类对话提出的要求进行自动编程的能力，展示了计算从信息加工处理提升到知识加工处理的范式变迁的开始。深度神经网络大模型的预训练以及在大规模人机交互过程中强化学习必将带来人工智能“自我进化”，如何确保这种“进化”对人类社会有益而无害，就是目前需要面对的巨大挑战。总之，人工智能在为经济发展与社会进步带来重大发展机遇的同时，也带来了不容忽视的安全新问题，因此，对人工智能治理的研究迫在眉睫。

鉴于人工智能技术具有自主智能、数据依赖性、“算法黑箱”和“不可解释”等特征，它在技术内生、应用衍生、数据安全和隐私保护等方面将面临严峻的安全和伦理挑战，并极可能在国家安全、社会伦理和个人生命财产安全等方面产生更加严重和影响更加广泛的后果。在安全挑战方面，首先是人工智能技术本身带来的安全挑战，主要包括可解释性不足、算法歧视、安全漏洞等。比如现有人工智能算法普遍存在“算法黑箱”问题，其结果“不可解释”，这会导致用户不敢使用。其次，人工智能应用衍生的安全挑战，主要包括技术滥用和伦理道德等方面的安全挑战。如恶意运用人工智能技术生成虚假人脸或视频，可能严重影响国家政治安全和个人金融安全。最后，人工智能应用对数据安全和隐私保护也构成严峻挑战。人工智能发展依赖大量的数据，其中也包括个人隐私。在采集、使用和分析这些数据的过程中，存在数据泄漏、篡改和真实性难验证等安全隐患。 与一般信息系统相比，人工智能安全挑战可能带来更加严重、广泛和复杂的后果。首先，人工智能安全事件不仅会影响设备和数据的安全，还可能导致产生严重的生产事故和危害人类生命安全。例如，给患者看病和做手术的医疗机器人，如果因为程序漏洞出现安全问题，则可能导致直接伤害患者性命。其次，一旦人工智能应用于国防、金融、工业等领域，出现安全事件，其后果将影响国家安全、政治安全以及社会稳定。最后，人工智能安全挑战还会引起更加复杂的伦理道德问题，许多此类问题目前尚无好的解决方案。例如，在人工智能用于医疗诊断和手术时，医生是否应完全相信人工智能的判断以及如何确定医疗事故责任等问题；在采用人工智能技术实现自动驾驶时，也需要更好的机制来解决“电车难题”等伦理问题。

总之，人工智能技术发展和深度融合应用带来的安全挑战日益复杂，需引起全社会的高度重视，并尽快有效加强人工智能安全治理。

二、人工智能安全治理框架

针对人工智能面临的安全挑战，本文提出了一个人工智能安全治理框架，明确了治理目标，归纳了法规政策、标准规范、技术支撑、监测评估、管理措施等多类治理措施，提出了敏捷治理模式，如图所示。

图 人工智能安全治理框架

与一般信息系统中强调的安全主要是指自身安全（security）相比，人工智能安全治理的目标应该包括自身安全（security）、功能安全（safety）、隐私安全（privacy）和可信赖安全（trustworthiness）四个方面。

其中，自身安全是指人工智能技术发展和应用中，应当加强内在安全能力建设，在算法设计、代码编制和系统部署等方面尽量减少可能存在的安全漏洞，降低系统出错和被攻击的风险。功能安全是指应避免由系统功能性故障导致不可接受的风险，包括可能导致人员的伤亡、环境破坏、设备财产损失等方面的风险。隐私安全是指应重点关注个人信息的保护，防止过度采集、超权限使用和滥用，避免可能带来的隐私侵犯、金融财务损失、名誉身份受损等方面的风险。可信赖安全是指应确保人工智能具有可理解性、可解释性、稳健性、公平性以及以人为本等特征，即人工智能算法和系统具有能够被人类理解、其行为和决策结果能够进行合理的解释、能够在噪声环境下进行稳定和正确决策、能够公平对待不同群体、能够尊重人权和民主价值观的能力。

三、多措并举构建一体化治理能力

当前，国际社会和国内都在人工智能安全治理方面开展了大量探索，并在法规、政策和标准方面取得了积极的成果。但是，要实现人工智能安全治理并取得成效，仅仅依靠法规政策和标准规范来进行合规引导是不够的。还应在技术支撑、管理措施和检测评估等方面加强具体落地措施。

（一）法规政策

我国在《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法规文件中要求统筹发展与安全，发布了《新一代人工智能伦理规范》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理办法（征求意见稿）》等文件，为人工智能技术发展和应用提供了很好的安全指引。下一步，应围绕人工智能安全治理顶层设计、重点领域安全应用、伦理道德约束等方面，体系化地制定更多和更明确的法规政策、行业规范和自律公约，增强人工智能安全的法律治理和伦理治理能力。

（二）标准规范 2020 年，国家标准化管理委员会、中央网信办等五部门近日联合印发《国家新一代人工智能标准体系建设指南》，明确了我国人工智能标准化顶层设计。目前我国也已经开展了《信息安全技术 人工智能计算平台安全框架》《信息安全技术 机器学习算法安全评估规范》等多项国家标准的制定工作。下一步，应围绕人工智能领域的安全与隐私保护、数据安全方面的标准，通过制定安全要求和指南规范等标准，为我国人工智能安全治理提供标准支撑。

（三）技术支撑

针对技术内生、应用衍生、数据安全和隐私保护等方面的安全挑战，构建人工智能安全治理技术体系，在算法安全、数据安全和隐私保护、系统安全和应用安全方面加强前沿安全技术研究，以及推动关键技术应用，是落实人工智能安全治理的必要措施。其中，在算法安全方面主要需要研究增强算法可解释性、防范算法歧视、提高稳健性和公平性等方面的安全技术；在数据安全和隐私保护方面，主要包括研究隐私计算、密码技术、防泄漏、流通安全、数据质量评估等技术；在系统安全方面，主要包括研究漏洞发现、攻击检测与阻止、可信计算、防逆向攻击等技术；在应用方面，主要需要结合应用场景研究能够帮助防止滥用、确保伦理的技术，包括伦理规则化、智能风险监测、穿透式监管等技术。

（四）管理措施

针对人工智能安全治理挑战，除了积极采用技术措施进行安全保护外，还应构建一套完善的安全管理体系，从组织架构、人员队伍、管理制度、应急响应等方面着手，通过有效的管理措施实践人工智能安全治理工作。组织架构方面，主要包括确立职责明确的部门和负责人，明确各安全岗位的职责和考核机制，以及贯彻执行各项制度和开展监督检查等；人员队伍方面，主要包括确定人员招聘与聘用、培训与能力提升、日常管理与离职等管理要求；管理制度方面，主要包括在国家法规政策和标准规范的指导下，设计一整套完备的安全管理制度、管理办法、安全操作流程以及运行记录单等；应急响应方面，主要包括确定一系列对不同情况的应急响应预案、准备应急技术工具和方案，并开展定期的应急响应演练等。

（五）检测评估 考虑到人工智能安全挑战会带来更加严重、广泛、复杂的安全影响，以及人工智能安全治理愿景的总体目标是实现自身安全、功能安全、隐私安全和可信赖安全等多方面的要求，应当在现有信息技术安全测试与评估基础上，针对性地加强人工智能安全检测评估体系建设。具体来说，需要在人工智能安全测评技术研究、产品和服务测评、人员测评、组织测评等多个方面进一步开展相关工作：如加大测评技术的攻关力度、丰富测评内容、开发更智能的检测工具、建立更加高效的监测预警平台，以及开展更加广泛的测评实践等。

四、应用和健全敏捷治理模式

近年来，人工智能在我国和全世界的发展都非常迅速。斯坦福大学以人为本人工智能研究所发布的《2023 年人工智能指数报告》指出，在过去十年里，全球人工智能相关论文的总数从每年的 20 万篇增长到每年近 50 万篇，而企业在人工智能领域的投资额也增长了 18 倍。显然，以人工智能等技术为代表的新一代信息技术，正在驱动当今世界的新科技革命和产业变革，成为影响全球经济、政治、文化、社会和生态发展的主导力量。但人工智能的技术及其应用的特点，使其正面临典型的“科林格里奇困境（Collingridge"s Dilemma）”，即如果放任人工智能自行发展，一旦发现其在应用中出现严重的不良后果时，人工智能可能已经成为整个经济社会结构的重要组成部分，此时解决问题就会变得异常困难和代价昂贵；而如果一开始就采取过于严厉的控制措施，由于担心潜在风险，这可能严重限制人工智能的发展，阻碍其更广泛的应用。

2018 年，世界经济论坛（World Economic Forum，WEF）借鉴工业领域和软件开发领域的成功经验，提出一种新的治理模式——“敏捷治理”。其目的是适应当前信息技术发展的特征。WEF 将敏捷治理定义为一套具有自适应、以人为本、可持续的和包容性的治理决策过程。同时，WEF 也指出政策制定不再仅限于政府，而是需要更加广泛地吸纳来自不同利益相关方的意见和建议。随后，我国在 2019 年发布的《新一代人工智能治理原则——发展负责任的人工智能》中，也将敏捷治理作为最重要的八大原则之一。该文件提出，需要尊重人工智能发展的客观规律，优化管理机制，完善治理体系，并推动敏捷治理原则贯穿人工智能产品和服务的全生命周期。

结合人工智能安全治理场景的特殊性，我们认为，要落实敏捷治理原则，最关键的要素是：在多元主体参与治理的基础上，建立快速灵活的响应机制，并采取多种多样的监管手段。

（一）构建多元主体参与的治理机制

人工智能安全治理应由政府扮演主导角色，但考虑到人工智能技术发展速度快和业务模式更新频繁等特征，在安全治理过程中不能忽视企业、行业组织等其他主体的作用，因为这些主体掌握着第一手资料和丰富的实践经验。以企业为例，当前人工智能企业在数据和算力等方面占有明显优势，且其工作处于产业链前沿，在遇到和解决安全事件方面积累了丰富的经验，这使得人工智能企业能够快速定位问题的本质所在并提出高效的治理措施。

因此，应建立由政府主导，行业组织、研究机构、企业以及公民等多元主体共同参与的治理体系。政府应负责制定法规政策和执行核心行动，是法规和政策的最终决定者。同时，政府需要建立广泛的合作机制，加强与行业组织、研究机构、企业和公民的沟通。政府需要及时吸收人工智能产业创新成果和市场反馈，并将有效的引导措施、监管要求和审查标准反映在新的法规政策中，进而指导行业组织和企业进行自我监管。此外，行业组织应制定行业规范和自律公约，一方面引导企业的业务创新方向，另一方面通过行业共识约束企业遵循社会公德、和道德要求。研究机构应担任第三方监督角色，对热点应用和创新业务进行技术、法规和道德分析，以支持政府提高监管能力和识别潜在风险的能力。企业则应主动建立内部监管机制，并向行业组织和政府提供人工智能安全治理方面的最佳实践。

（二）实现小步快走快速响应

政府在制定法律或发布政策时，通常会在深思熟虑的基础上采取包容的方式，但这也容易导致笨拙而缓慢的响应速度。而人工智能技术具有颠覆性强、发展速度快和引领作用显著等特征，由此会带来新技术应用的快速变化、高度复杂性和深刻变革性等问题。这使得政府原来按部就班的政策制定方法、过程和周期变得不再适用，导致治理效率低下，难以跟上技术创新的步伐。

在多元主体共同参与的基础上，敏捷治理能够根据内外部环境的动态变化和不确定性，快速识别问题、总结需求，并通过积极采取小步快走和多次迭代的方式，实现对治理诉求的快速响应。针对技术发展快和日益复杂的人工智能领域，敏捷治理要求建立动态调整机制。这需要及时跟踪技术和应用的发展事态，尽早分析并识别各种安全风险的严重程度，基于包容和可持续的理念，敏捷治理需要采取策略动态调整和快速响应的手段。

（三）完善分类分级监管机制

人工智能作为新一代信息技术，目前已经在购物推荐、客户服务、人脸识别、游戏竞赛等众多场景得到广泛应用，并在智能驾驶、智能诊疗、智能制药等领域进行试验验证。然而，不同应用场景面临的安全风险并不相同，甚至在同一场景中，由于人工智能技术发展变化和利用深度不同，也会带来各种安全风险。某些安全风险可能只会导致轻微损失，但其他有些安全风险却可能引起人体生命健康方面的严重问题。 因此，应采取分类分级的治理方针，实施灵活多样的监管机制。根据人工智能应用的领域、风险等级、安全后果以及容错能力，划分人工智能应用的类别和安全监管级别，并设置差异化的监管措施。同时，可以根据业务特征创新监管模式，例如根据实际情况采取监管沙箱、应用试点、准入审批、报备汇报、认证认可、政策指南等多种不同的监管措施。在促进人工智能产业安全可控和快速发展之间保持平衡，既要采取措施避免出现重大安全事件，也不能因过度监管而限制产业发展。

五、结 语

人工智能正在大力促进经济发展与社会进步，但同时也带来了不容忽视的安全挑战。本文梳理了人工智能面临的安全挑战，结合我国实际情况，提出了人工智能安全治理框架。该框架期望通过法规政策、标准规范、技术支撑、管理措施、检测评估等多方面治理手段，构建一体化的安全治理能力。本文还提出应进一步应用和健全敏捷治理模式，以保证人工智能安全和健康发展。 （本文刊登于《中国信息安全》杂志2023年第5期）