《网络安全中的生成式人工智能方法综述》41页长综述

在过去十年中，人工智能（AI）变得越来越流行，尤其是聊天机器人的使用，如 ChatGPT、谷歌的双子座和 DALL-E。随着人工智能的兴起，大型语言模型（LLM）和生成式人工智能（GenAI）在日常使用中也变得越来越普遍。这些进步加强了网络安全的防御态势，同时也为对手开辟了新的攻击途径。本文全面概述了当前最先进的 GenAI 部署，涵盖攻击、越狱以及提示注入和逆反心理的应用。本文还介绍了 GenAI 在网络犯罪中的各种应用，如自动黑客攻击、钓鱼邮件、社交工程、反向密码学、创建攻击有效载荷和创建恶意软件。通过数据集构建、安全代码开发、威胁情报、防御措施、报告和网络攻击检测等策略，GenAI 可以大大提高防御性网络安全流程的自动化程度。在本研究中，我们建议未来的研究应侧重于制定健全的道德规范和创新的防御机制，以解决 GenAI 目前造成的问题，并进一步鼓励以公正的方式将其应用于网络安全领域。此外，我们强调跨学科方法的重要性，以进一步弥合科学发展与伦理考虑之间的差距。

图 1 GenAI 开发时间表。

过去十年见证了数字领域的变革性飞跃，人工智能（AI）、大型语言模型（LLM）和自然语言处理（NLP）的进步对其产生了重大影响。从最基础的监督学习开始，人工智能和机器学习（ML）迅速扩展到更复杂的领域，包括无监督、半监督、强化、LLM、NLP 和深度学习技术[1]。这一演变过程中的最新突破是生成式人工智能（GenAI）技术的出现。这些技术利用深度学习网络来分析和理解庞大数据集中的模式，从而能够创建与原始数据相似的新内容。GenAI 用途广泛，可以生成文本、视觉效果、编程代码等各种内容。在网络安全领域，GenAI 的影响是巨大的，为该领域提供了新的维度。预计 GenAI 将增强漏洞扫描工具的能力，提供超越传统静态应用程序安全测试 (SAST) 方法的深度漏洞分析 [2]。在 GenAI 能力的增强下，这一演变对未来的网络安全实践充满希望[3]。谷歌的 Gemini 和 OpenAI 的 Chat-Generative Pre-trained Transformer (ChatGPT) 等创新处于这一进步的前沿。

Yandex 已将下一代大型语言模型 YandexGPT 集成到其虚拟助手 Alice 中[4]，使其成为全球首家增强虚拟助手功能的公司，可通过各种设备和应用程序生成类人文本和集思广益。一些 GenAI 工具的主要目的是帮助人们提高能力，但有时却表现出相反的行为，比如微软的聊天机器人 Tay。微软的聊天机器人Tay在推出后因被协同攻击利用漏洞而发布攻击性推文而下线，这促使该公司解决这一问题，并从以往的经验中吸取教训改进人工智能，包括中国的XiaoIce，以确保未来的互动在不冒犯他人的情况下反映人性的优点[5]。此外，一些 GenAI 工具的开发也有不同目的。例如，麻省理工学院的诺曼（Norman）是世界上第一个被描述为精神病患者的人工智能[6]，它是利用一个有争议的 subreddit 上的标题进行训练的，强调了有偏见的数据如何导致人工智能解释带有令人不安的标题的图像，揭示了数据对人工智能行为的影响[7]。

近年来，GenAI 经历了一场引人注目的变革，其标志是非凡的创新和快速的进步[8] [9]。人工智能的时间轴始于二十世纪四五十年代人工智能作为一门概念性科学学科的出现。上世纪六七十年代诞生的 ELIZA 聊天机器人是第一个声名鹊起的 GenAI。这一革命性的演示凸显了机器人模仿人类语言的能力。80 年代和 90 年代，随着先进的模式识别方法越来越流行，人工智能在分析连续数据和模式方面的发展变得更加复杂，因此也更加有效。第一个变异自动编码器（VAE）在自然语言翻译方面表现出了非凡的能力。OpenAI 在 2000 至 2010 年代开发了 GPT。与此同时，GenAI 模型也得到了发展，并在 20 世纪 20 年代推出了一系列创新平台和技术，包括 DALL-E、谷歌的双子座、猎鹰 AI 和 Open AI 的 GPT-4。这些进步代表着这门学科的成熟，为内容制作、解决问题以及模拟人类智能和创造力带来了前所未有的能力。它们也为这一学科的进一步发展铺平了道路。GenAI 的发展时间表见图 1。

语言模型在商业、医疗保健和网络安全等许多领域都至关重要。从基本的统计方法到复杂的神经网络，它们的发展呈现出一条具体的路径[10], [11]。LLM 的使用极大地促进了 NLP 技能的发展。然而，尽管取得了这些进步，仍然存在一些问题，包括道德难题、降低错误率的要求，以及确保这些模型符合我们的道德价值观。要解决这些问题，需要进行道德监督和持续发展。

第 2 节在概述、分析不同的攻击路径及其后果之后，探讨了用于利用 GenAI 技术的技术。第 3 节探讨了网络威胁的设计和自动化，重点关注 GenAI 所带来的攻击能力。不过，第 4 节深入探讨了 GenAI 在加强网络防御方面的功能，概述了最先进的威胁检测、响应和缓解技术。我们将在第 5 节进一步阐述这一主题，强调将 GenAI 纳入网络安全程序的重要道德、法律和社会影响。第 6 节讨论了 GenAI 对网络安全的影响，并对重要发现进行了总结。本文在第 7 节中结束。

成为VIP会员查看完整内容