《利用强化学习发现 Tor 和公共网络上的指挥与控制 (C2) 通道》

指挥和控制（C2）通道是许多类型网络攻击的重要组成部分，因为它们使攻击者能够远程控制受恶意软件感染的机器并执行有害行动，如在网络上传播恶意代码、外泄机密数据或发起分布式拒绝服务（DDoS）攻击。因此，识别这些 C2 渠道对于帮助减轻和预防网络攻击至关重要。然而，识别 C2 通道通常需要人工操作，需要深厚的网络战知识和专业技能。本文提出了一种基于强化学习（RL）的方法，利用普通（公共）网络和 Tor 网络自动模拟 C2 攻击活动。此外，还配置了有效载荷大小和网络防火墙，以模拟真实世界的攻击场景。典型网络配置的结果表明，智能体可以利用基于 Tor 的通信通道和传统通信通道自动发现有弹性的 C2 攻击路径，同时还能绕过网络防火墙。

关键词-强化学习、指挥与控制、渗透测试、网络战、网络地形

图 1：标有节点 ID 和服务的网络图。服务包括文件传输协议（ftp）、超文本传输协议（http）、虚拟专用网络（vpn）、标准查询语言（sql）、安全 shell（ssh）、Samba（samba）、公钥基础设施（pki）、简单邮件传输协议（smtp）和 MongoDB（mongodb）。在子网 1 的主机 (1,0)（绿色节点）上获得了初始立足点。确定了两个目标定位，并用橙色标出。

指挥和控制 (C2) 通道是攻击者用来远程控制受恶意软件感染的设备的通信通道，允许攻击者向设备发出命令或从设备接收信息。C2 通道使攻击者能够保持对被入侵机器的控制，并开展各种恶意活动，如窃取数据、发起勒索软件攻击和向其他系统传播恶意软件。此外，C2 并不仅限于单个攻击。高级持续威胁（APT）组织也可以使用它，这些组织由国家支持或资源充足，针对特定实体进行长期、复杂的攻击。APT 组织经常使用 C2 在目标定位的网络中保持持久性，并长期外流敏感信息[1]。

攻击者经常使用隐藏 C2 通信的技术来避免被发现。其中一种技术是使用 Tor（洋葱路由器）网络，它是一种分散式网络，通过多个节点路由流量，实现匿名和加密通信渠道。Tor 是一款免费的开源软件，可以轻松扩散志愿者服务器或节点，从而混淆恶意流量的来源。通过访问 Tor 服务器，攻击者可以操作一个无属性的 C2 服务器，并向执法人员或安全研究人员隐瞒自己的位置。

本文扩展了将强化学习（RL）应用于不同渗透测试任务的研究成果 [2]-[6]。具体来说，本文沿用了 [2] 首次提出的基于 RL 的方法，将网络地形纳入马尔可夫决策过程 (MDP)。它还扩展了 [6] 中引入的 C2 仿真模型，考虑了通过标准和基于 Tor 的信道进行通信。据我们所知，这项工作是使用 RL 模拟通过 Tor 和公共网络进行 C2 通信的首批研究之一。基于 RL 的方法为自动发现 C2 途径提供了一个可行的选择，从而减少了人工检查的时间和精力。这将有助于在实施适当的安全措施以防止或减轻网络攻击方面做出更有效、更高效的决策。本研究的主要贡献如下：

• 论文提出并开发了一种强化学习模型，该模型结合了防火墙等网络防御地形的具体特征，可通过公共和基于 Torb 的通信渠道自动发现 C2 攻击路径。

• 实验证明，所提出的 RL 方法能有效帮助识别 C2 攻击路径中的战略要点，并在常用网络环境中躲避防火墙。

本文的其余部分安排如下。首先，我们在第二部分回顾了相关工作，并在第三部分提供了有关强化学习的背景信息。然后，我们在第四部分介绍了 C2 攻击模拟模型及其 RL 表述的细节。第五节报告并讨论实验结果。最后，第六部分对本文进行了总结，并提出了未来的研究方向。