第1章导言

尽管网络连接设备时代的到来带来了许多技术上的突破，但这些设备的互连性质创造了对稳健机器学习的需求，这种机器学习对自然威胁和有针对性的行为者都有抵御能力。在最近的2020年报告中，美国国家科学技术委员会写了一份报告[1]，概述了人工智能是如何改变网络战争格局的，详细说明了网络系统将如何在人在回路中的操作者的协助下自动进行攻击和保卫网络空间。通过我在政府研究实验室、私人国防承包商、微软的高级威胁保护团队和亚马逊的欺诈检测和风险交易团队的不同研究经验，很明显，人工智能正在改变整个公共和私营部门的网络安全和医疗保健。问题是，我们如何健全人工智能，以抵御这一巨大的威胁局面？这篇论文通过开发稳健的模型、算法、数据库和工具来解决网络安全和医疗保健方面的大规模社会问题，通过解决影响数百万人的现实世界问题来推进最先进的技术。表1.1中列出了这项研究的出版物和工作。

1.1 论文概述

我们对论文进行了概述，列出了我们解决的问题，并对我们的贡献进行了总结。我们的研究分组为四个相互关联的主题，这些主题构成了论文的主旨。

第一部分：稳健工具

图的脆弱性和稳健性。A Survey. Scott Freitas, Diyi Yang, Srijan Kumar, Hanghang Tong, Duen Horng Chau. [审查中] IEEE知识与数据工程期刊(TKDE), 2021. https://arxiv.org/pdf/2105.00419.pdf(第二章)
使用TIGER评估图的脆弱性和稳健性。Scott Freitas, Diyi Yang, Srijan Kumar, Hanghang Tong, Duen Horng Chau. ACM信息与知识管理国际会议（CIKM），2021年。https://arxiv.org/abs/ 2006.05648（第三章）

第二部分：稳健算法

D2M：网络中对抗性运动的动态防御和建模。Scott Freitas, Andrew Wicker, Duen Horng Chau, Joshua Neil. SIAM国际数据挖掘会议（SDM），2020年。https://arxiv.org/abs/2001.11108（第四章）

第三部分：稳健数据库

图形表征学习的大型数据库. Scott Freitas, Yuxiao Dong, Joshua Neil, Duen Horng Chau. 神经信息处理系统（NIPS）数据集和基准，2021。https://arxiv.org/abs/2011.07682（第五章）
恶意软件的大规模图像数据库。Scott Freitas, Rahul Duggal, Duen Horng Chau. [提交给]知识发现与数据挖掘(KDD)，2022年。https://arxiv.org/abs/2102.01072 (第六章)

第四部分：稳健模型

UnMask: 通过稳健的特征排列进行对抗性检测和防御。Scott Freitas, Shang-Tse Chen, Zijie J. Wang, Duen Horng Chau. IEEE大数据国际会议（Big Data），2020年。https://arxiv.org/abs/2002.09576（第七章）
REST: 用于野外睡眠监测的稳健而高效的神经网络。Rahul Duggal*, Scott Freitas*, Cao Xiao, Duen Horng Chau, Jimeng Sun. 网络会议（WWW）论文集，2020年。*两位作者对这项研究的贡献相同。https://arxiv.org/abs/2001.11363（第八章）。

1.1.1 第一部分：工具

来自犯罪组织和民族国家行为者的攻击活动正迅速成为最强大的破坏形式之一。仅在2016年，恶意的网络活动使美国经济损失了570亿至1090亿美元。这些网络攻击通常非常复杂，以政府和大型企业为目标，中断关键服务并窃取知识产权。这导致了对新的网络安全防御系统的呼吁，该系统可以使网络安全知识和工具民主化，这些知识和工具分散在不同的技术领域，或由少数行业实验室拥有。

图脆弱性和稳健性：一个调查（第二章）。我们对网络稳健性的作用进行了调查，它是描述和理解基础设施、通信和社会网络等复杂互联系统的关键工具。我们发现，目前对关键稳健性问题的回答分散在多个科学领域和众多论文中。在这份调查报告中，我们提炼了众多领域的关键发现，并为研究人员提供了获取重要信息的重要途径--（1）总结和比较最近的和经典的图稳健性措施；（2）探索哪些稳健性措施最适用于不同类别的网络（如社会、基础设施）；（3）回顾常见的网络攻击策略，并总结哪些攻击在不同的网络拓扑结构中最有效；以及（4）广泛讨论如何选择防御技术来减轻各种网络的攻击（视觉概览见图1.1）。这份调查报告指导研究人员和从业人员在广阔的网络稳健性领域中进行导航，同时总结了对关键问题的答案。

图1.1: 所调查的稳健性工作的直观概述

使用TIGER评估图的脆弱性和稳健性（第三章）。在广泛调查了图的脆弱性和鲁棒性领域后，我们发现，图稳健性研究的跨学科性质往往意味着一个领域的重要发现没有迅速传播到其他领域，阻碍了现有工作的可重复性和检查、新研究的发展和新思想的传播。不幸的是，目前还没有一个全面的开源工具箱来帮助研究人员和从业人员解决这个重要的课题。我们相信，一个统一的、易于使用的软件框架是规范网络稳健性研究的关键，有助于加速可重复的研究和思想的传播。通过分析和理解这些网络的稳健性，我们可以。(1）量化网络的脆弱性和稳健性，（2）增强网络的结构以抵抗攻击并从失败中恢复，以及（3）控制网络上实体的传播（如病毒、宣传）。我们贡献了TIGER，一个开源的Python工具箱来应对这些挑战。TIGER包含22种图的稳健性措施，有原始版本和快速近似版本；17种故障和攻击策略；15种基于启发式和优化的防御技术；以及4种模拟工具（见图1.2，了解TIGER中的一种模拟和防御工具）。通过将研究网络稳健性所需的工具民主化，我们的目标是帮助研究人员和从业人员分析他们自己的网络；并促进该领域新研究的发展。

图1.2：TIGER为图的脆弱性和稳健性研究提供了许多重要工具，包括图的稳健性措施、攻击策略、防御技术和模拟模型。在这里，一个TIGER用户正在可视化一个计算机病毒模拟，它遵循SIS感染模型（有效强度s=3.21）在Oregon-1自治系统网络上[4] 。上图：用Netshield[5]只对5个节点进行防御，感染实体的数量几乎降为零。底部：没有任何防御措施，病毒仍然流行。

1.1.2 第二部分：算法

通过调查和TIGER工具箱的开发，我们发现网络稳健性研究主要集中在研究社会网络和基础设施网络的算法开发上，但未能解决网络安全领域的重要问题。特别是，作为第一步，我们选择通过研究企业网络中的认证图对横向攻击（D2M）的稳健性来解决这个问题。我们与微软高级威胁防护（ATP）小组的研究人员、工程师和威胁猎手合作，开发了D2M，这是第一个图论框架，系统地量化了网络对横向攻击的脆弱性，并确定了有风险的设备（见图1.3）。这是一个影响很大的问题，因为一旦攻击者破坏了企业机器的单一凭证，整个网络就容易受到横向攻击的移动，使对手最终获得对网络的控制（即通过凭证窃取升级权限）。

图1.3：D 2M框架:1. 从设备认证历史中建立一个认证图；2.允许安全分析师测试不同的攻击策略，研究网络漏洞；3.识别有风险的机器进行监控，预先阻止横向攻击。

D2M：网络中对抗性运动的动态防御和建模（第四章）。我们的调查和工具箱显示，现有工作忽略了对计算机认证网络的横向攻击。我们开发了D2M，这是第一个算法框架，通过从图论的角度对横向攻击的运动进行建模，来量化和减轻网络对横向攻击的脆弱性。我们制定了一种新颖的蒙特卡洛方法，将网络对横向攻击的稳健性计算为网络拓扑结构的概率函数，然后开发了一套五种快速图挖掘技术来识别有横向攻击风险的企业机器。尽管横向攻击很普遍，但由于多种原因，观察和分析这些攻击是具有挑战性的：（1）与不成功的攻击相比，横向攻击仍然是相对稀少的；（2）攻击的基本事实很难确定，一般是通过调查而部分发现；（3）由于对手已经拥有网络的有效凭证，攻击者可以作为合法用户进行操作。虽然真实的攻击数据确实存在--由于上述挑战，它很少是完全可见的，或可获得的，这使得对 "完整 "攻击的研究变得非常有问题。D 2M对微软防御者高级威胁保护产品产生了重大影响，激发了对该产品检测和防止横向移动方法的改变，众所周知，横向移动是入侵后检测中最具挑战性的领域之一。

1.1.3 第三部分：数据库

为了完全防止横向攻击（第1.1.2部分），我们创建了两个新的网络安全数据库，以便开发下一代的恶意软件检测模型。我们开发了世界上最大的网络安全图形数据库--包含696个类别的120多万个图形，并展示了第一个大规模的结果，证明了通过图形媒介检测恶意软件的有效性（MALNET-GRAPH）。然后，我们在MALNETGRAPH的基础上，构建了最大的二进制图像网络安全数据库--包含120万张图像，比其他唯一的公共数据库多24倍的图像--使恶意软件检测和分类研究有了新的发现，以前只限于少数行业实验室（MALNET-IMAGE）。

图表示学习的大规模数据库（第5章）。大多数恶意软件样本具有多态性，这意味着原始恶意软件变体中细微的源代码变化会导致明显不同的编译代码（例如，指令重排、分支倒置、寄存器分配）。网络犯罪分子经常利用这一点来逃避基于签名的检测，这是一种主要的恶意软件检测形式。幸运的是，这些微妙的源代码变化对可执行文件的控制流影响很小，可以用函数调用图表示。研究表明，函数调用图（FCG）可以通过图形匹配和表示学习等技术有效地击败恶意软件的多态性。

不幸的是，主要由于数据的专有性，没有大规模的FCG数据集被公开提供。我们介绍MALNET-GRAPH，这是有史以来最大的公共图表示学习数据库，代表了软件函数调用图的大规模本体。MALNET-GRAPH包含超过120万个图，平均每个图有17000个节点和39000条边，跨越47种类型和696个家族的层次。与其他唯一的公共FCG数据库相比，MALNET-GRAPH提供了927倍的图，平均22倍大的图和348倍的类（见图1.4的图表示学习数据库比较）。我们对MALNET-GRAPH进行了详细的分析，讨论了它的属性和出处，同时对最先进的机器学习和图神经网络技术进行了评估。MALNET-GRAPH前所未有的规模和多样性为通过图形表示学习推进网络安全的前沿提供了令人兴奋的机会--使我们能够对不平衡分类、可解释性和类硬度的影响有新的发现和研究。

图1.4: MALNET-GRAPH：推进先进的图数据库。MALNET-GRAPH包含1,262,024个函数调用图，平均每个图有17,242个节点和39,043条边，涉及47种类型和696个家族的恶意软件。

一个大规模的恶意软件图像数据库(第6章）。随着基于图像的二进制表示法的兴起，计算机视觉在自动化恶意软件检测中正发挥着越来越重要的作用。这些二进制图像生成速度快，不需要特征工程，而且对流行的混淆方法有弹性。在这一领域已经进行了大量的研究，然而，这些研究仅限于小规模或私人数据集，只有少数行业实验室和研究团队能够获得。这种可用性的缺乏阻碍了对现有工作的检查、新研究的发展和思想的传播。我们发布了MALNET-IMAGE，这是最大的公共网络安全图像数据库，提供了比现有数据库多24倍的图像和70倍的类别（可在https://mal-net.org ）。MALNET-IMAGE包含超过120万张恶意软件图像--横跨47种类型和696个家族--通过使研究人员和从业人员能够评估以前在专有环境下报告的技术，使基于图像的恶意软件能力民主化。我们报告了第一个百万规模的二进制图像的恶意软件检测结果。MALNET-IMAGE为推进机器学习的前沿领域提供了新的和独特的机会，使基于视觉的网络防御、多类不平衡分类和可解释的安全成为新的研究方向。

1.1.4 第四部分：模型

深度学习在网络安全和医疗保健领域得到了快速发展，因为它在各种挑战性任务上具有最先进的性能。然而，这些高度先进的架构很容易受到对手的操纵，导致各种系统故障的发生。我们的研究通过稳健的深度学习模型的视角，解决了网络安全和医疗保健领域的两个影响巨大的社会问题--包括：（1）通过创建稳健的模型，将人类的视觉感知和认知系统与机器智能的视觉感知和认知系统紧密结合起来，保护计算机视觉系统，如自动驾驶汽车上的系统（UNMASK）；以及（2）开发噪声稳健的深度学习模型，使我们能够在早期阶段在自己的家中检测睡眠障碍（REST）。通过UNMASK，我们开发了深度学习模型来识别图像数据中的稳健特征，我们将这一想法应用于医疗环境，我们开发了针对脑电数据中稳健信号信息的模型，以实现噪声稳健的睡眠监测。

UnMask: 通过稳健的特征排列进行对抗性检测和防御（第七章）。为了保护计算机视觉系统免受对抗性攻击，例如那些自动驾驶汽车，我们开发了UNMASK，一个对抗性检测和防御框架。UNMASK通过语义一致性对齐来对抗对抗性攻击--从图像（如 "鸟"）中提取稳健的特征（如喙、翅膀、眼睛）并将它们与预期的分类特征对齐。例如，如果 "鸟 "图像的提取特征是车轮、鞍座和框架，该模型可能受到攻击（见图1.5）。UNMASK检测到这种攻击，并通过纠正错误的分类来保护模型，根据其强大的特征对图像进行重新分类。我们的广泛评估表明，UNMASK检测到高达96.75%的攻击，并通过对当前最强的攻击--投影梯度下降--在灰盒设置中产生的高达93%的对抗性图像进行正确分类来保护模型。在8个攻击向量中，UNMASK提供的保护明显优于对抗性训练，平均准确率高出31.18%。

图1.5：UNMASK通过从图像（顶部的 "自行车"）中提取稳健的特征，并将其与未受保护的模型中的预期分类特征（底部的 "鸟"）进行比较，来打击对抗性攻击（红色）。低特征重合是攻击的信号。

REST：用于野外睡眠监测的稳健而高效的神经网络（第8章）。多达7000万美国人患有睡眠障碍，影响了他们的日常功能、长期健康和寿命。睡眠剥夺和睡眠障碍的长期影响包括增加高血压、糖尿病、肥胖、抑郁症、心脏病和中风的风险。在美国，仅未诊断的睡眠呼吸暂停的成本估计就超过1000亿。为了解决这个问题，人们对在医疗保健领域整合深度学习技术给予了极大关注。然而，为了安全和实际地部署用于家庭健康监测的深度学习模型，必须解决两个重大的挑战：模型应该是（1）对噪音的鲁棒性；和（2）紧凑和节能。我们提出了REST，一种同时解决这两个问题的新方法：1）对抗性训练和通过频谱正则化控制神经网络的Lipschitz常数，同时2）使神经网络 2）通过稀疏性正则化实现神经网络的压缩（见图1.6）。我们证明，REST产生了高度稳健和高效的模型，在有噪声的情况下，大大超过了原来的全尺寸模型。对于单通道脑电图（EEG）的睡眠分期任务，REST模型在存在高斯噪声的情况下实现了0.67的宏观F1得分，而最先进的模型则为0.39，同时在两个大型的真实世界EEG数据集上获得了19倍的参数减少和15倍的MFLOPS减少。通过将这些模型部署到智能手机上的安卓应用中，我们定量地观察到REST使模型实现了高达17倍的能量减少和9倍的推理速度。

图1.6：REST概述。(左起）当一个属于REM（快速眼动）睡眠阶段的嘈杂EEG信号进入一个容易受到噪声影响的传统神经网络时，它会被错误地归类为Wake睡眠阶段。另一方面，同样的信号被REST模型正确地归类为REM睡眠阶段，该模型既稳健又稀疏。(右起）REST是一个三步过程，包括（1）用对抗性训练、频谱正则化和稀疏正则化训练模型（2）修剪模型和（3）重新训练紧凑模型。

1.2 论文声明

通过开发稳健性机器学习的视角，解决网络安全和医疗保健方面的大规模社会问题：

1.指导和协助研究人员在复杂的图谱稳健性领域中进行导航的工具。

2.量化网络对横向攻击的脆弱性并指导企业系统防御资源分配的算法。

3.能够开发下一代强大网络安全防御系统的数据库。

4.对噪音和对手操纵具有稳健性的模型，有助于防范突袭和灾难性的失败。

1.3 研究贡献

新的图算法和深度学习模型。

我们构建了D2M，这是第一个系统地量化网络对横向攻击的脆弱性并识别有风险设备的图论框架（第四章）。
我们开发了REST，这是第一个专为家庭睡眠监测设计的噪声稳健和高效的深度学习模型，通过（1）对抗性训练和（2）频谱正则化赋予模型噪声稳健性；通过（3）稀疏正则化实现压缩，促进能源和计算效率（第八章）。
我们贡献了UNMASK，这是第一个使用语义一致性的深度学习框架，通过量化图像提取的特征与预测类的预期特征之间的相似性来检测和击败对抗性攻击（第七章）。

大规模的数据库。

我们介绍了MALNET-GRAPH，这是有史以来最大的公共图数据库，代表了软件功能调用图的大规模本体。MALNETGRAPH包含超过120万个图，平均每个图有17000个节点和39000条边，横跨47种类型和696个家族的层次。与流行的REDDIT-12K数据库相比，MALNET-GRAPH提供了105倍的图，平均大44倍的图，以及63倍的类（第5章）。
我们介绍MALNET-IMAGE，这是最大的公开可用的网络安全图像数据库，比现有的数据库提供了24倍的图像和70倍的类别。MALNET-IMAGE的规模和多样性为计算机视觉界带来了新的和令人兴奋的网络安全机会--通过使研究人员和从业人员能够评估以前在专有环境下报告的技术，使基于图像的恶意软件能力民主化。(第六章）。

开源工具和知识库。

我们贡献了TIGER，这是第一个开源的Python工具箱，用于图形脆弱性和稳健性分析。TIGER包含了22种图的鲁棒性措施，包括原始版本和快速近似版本；17种失效和攻击策略；15种启发式和基于优化的防御技术；以及4种模拟工具（第3章）。
我们以调查报告的形式提炼了众多图脆弱性和鲁棒性领域的关键发现，为研究人员提供了获取关键知识的途径--（1）总结近期和经典的图鲁棒性措施；（2）探索哪些鲁棒性措施最适用于不同领域（如社会、基础设施）；（3）审查不同网络拓扑结构的攻击策略有效性；以及（4）广泛讨论选择防御技术来减轻攻击（第二章）。

1.4 影响

D2M（第四章）对微软卫士高级威胁防护产品产生了重大影响，激发了该产品检测和防止横向移动的方法的变化，众所周知，横向移动是入侵后检测中最具挑战性的领域之一。
TIGER（第三章）已被纳入Nvidia数据科学教学套件，提供给世界各地的教育工作者；以及佐治亚理工学院的数据和视觉分析课，有超过1000名学生。
UNMASK（第七章）帮助赢得了数百万美元的DARPA GARD（保证人工智能对欺骗的稳健性）拨款。
MALNET-GRAPH（第五章）代表了世界上最大的图表示学习数据库，使人们能够对不平衡分类、可解释性和类硬度的影响有新的研究和发现。
MALNET-IMAGE（第六章）是世界上最大的二进制图像数据库，为推进基于视觉的网络11防御、多类不平衡分类和可解释安全的前沿领域提供了新的和独特的机会。

我们在图形挖掘、深度学习、网络安全和医疗保健方面的创新得到了IBM博士奖学金、雷神奖学金和美国国家科学基金会研究生研究奖学金（GRFP）的认可和投资。