可信机器学习，UIUC安全学习实验室在线分享

2022 年 10 月 31 日 机器之心

机器之心知识站与国际顶尖实验室及研究团队合作，将陆续推出系统展现实验室成果的系列技术直播，作为深入国际顶尖团队及其前沿工作的又一个入口。赶紧点击「阅读原文」关注起来吧！

近年来，人工智能领域经历了一系列深刻的技术变革，广泛改变了人类社会的生产生活。但这些落地的实际应用也带来了新的担忧，安全性与可靠性愈发重要。比如在自动驾驶中，缺乏安全性与可靠性的深度学习系统将会招致严重的安全事故。对于一些大型预训练语言模型，尽管在众多自然语言处理任务中取得了巨大的成功，但仍有研究发现，这些模型容易受到对抗样本的攻击。

伊利诺伊大学安全学习实验室SL2(Secure Learning Lab) 由助理教授李博以及12名博士生和2名博士后组成，实验室隶属于计算机系。SL2实验室致力于可信赖机器学习，关注可验证的机器学习的安全性、隐私保护、公平性、可泛化性等以及它们之间的本质联系，同时关注并引领未来可信赖机器学习算法和模型大规模部署和应用。

SL2实验室的研究成果重点是构建可验证性的可信机器学习算法、平台和系统。目前实验室的研究成果在自动驾驶、智慧医疗等对安全性质要求颇高的应用中已得到应用与验证。

为了帮助大家了解这一领域最新进展，最新一期「机器之心走近全球顶尖实验室」邀请到来自伊利诺伊大学安全学习实验室的多位成员，他们将在11月1日至11月3日连续三天带来线上分享，分享内容包括大规模可验证可信深度学习、后门攻击及针对其的可验证模型鲁棒性、自动驾驶汽车的危险场景测试与安全评估等。

11月1日 10:00-10:10

开场介绍

开场嘉宾： 李博，伊利诺伊大学厄巴纳-香槟分校计算机科学系助理教授。她曾荣获许多学术奖项，包括麻省理工学院技术评论 MIT TR-35 、Alfred P. Sloan 斯隆研究奖、NSF CAREER 奖，英特尔新星奖、赛门铁克研究实验室奖学金、Dean's Award for Excellence in Research, C.W. Gear Outstanding Junior Faculty Award，并获得来自Amazon、Facebook、谷歌、英特尔和 IBM 等科技公司的学术研究奖。她的论文曾获多个顶级机器学习和安全会议的最佳论文奖；研究成果还被永久收藏于英国科技博物馆。李博的研究侧重于可信赖机器学习、计算机安全、机器学习、隐私和博弈论的理论研究和实践分析。她曾设计多个鲁棒性机器学习算法及和隐私保护数据发布系统。她的工作曾被《自然》、《连线》、《财富》和《纽约时报》等主要媒体报道

个人主页： http://boli.cs.illinois.edu/

11月1日 10:10-10:40

大规模可验证可信深度学习

分享嘉宾： 李林翼，伊利诺伊大学厄巴纳-香槟分校计算机系五年级博士生，导师是李博教授，共同指导老师是谢涛教授。李林翼的研究方向为机器学习与计算机安全。具体地，他研究如何构建可验证的可信深度学习系统。他的论文发表于 ICML、NeurIPS、ICLR、CCS、S&P 等国际会议，被授予 AdvML Rising Star、UChicago Data Science Rising Star 等奖项。

分享摘要： 可验证深度学习为大规模的学习系统提供强安全性和可靠性保证。本次分享将着重介绍两个框架：TSS与CROP。TSS 框架针对图像分类问题，在广泛存在的图像变换扰动下提供鲁棒性保证，CROP 为深度强化学习系统在状态扰动的环境下提供鲁棒性保证。

11月1日 10:40-11:20

后门攻击及针对其的可验证模型鲁棒性

分享嘉宾： 徐晓骏，伊利诺伊大学厄巴纳-香槟分校五年级博士生，导师为李博教授和Carl A. Gunter教授。徐晓骏当前的主要研究方向为机器学习模型训练时的安全性保证，以及可验证的机器学习鲁棒性，从而为大型机器学习模型在实际生活中的应用提供安全保障。

分享摘要： 近年来机器学习技术不断发展，已经在许多领域取得了成果。然而机器学习模型的训练需要大量数据和计算资源，为此，很多人会使用他人共享的数据集或训练完成的模型。这种共享行为会导致许多安全隐患，比如一种著名的攻击——后门攻击。攻击者能通过修改训练集或模型参数，在模型中加入后门并共享给他人。这类后门模型在普通的输入上表现正常，然而，当输入中包含特殊的触发图案时，模型就会被攻击者操纵而产生错误输出。本次分享会介绍两种防御措施，一种是在测试时的检测模型，从而判断当前模型是否含有后门；另一种是在训练时的可验证鲁棒训练算法，使得训练者即使在后门数据集上也能训练出良好的模型。

11月1日 11:20-11:50

可信赖的联邦学习及其鲁棒性和隐私性

分享嘉宾： 谢楚琳，伊利诺伊大学厄巴纳-香槟分校三年级博士生，导师为李博教授。她当前的研究方向为可信赖机器学习和联邦学习，包括模型鲁棒、隐私、公平以及泛化性。她在相关领域的论文被接受到ICLR、ICML、NeurIPS、CVPR、TPAMI等。她于2020年本科毕业于浙江大学。

分享摘要 ：本次分享会先介绍针对联邦学习的分布式后门，再介绍对于联邦学习鲁棒性验证的统一框架，最后揭示联邦学习的差分隐私与可验证鲁棒性之间的联系。

11月2日 10:00-10:30

自然语言处理模型的鲁棒性、隐私保护及其他可信赖问题

分享嘉宾： 汪博欣，伊利诺伊大学厄巴纳-香槟分校计算机系四年级博士生。他的研究兴趣是希望探索目前机器学习模型的缺点，缩短可信机器学习在理论分析和实际场景的差距，同时构建更加稳健、更加保护用户隐私、更具泛化性的机器学习模型。他在相关领域有数十篇论文被接受到人工智能领域、自然语言处理领域和信息安全领域的顶级会议上，包括 NeurIPS、ICLR、ICML、CCS、EMNLP 等等，同时也在多个顶级会议（NeurIPS、ICLR、ICML、ACL、EMNLP 等）上担任程序委员和领域主席。

分享摘要： 尽管目前大规模预训练的语言模型已经在众多自然语言处理的任务中取得了巨大的成功，最近的一系列研究发现这些模型在可信任机器学习视角暴露了诸多问题。我们的工作分别从机器学习和自然语言模型的鲁棒性、隐私保护和伦理问题角度出发，进行了深入全面的探索，并提出了新的算法来解决上述的挑战。

11月2日 10:30-11:00

自动驾驶汽车的危险场景测试与安全评估

分享嘉宾： 徐彻鉴，伊利诺伊大学厄巴纳-香槟分校计算机系一年级博士生，导师是李博教授。他的研究方向包括可信赖机器学习、自动驾驶、强化学习等。他曾在相关领域顶级会议发表多篇论文，包括 NeurIPS、ICLR、NAACL、IJCAI 等。他曾是 NeurIPS 2022 学者奖的获得者。个人主页： https://xuchejian.com 。

分享摘要： 本次分享主要介绍当前自动驾驶中危险场景的生成、安全评估统一平台SafeBench的设计与功能，自动驾驶系统安全性评估指标以及深度强化学习算法安全性的理论证明与分析。

11月3日 10:00-10:30

机器学习安全：后门攻击和防御

分享嘉宾： 贾进元，伊利诺伊大学厄巴纳-香槟分校博士后，师从李博教授。他将于 2023 年 7 月加入宾夕法尼亚州立大学信息科学与技术学院担任助理教授。贾进元于2022 年从杜克大学获得了博士学位，于2016 年从中国科学技术大学获得学士学位，其研究涉及安全、隐私和机器学习，最近重点关注二者之间的交叉。

分享摘要： 在本次演讲中，我将介绍后门攻击以及防御方法。在第一本分，我将介绍 BadEncoder来攻击自监督学习。我们的攻击表明，不安全的预训练编码器会导致 AI 生态系统出现单点故障。在第二部分，我将介绍针对联邦学习的后门攻击新的防御范式。