【动态】“人工智能安全与隐私”系列论坛第九期圆满落幕

2021 年 11 月 29 日 中国图象图形学学会CSIG

11月23日，由深圳市大数据研究院、中国图象图形学学会主办，第九期由中山大学网络空间安全学院、中国图象图形学学会视觉大数据专委会承办，香港中文大学（深圳）数据科学学院，深圳市人工智能学会协办的“人工智能安全与隐私”系列论坛第九期圆满落下帷幕。此次报告由中山大学网络空间安全学院院长、中科院信工所研究员、国家杰青操晓春和博士生梁思源主持，西安交通大学网络空间安全学院副院长、国家优青沈超教授围绕AI系统的风险分析和安全测试展开了讨论。

直播录像请见：

https://www.bilibili.com/video/BV1TS4y1X7bf?from=search&seid=13829606951741761540&spm_id_from=333.337.0.0

本次论坛采用哔哩哔哩线上直播形式+线下模式，在港中大深圳数据科学学院副教授、深圳市大数据研究院大数据安全计算实验室主任吴保元教授的简要介绍下，"人工智能安全与隐私"系列论坛第九期于11月23日上午正式拉开帷幕。深圳市大数据研究院执行院长李平院长、港中大深圳数据科学学院执行院长查宏远院长、中国科学院自动化所研究员、中国图象图形学学会视觉大数据专委会秘书长赫然秘书长致开幕辞。紧接着，操晓春教授介绍了中山大学网络安全学院的基本情况以及会议日程安排。

人工智能浪潮正在深刻赋能人类生产和生活的各个方面，基于“深度学习+大数据+高性能计算”的解决方案为许多复杂任务（例如无人驾驶、视觉处理等）提供了有效解决途径，在某些特定领域其能力已经接近甚至超越人类。然而在美好蓝图之下，AI系统本身及其在数据、模型和代码等方面的可信问题也逐渐暴露出来，AI系统的风险与安全已经成为一个不容忽视的问题。本次报告将分析AI系统所面临的风险，并讨论AI系统的安全测试。

沈超教授首先简单介绍了研究AI系统安全风险的重要性，2010年至今已经有多个案例表明深度学习算法虽然迅速发展并且应用广泛，但是仍然面临安全隐患。例如，亚马逊AI招聘算法涉性别歧视，谷歌AI将黑人识别成大猩猩，多款AI医疗软件存在偏见，COMPAS犯罪预测算法种族歧视等等。

接下来，沈超教授通过几个AI事件分析了各个场景下的AI风险，例如利用闭合虚实线妨碍自动驾驶的逻辑炸弹，如下图所示：

对于AI系统面临的安全风险，沈教授从输入、数据预处理、机器学习网络模型、应用4个角度进行了分析，并且研究了AI测试与问题修复：

接下来，沈超教授分析了AI系统的安全风险。例如如何黑盒的测试机器学习的公平性并且介绍了一种基于DNN替代模型的黑盒公平性检测工具BDF。该工具以查询限制低，效率高作为亮点。通过真实系统下的 BDF公平性测试，针对含偏见实例，从用户和开发者两个身份的角度进行分析和建议。

在数据预处理环节，沈教授介绍了一种降维攻击。这种攻击方法通过数据缩放，使得缩放后的图像里存在有“狼”的残影，使得机器将图片仍然识别为“羊”。这种新型攻击形式使得伪装难以被发现。

对于后门攻击，沈教授团队也提出了一种物理后门攻击。该方法针对人脸系统使用一种物理后门攻击方法在特征空间的触发器实现后门植入。另外，沈教授也分析了后门检测的主要关注环节：模型部署/集成以及模型推断。通过摄动输入聚类分析、隐层输出预测分析、智能模型参数分析三个维度的阐明了他们的适用性和局限性。

沈教授介绍了机器学习框架中存在的大量脆弱性问题，这些问题也带来了严重的安全威胁。随着机器学习框架的广泛使用，由于这些源码存在大量安全隐患，所以也严重危害了系统安全。

最后，对于AI系统的安全测试与修复，沈教授团队开发了一种深度学习训练问题自动检测与修复工具。通过监控深度学习的训练状态以确保训练问题可以被及时发现。改工具采取的基本路线是，通过“实时监控+自动修复”推演到“检测、修复模型训练问题”。

沈教授报告结束后，在操晓春教授以及博士生梁思源的主持下与会成员与线上观众就AI后门及模型窃取中的一些问题展开了深入探讨。沈教授一一回答了与会成员与线上观众的一些问题，例如，后门触发器和对抗攻击中的特征关系是怎样的？能否利用对抗防御手段去防御后门？针对系统的攻击存在查询次数和IP上的限制，这和基于查询的黑盒攻击的区别在哪里？这一系列问题再一次表明了听众对于安全风险研究的热情。

来源：CSIG视觉大数据专委会