清华找到了Deepfake的正确打开方式：给医疗视频数据换脸，保护患者隐私

郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI

Deepfake，在你的印象里它可能一直是一个“邪恶”的AI应用：

把女明星的脸悄悄换到不可描述的视频上；

把政治人物的演讲内容改成挑事儿的言论；

把流量小明星的脸不劳而获的贴到别人拍好的电视剧里；

……

现在，终于有人发现了Deepfake的正确打开方式：

为了保护患者隐私，把医疗视频数据里的人脸Deepfake成别人，这样患者就不会被不相干的人发现自己患病的事实，涉及隐私的医疗数据集也可以公开化，给医疗AI的研究者们拿去炼丹了。

真是机智，同样的工具，换个用法，就能让它不再作恶，而是为社会做贡献。

这个想法来自清华大学神经调控国家工程实验室，研究者们实验后将它写成了论文，发表在了AIES上。

为什么要用Deepfake处理医疗数据

在远程医疗，或者训练AI诊病模型的时候，肯定是需要把患者的状况拍成照片或者录成视频的。但是，如果这些数据被公开，或者被不怀好意的人窃取，那病人的隐私就暴露了。

但说到这里你可能会懵逼，为什么要换掉人脸？如果担心因为看脸认出患者是谁，那把人脸的部分裁掉或者打马赛克不就好了？

但是，别忘了，人的脸也是身体的一部分，也会生病，一些疾病也会体现在脸上，如果患者的面部肌肉生了病，那把脸打上马赛克就无法看出面部肌肉的运动状况，数据也就不完整了。

为了保留面部运动，可以使用3D关键点的方法。

没错，就是大家熟悉的人脸识别中的那个关键点。用这种方法，不直接展示患者的脸，而是展示患者面部的关键点，那看着关键点网格，谁也认不出来这是谁。

但是，一些疾病需要更多的面部细节。

比如帕金森这种运动障碍类疾病，很多症状就是体现在人脸上的，比如帕金森患者会出现面部震颤、运动迟缓的状态，这个时候要是把人脸全打了马赛克，那就看不出这些症状了。

这个时候，Deepfake就是一种很好的解决方案。直接把病人数据里的脸，换成一个假脸，那么一方面可以保留数据中人脸的运动表现方式，一方面也没人能看出这究竟是谁患了病，鱼与熊掌，可以得兼。

换脸方案

想到这个高端操作后，研究者们就开始换脸了。

用到的第一个工具是Faceswap，输入的人脸被编码器处理后成为表示向量，向量被解码后重新创建为人脸。训练过程中，编码器在两个人脸对象之间共享，解码器则是分别的。

另外，还需要Openpose来完成人体关键点检测，借助dlib-face来识别人脸。

另外，数据方面，用到的是Google JigSaw的Deepfake监测数据集。

整个方法有四个步骤：

1、找一个病人X和一个开源数据集人物Y的视频；

2、拿这两个人的视频来训练Faceswap模型，把X的视频输入到模型里，转化就后X的脸被搬到Y的脸上；

3、创建对照组，把脸分别变成黑色蒙面的效果和模糊的效果，再来一遍；

4、对步骤2和步骤3产生的4个视频用Openpose做关键点检测，评估关键点位置的变化。

确立了方法之后，研究人员用英伟达GTX TITAN X GPU来进行试验。

关键点检测的结果：

OKS分布图，换脸也优于其他方法：

作者介绍

这篇论文的作者，来自清华大学神经调控国家工程实验室，一作是清华博士生朱秉泉。

提起这个项目，朱秉泉介绍，她所在的实验室一直在和帕金森做斗争。实验室主任李路明教授研发了用于治疗帕金森的脑起搏器技术，也凭借这个项目获得了2018年的国家科学技术进步一等奖。

而李路明教授的脑起搏器技术中，一个重要的发明就是可以通过网络远程控制帕金森患者体内植入的刺激器参数，这样偏远地区的患者在当地医院就可以完成参数调整，不必跑到医疗资源丰富的大城市来。

既然远程诊断已经实现了，那能不能更进一步，借助AI来实现帕金森自动诊断呢？

但由于帕金森诊断需要患者面部视频数据，考虑到患者隐私保护的问题，公开的数据集非常少，即使多年的帕金森研究让这个实验室团队积累了不少帕金森患者视频数据，但也无法公开使用。

于是，曾经师从李飞飞的实验室助理教授眭亚楠（也是论文三作）想到，或许可以借助GAN这一类AI技术，对数据集做修改，这样既保护了患者的隐私，又能让这些数据集得以公开应用在医疗AI的研究中。

就像用平移、裁剪、缩放等方式实现数据扩增一样，经过Deepfake处理之后，原本无法公开的数据集就可以被学术界使用，训练自动诊断AI模型也就有了更丰富的数据集。

看来，Deepfake这个AI技术，自己也可以为AI的发展做贡献啊。

研究团队认为，“换脸技术本身没有善恶之分，它引发的后果好坏取决于应用场景。我们正在积极推动换脸技术的善意用途：保护患者隐私。”

现在，这个团队也在考虑能否将Deepfake技术用在远程问诊的实时过程中，以保护患者隐私。

传送门

Deepfakes for Medical Video De-Identification: Privacy Protection and Diagnostic Information Preservation
作者：Bingquan Zhu, Hao Fang, Yanan Sui, Luming Li
链接：https://arxiv.org/abs/2003.00813

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

报名 | 智慧生活行业私享会

欢迎报名，与峰瑞资本、石头科技、网易有道、思必驰、九号机器人、视感科技、云丁科技等企业高管，共同探讨如何借力资本市场、把握行业趋势，打造全场景智慧生活：

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !