删数据,还要删AI模型:美国科技公司遭遇最严厉隐私泄露处罚

2021 年 1 月 23 日 机器之心

机器之心报道

编辑:张倩、泽南

「想象一下 Facebook 或 Google 这样的公司被要求删除其类似算法会是什么结果。可能最后删得核心模型都不剩了。」

近日,美国联邦贸易委员会(Federal Trade Commission ,FTC)公布了一项特殊的处罚决定:勒令一家名为「Everalbum」的公司删除其从客户手中收集的照片, 以及利用这些数据训练出的所有算法



公告链接:
https://www.ftc.gov/enforcement/cases-proceedings/1923172/everalbum-inc-matter

勒令删除用户隐私数据倒不是什么新鲜事儿,但强制删除 AI 算法模型的案例我们还没怎么听说过。

「存储空间无限的云相册,AI 帮你整理照片」


Everalbum 成立于 2013 年,主要产品是一款名为「Ever」的相册软件。这一软件允许用户将移动设备、电脑上或社交媒体账户中的照片和视频上传到云端存储,声称可以帮助用户节省手机空间,但却未告知用户其真正的盈利模式。

能给用户提供免费且无限的照片存储空间,Everalbum 看起来「名副其实」,但天下哪有免费的午餐。


2017 年 2 月,Ever 应用中上线了一个名为「Friends」的功能,其使用面部识别技术将用户的照片按照内容自动分组,并允许用户自行标记照片中的人名。据称, Everalbum 在启动「好友」功能时在默认情况下为所有用户启用了面部识别,且无法手动关闭。


「整理好了,你的手机现在看起来是否轻盈了一些?」


2019 年,NBC News 等媒体曝出:「Ever」利用其收集的用户照片训练人脸识别算法,而且未在其隐私条款中写明,严重侵犯了用户的隐私权。此外,他们还将训练出的算法卖给了执法机关和军方。

这一信息的披露给 Ever 造成了很大的负面影响,不仅迫使其修订了隐私条款,公司的名称也改为「Paravision」,以远离纷争。

2020 年 8 月 31 日,「Paravision」宣布关闭 Ever,但对外公布的原因是「与谷歌和苹果默认服务之间日益加剧的竞争」。所有用户存储在云端的照片和视频都在当天被删除了,  Ever 只持续了 7 年时间。

在应用关闭之前的一个月,Paravision 还在推销自己的产品,声称其开发的口罩人脸识别算法在美国国家标准技术研究所(NIST)的人脸识别算法测试(FRVT)中获得了准确率第二的好成绩。


除了人脸识别解决方案,该公司还提供一系列活动识别工具。知名科技媒体 techcrunch 曾表示,「虽然面向消费者的应用已经关闭,但公司的业务似乎还在继续」。而且,这部分业务还相当成功。Crunchbase 数据库的资料显示,Paravision 成立至今已经进行了 5 论融资,融资额高达 2900 万美元。


媒体的曝光也引起了 FTC 的关注。经过一段时间的审查,FTC 公布了对于 Everalbum 的最终处理结果。

在 FTC 与 Paravision 达成的协议中,联邦贸易委员会指出,该创业公司的照片存储应用涉嫌欺骗消费者,违反了联邦贸易委员会法案(Federal Trade Commission Act)第 5a 条中禁止不公平或欺骗性行为和惯例的规定,开发商 Everalbum 同意对内容进行删除规制,作为拟议和解的一部分。


FTC 在公告中写道:「FTC 要求 Everalbum 放弃其通过欺骗手段得到的成果。具体来说,该公司必须删除其借助非法所得照片训练出的人脸识别技术。委员们此前曾投票允许这些违反数据保护法的人保留其借助非法所得数据构建的算法和技术,此次命令是一次重要的路线修正。」


这项决定可能会对 Paravision 的业务带来一些麻烦。据《连线》报道,该公司最近刚刚与美国空军签署了一项价值 200 万美元的合同。FTC 这项命令颁布之后,Paravision 之前开发的人脸识别算法将无法用于该合同,之后的其他业务也可能受到影响。


那些科技巨头怎么办?


这项决定得到了法律人士的支持。乔治城大学法律中心的 Lindsey Barrett 表示,「这是一种有意义的补救措施,可以让滥用公众隐私的业务成为一门有风险的业务,而不是像原来那样安全、有利可图」。

这一决定也可能对几家科技巨头产生重要影响。奥巴马前科技顾问 Ashkan Soltani 发文写道:「想象一下 Facebook 或 Google 这样的公司被要求删除其类似算法会是什么结果。可能最后删得核心模型都不剩了。」


在 FTC 发布这项命令之际,Facebook、Google 等科技巨头正面临严格的反垄断调查。它们的部分收益来自免费产品,而后者产生了大量的数据。这些数据的获取是否合法将决定其产品的去留。

目前看来,这些公司可能难逃指控。2019 年,谷歌因未经家长允许收集儿童信息被罚 1.7 亿美元。但当时,谷歌只被勒令删除了数据,算法和从数据中提取的信息得以保留。

此次命令的发布可能会改写类似诉讼的结局。Soltani 表示,「FTC 经常利用类似的小案件来确立规范和政策,以便日后在针对大公司的案件中使用。」 

也有人指出,这个命令执行起来是很困难的。因为你很难知道对方有没有真的将算法删除。「万一有个员工用 U 盘将算法拷回家,回头重新开个公司怎么办」。


看来,这项命令的颁布可能只是个开始,要想真正产生效果还有很多工作要做。

免费的数据,新的「石油」


Everalbum 虽然可能有点小众,但其免费使用、AI 自动分类的形式在今天看起来一点都不陌生,收集数据则更是所有 app 的常规动作。今年 1 月 8 日,Facebook 旗下 WhatsApp 推出的新隐私政策引起了用户们的关注,其中提到 app 收集到的数据已与第三方应用共享。


虽然新的条款中提到「WhatsApp 已不再与 Facebook 分享联系人信息」,但这是否意味着他们之间已不分享任何数据?当人们在不阅读用户条款直接点确定时,全部打钩分享了什么数据,部分同意又共享了哪些信息,我们还不甚清楚。


目前我们能够知道的是,尽管 WhatsApp 明确表示其无法阅读个人信息及语音通话内容,但它仍会收集另外一些数据,如在 WhatsApp 上进行互动的时间和频次,用户所属小组的名称等等。


免费的就是最贵的。


众所周知,在深度学习等 AI 技术大规模应用的今天,大量用户数据被科技公司仔细收集、分析和处理用于各种目的。大体量的数据也是Facebook、亚马逊、谷歌等科技巨头领先业界实力的一部分。英国数学家 Clive Humby 曾说道:「世界上最有价值的资源已不再是石油,而是数据。」


我们拥有的智能设备归自己所有,但其中生成的信息却归企业所有。每个应用程序都拥有对敏感数据的完全访问权限,因为我们已经同意它们的条款和条件,允许其收集数据。


如果为科技公司为收购你的数据开出了价格,你会选择出售吗?应该不会。但是现在,你正在免费这样做。


参考链接:
https://onezero.medium.com/the-ftc-forced-a-misbehaving-a-i-company-to-delete-its-algorithm-124d9f7e0307
https://www.nbcnews.com/tech/security/millions-people-uploaded-photos-ever-app-then-company-used-them-n1003371
https://www.natlawreview.com/article/ftc-settles-allegations-deceptive-practices-photo-storage-app-provider

AAAI 2021线上分享 | BERT模型蒸馏技术,阿里云有新方法
在阿里巴巴等机构合作、被AAAI 2021接收的论文《Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation 》中,研究者们提出了一种跨域自动数据增强方法来为数据稀缺领域进行扩充,并在多个不同的任务上显著优于最新的基准。
1月27日20:00 论文共同一作、阿里云高级算法专家邱明辉为大家详细解读此研究。
添加机器之心小助手(syncedai5),备注「AAAI」,进群一起看直播。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

登录查看更多
0

相关内容

人脸识别,特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。生物特征识别技术所研究的生物特征包括脸、指纹、手掌纹、虹膜、视网膜、声音(语音)、体形、个人习惯(例如敲击键盘的力度和频率、签字)等...
数据价值化与数据要素市场发展报告(2021年),53页pdf
专知会员服务
82+阅读 · 2021年5月30日
人工智能模型数据泄露的攻击与防御研究综述
专知会员服务
71+阅读 · 2021年3月31日
专知会员服务
51+阅读 · 2021年3月28日
756页美国国家安全AI战略报告
专知会员服务
175+阅读 · 2021年3月25日
专知会员服务
140+阅读 · 2021年3月13日
专知会员服务
27+阅读 · 2021年1月4日
专知会员服务
39+阅读 · 2020年12月20日
专知会员服务
112+阅读 · 2020年11月16日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
《哈奇法案》是什么?白宫顾问涉嫌违法?
财富中文网
4+阅读 · 2019年6月18日
美国国会引入《2019年算法责任法案》
蚂蚁金服评论
66+阅读 · 2019年6月13日
美参议员提出商业面部识别隐私法案
蚂蚁金服评论
12+阅读 · 2019年4月25日
GDPR之风盛行,美、印、巴接连启动数据保护立法
百度公共政策研究院
4+阅读 · 2018年8月29日
Arxiv
18+阅读 · 2021年6月10日
Arxiv
14+阅读 · 2020年10月26日
Arxiv
23+阅读 · 2020年9月16日
Arxiv
6+阅读 · 2019年7月29日
VIP会员
相关VIP内容
数据价值化与数据要素市场发展报告(2021年),53页pdf
专知会员服务
82+阅读 · 2021年5月30日
人工智能模型数据泄露的攻击与防御研究综述
专知会员服务
71+阅读 · 2021年3月31日
专知会员服务
51+阅读 · 2021年3月28日
756页美国国家安全AI战略报告
专知会员服务
175+阅读 · 2021年3月25日
专知会员服务
140+阅读 · 2021年3月13日
专知会员服务
27+阅读 · 2021年1月4日
专知会员服务
39+阅读 · 2020年12月20日
专知会员服务
112+阅读 · 2020年11月16日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
Top
微信扫码咨询专知VIP会员