只玩真实的Adobe也要上线Deepfake功能了?用Morpheus一键换表情、换胡子

2021 年 11 月 3 日 新智元



  新智元报道  

来源:the verge

编辑:LRS

【新智元导读】一向宣称保证内容真实性的Adobe最近发布了一个新项目Morpheus,可以给视频中的人物换表情、换胡子,但官方拒绝承认这是Deepfake,并且表示这个项目还在评估中,并不一定能最终上线。


Deepfake类的技术对图像、音频和视频编辑的软件生态产生了巨大影响,让图像、视频的造假成本直线降低,也产生了很多娱乐玩法。
 
但作为图像、视频处理行业的巨头,为什么Adobe仍然没有类似的功能上线?
 
答案很简单,Adobe一直在仔细地审查这项技术的应用前景,以及所带来的后果。
 
 
最近Adobe在它的年度设计大会上放出了一项新的预览功能Project Morpheus,这项功能实际上是2020年大会上发布的神经网络滤镜(Neural Filters)的视频版,这些滤镜通过使用机器学习来调整图像人物的外观、年龄、头发颜色,甚至面部表情。
 
除了人以外,神经滤镜还可以用于风格迁移,把正常的图像换成梵高风格。
 
 
还能够使用内容感知颜色来自动着色黑白照片。使用超级缩放滤镜,可以在放大时增加某些肖像区域的分辨率,这个功能还可以解决由JPEG压缩引起的质量损失,或者使照片的主题元素更清晰,从而更加醒目等。
 
但把如此繁杂的功能加入到可视化界面中还需要一定的时间,还需要设计更多的教程、提示以及搜索功能。
 
Morpheus能够对视频做出相似的调整,并且还添加了一些新的滤镜,例如可以为视频中的人物改变胡须形状、添加眼镜等。
 
 
虽然生成的效果并不是完美的,并且相比Deepfake实际能做的事情来说非常有限,例如只能对图片进行微调,并不能直接换脸。而且该功能只是一个原型,无法保证它肯定会上线在Adobe软件中,Adobe目前也仍在调研这项技术是否会产生负面影响。
 
Adobe发言人表示:与Adobe Max Sereaks一样,Project Morpheus是实验室和工程团队的探索性和前瞻性技术,这些概念证明的想法并不一定会出现在产品中。我们的创新必须与责任相互平衡,以确保Adobe的技术是对客户和社会有利的。Adobe的AI技术发展是由责任感、使命感和公开透明共同驱使的。
 
尽管Project Morpheus 实际上就是一个Deepfake 的工具,但由于deepfake 的口碑一向不太好,很容易让消费者往色情、政治上面联想,不利于商业宣传,所以Adobe 并没有公开声明这是一个Deepfake 工具。
 
Adobe在内容真实性上一向很较真。
 
2019年,Abobe首次发布内容真实性倡议(Content Authenticity Initiative),该项目旨在借助纽约时报和推特的帮助,试图减少仍然在网络上传播的、被修改过的图像的数量。
 
Adobe表示,该技术通过对图像元数据进行标记和加密,以帮助公众妥善保存和验证图像、视频和其他内容的真实性。
 
外媒Wired杂志也认为该计划可以帮助像Twitter和Facebook这样的社交媒体网络鉴别图像真伪,并且Facebook将他们已经上线用来标记误导图像的自动化系统提供支持。这项技术也可以帮助你鉴别朋友圈的图像是否真的来自你的朋友。
 
2021年末,这项技术将开启beta测试,能够让摄影师、艺术家将他们独特的数据加入到图像细节编辑文件的历史记录中。
 
今年年初,「蚂蚁呀嘿」火遍全网,背后用到的技术就是Deepfake。
 
 
只需要输入一张图像和一个名为Avatarify的app就能让静态的图片动起来,做着相同的动作,共同说着「蚂蚁呀嘿」。
 
 
但仅用7天Avatarify在国内就被火速下架了,因为这类的软件被滥用则会侵犯其他用户的隐私权,甚至可能会用于诈骗。
 
 
尽管生成的假视频十分逼真,但AI程序实际上并不懂真实世界,所以在细节上很容易看出来是假的,也有一些肉眼分辨假脸的技巧。
 
下图中这个人头顶位置出现的大块的怪异斑点的现象在AI生成的图像中很常见,与几年前谷歌的DeepDream实验的表现一致。
 
 
假脸上的配饰也是一个突破口。但是,当你看这个人的耳朵时,会发现图像略微不对称。一侧头发显得模糊而且看上去很奇怪,且一只耳朵上没有耳环。
 
算法不具备常识,并且不懂规则,比如不知道耳环一般要两只耳朵都戴。因此,AI算法有时无法生成足够真实的面部特征或首饰等。
 
AI算法也不知道正常人应该有多少颗牙以及这些牙齿的朝向。一般AI算法不会选择多角度描绘出这些牙齿的样貌,而是乱来一气,下面图中的虚假头像的牙齿就是典型例子。
 
 
下面这张图可能稍微难辨别一点,但如果你仔细看她的牙,会发现她中间第三颗牙异常地小,而且耳朵也非常不自然,所以这也是一张生成的假头像。
 
 
下图中的女性的衣服明显有问题,注意这张图片的背景也很奇怪,此外右侧的头发和耳环部分都很不自然,而且耳环只有一只。
 
 
下图中人物的衣服实在太奇怪了,图中左侧的耳朵上并未戴耳环等配饰,但衣服上方却出现了一个悬在空中的“不明装饰物”,这种现象在AI生成的虚假图像中也不少见。
 
 
既然Adobe 只玩真实,相信这个功能上线后也不会让大家失望。
 

参考资料:

https://www.theverge.com/2021/10/27/22748508/adobe-deepfake-tool-max-project-morpheus



登录查看更多
0

相关内容

专知会员服务
24+阅读 · 2021年1月21日
【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
34+阅读 · 2020年9月2日
 【SIGGRAPH 2020】人像阴影处理,Portrait Shadow Manipulation
专知会员服务
28+阅读 · 2020年5月19日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
DeOldify:用GAN为黑白照片重新着色
论智
33+阅读 · 2018年11月2日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月16日
Arxiv
0+阅读 · 2022年4月14日
Arxiv
10+阅读 · 2018年2月17日
VIP会员
相关VIP内容
专知会员服务
24+阅读 · 2021年1月21日
【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
34+阅读 · 2020年9月2日
 【SIGGRAPH 2020】人像阴影处理,Portrait Shadow Manipulation
专知会员服务
28+阅读 · 2020年5月19日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月16日
Arxiv
0+阅读 · 2022年4月14日
Arxiv
10+阅读 · 2018年2月17日
Top
微信扫码咨询专知VIP会员