会员服务 ·

一个能找出PS痕迹的AI算法

2019 年 9 月 25 日 计算机视觉life

点击上方“计算机视觉life”，选择“星标”

快速获得第一手干货

自从有了PS，“有图有真相”就成了一句笑话。

“貌美”的微商小姐姐和思聪他爸一起出席会议？

思聪呀，你爸爸糊成这样了你知道么？

不过，现在，马里兰大学与开发出PS的那家逗比公司（Adobe）合作，开发了一项新技术：

一个能找出PS痕迹的AI。

这些P图骗人党彻底被打脸了。

火眼金睛：拼贴、复制、删除一招搞定

关于这个火眼金睛的AI技术的论文发表在了CVPR上。

这项技术能检测出多种P图手法，包括拼贴、复制和删除的元素。

拼接

这项技术可以找出那些后期加上去的元素。

比如，这张巨石前的向日葵：

其实是P的，原图长这样：

根本没有向日葵，只有光秃秃的岩石和海鸟，向日葵是后期P上去的。

复制

为了显得没有违和感，许多人喜欢把原图中的素材扣下来，复制一份，缩小一下再粘回原图的另一个位置。

比如，2008年的时候，伊朗为了吓唬人，发布了一张发射四枚导弹的照片：

然后被眼尖的吃瓜群众发现，从左至右第三枚导弹跟第二枚导弹长的一毛一样，甚至导弹烟雾尾巴上的渐变颜色都一样。

而且，发射导弹的地面上，中间那片云和右边那片云也一模一样，连空中飘的部分都不放过！

删除

看到不想出现在照片上的东西，那就把它抹掉，用周围的颜色材质盖住它。

比如这张照片，看起来……算了，看不出来是啥。

但它的中间被涂抹了一部分，原图长这样：

冒出了一条小鱼的头，大概是被设计师拿出来做剁椒鱼头了吧。

Adobe的新AI技术就可以识别出这3种P过的图，是否被添加了什么额外的东西、是否有复制的元素、是否被删除抹掉了什么东西。

找茬秘技の修炼法则

首先，需要准备一个Faster R-CNN网络，来执行端到端的训练，这个网络在检测语义对象时表现出了良好的性能。

现在，我们按照这样一个原理来侦破图片中的造假区域：

和普通的图片检测不同，Adobe家的这个技术用了双流检测的方法，即：

一个RGB流

RGB流用来寻找PS痕迹，比如，向日葵图中，向日葵边缘和背景的岩石之间明显不自然，对比度过高。

这就是RGB流需要寻找的“PS痕迹”。

同时，还需要用到区域提议网络（Region Proposal Network, RPN），它是Faster R-CNN的一部分，用来找那些看起来很可疑的部分。

一个噪声流

图片是有“噪声”的。

当一张图上的元素被扣下来放到另一张图上时，就会出现一个明显的噪声不同的区域。

当然，肉眼是无法看到的，但是机器可以判断出来。

比如这张图片上，格子地板上放了一个红色正方体。

这张图片看起来仿佛很正常，色调和谐，光影方向正常，没有什么异样的明暗对比。

但是，它的噪声流图片异常诡异：

正方体的前面出现了一个圆洞！

虽然在正方体和浅蓝色（本图为深色）地板上看不出什么问题，但是在黑色（本图为浅色）地板上格外明显。

有一个圆形的东西，在正方体的前方，凭空消失了。

所以，很明显，这片区域有鬼。

实际上，原图是这样的：

红色正方体前本来有一个黄球，在交给噪声流监测的图片上，黄球被P掉了。

池化&对比结合

在可疑图片经过RGB流和噪声流两条线索的监测之后，结果被放进了一个池化层进行池化。

分别对可疑区域得到不同的结果后，两种方法的结果加以对比，被P过的区域就可以明显找出来了。

实战演练

在实际应用中，双流效果的确不错。

比如这张图，看起来大概是日本的某个厂房旁边的停车场：

RGB流发现，左边蓝色的牌子上，两块牌子相邻处的上半部分（红框部分）实在是太诡异了。

放大看，是这样：

而噪声流则监测出了更多的bug：

一片黑漆漆！

整张图上的一个半蓝色广告牌，都不对劲。

一定是有人为了掩藏什么内容，把最左边的广告牌和第二个广告牌的上半部分涂成了蓝色。

所以真实的效果是下图，广告牌区域的确被P过。

再来看下一个例子，货架上的手包：

一眼看上去好像没什么毛病，就是同一款式深色浅色的两个包包而已。

但是，RGB流表示，两个包包都有问题：

而噪声流的结果有些不一样，右边的深色包包和它上面的标签都有问题：

既然你们意见不一样，那取个交集吧，右边的深色包包造假是石锤了：

来，公布正确答案：

找对了，本AI经验值+1。

可以看的出，相比此前的研究，马里兰大学和Adobe研发出的这个新型双流操作检测框架，不仅通过RGB流对视觉篡改伪像建模，而且能发现可疑区域噪声特征的差异。

作者在论文中写到，新研究的方法与此前最先进的方法相比，可以提高四个图像处理数据集的性能。

利空P图党

虽然，目前这项技术只是一篇论文，Adobe公司还没有将其产品化。不过Adobe官方对国外科技媒体THE VERGE说，他们准备继续推进该项技术，用来监测数字媒体中的虚假图片信息。

(*σ´∀`)σ 希望逗比家快点做出来，接入微信朋友圈，戳穿微商和蛇精脸们的真相。

最后，附论文传送门~
Learning Rich Features for Image Manipulation Detection
作者：Peng Zhou，Xintong Han，Vlad I. Morariu，Larry S. Davis
发表于CVPR 2018
arXiv：https://arxiv.org/abs/1805.04953
数据集：https://www.nist.gov/itl/iad/mig/nimble-challenge-2017-evaluation

学术交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、算法竞赛、图像检测分割、人脸人体、计算射影、医学影像、综合等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~