无需干净样本,英伟达AI去马赛克

2018 年 7 月 13 日 AR酱

学会去噪点操作的人工智能早已经不是什么稀有事物,无论是“拍人更美”还是清晰的夜景拍摄,背后少不了AI的加持。

为了在光线追踪技术中提升高质量图像的输出速度,也需要对图像做降噪处理(英伟达RTX光线追踪来了,你的钱包准备好了吗),NVIDIA在这方面的技术处于领先地位。

通过题海战术的大量训练,见多识广的卷积神经网络不难做到对模糊图像的复原。所谓题海战术,就是成双成对的给神经网络投喂多噪点—清晰的对照图像。

见的多了,AI也就具备了还原图像的能力。

然而在NVIDIA的Noise2Noise的训练环节,并不需要两张多噪点和清晰的对照图像做训练集,吃进去的全是模糊图像,AI却依然学会了洞悉图像真实面目的能力。

就算模糊成马赛克,它也能看穿你的真面目

即便满屏幕的弹幕污染

依然能还你一个清新的画面


看到这里,不禁为Noise2Noise的强大脑补能力而惊叹了,怎么做到的呢?

 

Noise2Noise

NVIDIA与来自麻省理工学院以及阿尔托大学的人工智能研究人员一起创建了这个名叫Noise2Noise的东西。

该团队从ImageNet数据库中获取了50000张图像,对它们做“增噪”处理。然后利用这些“不干净”的图像做降噪处理,训练降噪能力。值得注意的是,在训练过程中AI始终不知道“干净”的图像长什么样,它接手的全是噪点图像。

没有清晰、不清晰成对的对照图像训练组,AI就要学会从不清晰的图像中去寻找高清无码。

传统的训练方式是对噪音图像操作,以干净图像为训练目标。

Noise2Noise不以干净图像为训练目标,而选择以另一张噪音图像为目标,最终的效果几乎一样。

起点相同,方法相同,只是目的地不一样,最终的效果相同。

两种训练方式的训练速度也几乎一样


Noise2Noise的图像复原效果非常好。

不需要“干净数据”的Noise2Noise有着显而易见的好处,它能够消除收集清晰图像数据的需求,让AI训练实现更简化的目的。


点击边框调出视频工具条
   



应用

在医疗领域非常有用,例如对核磁共振图像(MRI)扫描,Noise2Noise能够用于图像的降噪,方便医师查看清晰的图像,而不需要面对满满的马赛克。

用于照片降噪的算法同样可以用于对视频素材的降噪,不过降噪所花费的时间就要长很多了。老照片、旧视频在Noise2Noise算法下同样能褪去时间的面纱,还原历史的原貌。

去马赛克,去水印也都是不在话下的。



点击阅读原文获取论文链接


登录查看更多
10

相关内容

干净的数据:数据清洗入门与实践,204页pdf
专知会员服务
161+阅读 · 2020年5月14日
自回归模型:PixelCNN
专知会员服务
26+阅读 · 2020年3月21日
专知会员服务
44+阅读 · 2020年3月6日
【Google AI】开源NoisyStudent:自监督图像分类
专知会员服务
54+阅读 · 2020年2月18日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
还在PS里手动描边?AI自动抠图只需5秒
机器之心
12+阅读 · 2018年12月19日
【学界】毫秒级图像去噪!英伟达、MIT新AI系统完美去水印
GAN生成式对抗网络
8+阅读 · 2018年7月17日
【学界】实景照片秒变新海诚风格漫画:清华大学提出CartoonGAN
GAN生成式对抗网络
14+阅读 · 2018年6月20日
深度图像先验:无需学习即可生成新图像
论智
45+阅读 · 2017年12月4日
Arxiv
3+阅读 · 2019年10月31日
Arxiv
9+阅读 · 2018年10月24日
Arxiv
6+阅读 · 2018年1月29日
VIP会员
Top
微信扫码咨询专知VIP会员