学会去噪点操作的人工智能早已经不是什么稀有事物,无论是“拍人更美”还是清晰的夜景拍摄,背后少不了AI的加持。
为了在光线追踪技术中提升高质量图像的输出速度,也需要对图像做降噪处理(英伟达RTX光线追踪来了,你的钱包准备好了吗),NVIDIA在这方面的技术处于领先地位。
通过题海战术的大量训练,见多识广的卷积神经网络不难做到对模糊图像的复原。所谓题海战术,就是成双成对的给神经网络投喂多噪点—清晰的对照图像。
见的多了,AI也就具备了还原图像的能力。
然而在NVIDIA的Noise2Noise的训练环节,并不需要两张多噪点和清晰的对照图像做训练集,吃进去的全是模糊图像,AI却依然学会了洞悉图像真实面目的能力。
就算模糊成马赛克,它也能看穿你的真面目
即便满屏幕的弹幕污染
依然能还你一个清新的画面
看到这里,不禁为Noise2Noise的强大脑补能力而惊叹了,怎么做到的呢?
Noise2Noise
NVIDIA与来自麻省理工学院以及阿尔托大学的人工智能研究人员一起创建了这个名叫Noise2Noise的东西。
该团队从ImageNet数据库中获取了50000张图像,对它们做“增噪”处理。然后利用这些“不干净”的图像做降噪处理,训练降噪能力。值得注意的是,在训练过程中AI始终不知道“干净”的图像长什么样,它接手的全是噪点图像。
没有清晰、不清晰成对的对照图像训练组,AI就要学会从不清晰的图像中去寻找高清无码。
传统的训练方式是对噪音图像操作,以干净图像为训练目标。
Noise2Noise不以干净图像为训练目标,而选择以另一张噪音图像为目标,最终的效果几乎一样。
起点相同,方法相同,只是目的地不一样,最终的效果相同。
两种训练方式的训练速度也几乎一样
Noise2Noise的图像复原效果非常好。
不需要“干净数据”的Noise2Noise有着显而易见的好处,它能够消除收集清晰图像数据的需求,让AI训练实现更简化的目的。
应用
在医疗领域非常有用,例如对核磁共振图像(MRI)扫描,Noise2Noise能够用于图像的降噪,方便医师查看清晰的图像,而不需要面对满满的马赛克。
用于照片降噪的算法同样可以用于对视频素材的降噪,不过降噪所花费的时间就要长很多了。老照片、旧视频在Noise2Noise算法下同样能褪去时间的面纱,还原历史的原貌。
去马赛克,去水印也都是不在话下的。
点击阅读原文获取论文链接