GitHub5800星!一键还原百年老电影、黑白旧照片本色

2019 年 5 月 10 日 新智元




  新智元原创   

来源:GitHub、Twitter、Youtube

编辑:三石

【新智元导读】黑白老照片上色已经不足为奇了,但是让黑白老电影还原彩色还是非常新鲜有趣的意见事情。近日,Twitter上有一位小哥研究了一个名为DeOldify的工具,可以让黑白老电影以及老照片复原其本色。


谁说经典只属于黑白?


最近,一位名叫Jason Antic的小哥在Twitter上大火了一把,它创建的DeOldify工具,可以让过去的黑白视频和照片秒变彩色



这个神器一出,可把网友们高兴坏了,纷纷开始玩儿了起来。目前在GitHub上5800+星,相当火爆!


卓别林的电影瞬间年轻、有“味道”了许多。



1960年的经典电影《Psycho》:



1936年的经典电影《Reefer Madness》:



1927年的经典电影《Metropolis》:



DeOldify不仅能让视频恢复色彩,还能让黑白老照片秒变彩照。


《移民母亲》,Migrant Mother by Dorothea Lange (1936)



"Toffs and Toughs" by Jimmy Sime (1937)



中国鸦片吸食者(1880)



这些黑白的视频和照片,当换上了彩色的“衣服”时,不得不说拉近了与我们的距离,并不觉得那么得有年代感了。


读者们可以手动试试为黑白老照片添色了!地址如下:

https://colorize.cc/


只需要从本地上传或者添加图片的链接,输入邮箱即可收到,非常的方便。


新智元便试了一下“慈禧太后”的黑白照,结果如下:



可以说,是相当的逼真了!


神奇的DeOldify背后的利器:NoGAN


作者在GitHub中提到,DeOldify中至关重要的就是NoGAN。NoGAN训练结合了GAN训练的优点(绚烂的色彩),同时消除了令人讨厌的副作用(如视频中闪烁的物体)。作者表示视频是使用孤立的图像生成,没有任何形式的时间建模附加。该过程执行30-60分钟的GAN部分的“NoGAN”训练,一次使用1%到3%的imagenet数据。然后,与静态图像着色一样,在重建视频之前,对单个帧进行“去旧化”。


除了提高视频的稳定性,还有一件有趣的事情值得一提。事实证明,运行的模型,甚至是不同的模型和不同的训练结构,都或多或少地得出相同的解决方案。你可能认为有些东西的颜色是随意的、不可知的,比如衣服的颜色、汽车的颜色,甚至是特效(就像《大都会》里看到的那样)。



作者对此的猜测是这些模型正在学习一些有趣的规则,关于如何根据黑白图像中出现的细微线索来着色。这个结果导致了非常确定和一致的结果,这意味着你没有跟踪模型着色决策,因为它们不是任意的。此外,它们看起来非常健壮,所以即使在移动场景中渲染也是非常一致的。



那么NoGAN是什么呢?


这是作者开发的一种新型GAN训练模型,用来解决之前DeOldify模型中出现的一些关键问题。


它提供了GAN训练的好处,同时花费最少的时间进行直接的GAN训练。在非常短的实际GAN训练期间,发生器不仅获得了过去需要数天逐步调整大小的GAN训练的完全逼真的着色能力,而且它也几乎没有产生任何GAN的“副作用”。据作者介绍,这是一种非常有效的新技术。


下图是原始DeOldify模型的效果,可以看出不同帧的颜色是存在差异的。


 

下面是基于NoGAN的DeOldify模型,可以看到着色效果非常好。



为什么是三个模型?


DeOldify现在有三种型号模型可供选择。每个都有关键优势和劣势,因此具有不同的用例。


更多细节内容可以访问查看GitHub:

https://github.com/jantic/DeOldify/blob/master/README.md


新智元春季招聘开启,一起弄潮 AI 之巅!

岗位详情请戳:


【加入社群】


新智元 AI 技术 + 产业社群招募中,欢迎对 AI 技术 + 产业落地感兴趣的同学,加小助手微信号:aiera2015_2   入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。

登录查看更多
2

相关内容

电影是一种视听媒介,利用胶卷、录像带或数位媒体将影像和声音捕捉,再加上后期的编辑工作而成。
最新《机器学习理论初探》概述
专知会员服务
44+阅读 · 2020年5月19日
【Google AI】开源NoisyStudent:自监督图像分类
专知会员服务
54+阅读 · 2020年2月18日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
32+阅读 · 2020年1月10日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
换脸算什么?现在AI都能一键“脱衣”了
腾讯科技
10+阅读 · 2019年6月30日
项目 | 基于GAN的人脸照片涂鸦编辑
机器学习算法与Python学习
5+阅读 · 2019年3月1日
玩转老照片,一台GeForce 1080 Ti 就能让黑白照片展“新颜”
英伟达NVIDIA中国
4+阅读 · 2019年1月29日
旧照片着色修复神器!自注意力GAN效果惊艳
GAN生成式对抗网络
7+阅读 · 2018年11月3日
DeOldify:用GAN为黑白照片重新着色
论智
33+阅读 · 2018年11月2日
Ian Goodfellow推荐:GAN生成模特照片媲美真人
新智元
8+阅读 · 2017年10月16日
Bivariate Beta LSTM
Arxiv
5+阅读 · 2019年10月7日
Revisiting CycleGAN for semi-supervised segmentation
Arxiv
3+阅读 · 2019年8月30日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
10+阅读 · 2018年3月23日
VIP会员
相关VIP内容
最新《机器学习理论初探》概述
专知会员服务
44+阅读 · 2020年5月19日
【Google AI】开源NoisyStudent:自监督图像分类
专知会员服务
54+阅读 · 2020年2月18日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
32+阅读 · 2020年1月10日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
相关资讯
Top
微信扫码咨询专知VIP会员