【Ian Goodfellow 五问】GAN、深度学习,如何与谷歌竞争

2017 年 7 月 18 日 新智元
【Ian Goodfellow 五问】GAN、深度学习,如何与谷歌竞争

新智元编译  

来源:Qoura

编译:文强,刘小芹


【新智元导读】Ian Goodfellow 昨天在 Quora 上回答网友提问。新智元摘选排名最高的 5 大问题编译整理。如何与谷歌、Facebook 的深度学习研究项目竞争?GAN 有哪些有趣的发展和应用?深度学习接下来会如何?研究人工智能和机器学习,你推荐哪10本书?下面是 Goodfellow 的回答。



独立学习者或研究人员如何与谷歌,Facebook、OpenAI这样的公司里快节奏的深度学习研究相竞争?


Ian Goodfellow:在谷歌大脑,我们实际上经常考虑如何选择项目,确保它们值得做,因为世界上有很多人在做很多其他工作。我在OpenAI期间他们战略的重要组成部分也是这样。


全世界对AI的广泛关注意味着AI研究从优化转变为博弈论。研究人员以前能只是根据兴趣选择研究课题。现在,重要的是预测其他研究人员会做什么,并选择一个可以提供独特优势的主题。


对抗机器学习研究有什么新的和令人兴奋的领域?


Ian Goodfellow:


  • 防御对抗样本是一个非常热门的话题。如果你也想要这样做,可以看看我们的 Kaggle 比赛——NIPS 2017:有针对性的对抗攻击(https://www.kaggle.com/c/nips-2017-targeted-adversarial-attack/rules)

  • Aleksander Madry 等人发现,使用带有随机重新启动(restart)的迭代算法创建的对抗示例,它们对抗训练非常适用于MNIST和CIFAR的防御。Madry 他们有一个公开的挑战:MadryLab / mnist_challenge

  • 有很多关于如何窃取远程托管模型,然后攻击它们的工作(https://arxiv.org/abs/1602.02697)

  • 如何使不同模型之间的对抗示例更好地转移(https://arxiv.org/pdf/1611.02770 ),以及如何使他们骗过物理世界中操作的模型(https://arxiv.org/abs/1607.02533),从不同的距离和角度从相机观看对抗性示例(https://blog.openai.com/robust-adversarial-inputs/)

  • 我个人在使 GAN 更加稳定,可靠,易于使用这方面做了很多工作

  • 很多人对于如何将GAN用于文本非常有兴趣

  • 对于隐写术的对抗技术(例如通过对抗训练生成隐写图像)有一些关注

  • 半监督学习的对抗方法(https://arxiv.org/abs/1605.07725)


还有很多其他的研究进展;列出所有内容是不可能的!




机器学习领域你推荐哪 3 本书籍?




1. 《深度学习》(Deep Learning),Ian Goodfellow、Bengio 和 Aaron Courville 合著。


回顾十多年前我学习机器学习的过程,那时候我最喜欢的书是:

 

2. Chris Bishop的《模式识别与机器学习》(Pattern Recognition and Machine Learning)


3. Daphne Koller和Nir Friedman的《概率图模型》(Probabilistic Graphical Models)

 

不过,我不太熟悉在我已经学会了大部分相关主题之后出现的比较新的书籍,例如 Kevin Murphy 的书籍,所以我很难做出真正全面的排名。



此外你还推荐哪些书籍?



其他我推荐的有助于 AI 和机器学习的书:


4. AI: A Modern Approach by Stuart Russel and Peter Norvig


5. Introduction to Algorithms by Thomas H. Cormen


6. Cracking the Coding Interview by Gayle McDowell


7. Difficult Conversations: How to Discuss what matters most. By Douglas Stone et al. (The social side of an AI career is extremely important too!)


8. Elements of the Theory of Functions and Functional Analysis by A.N. Kolmogorov and S.V. Fromin


9. If you’re interested in generative models or computer vision: Natural Image Statistics


10. Linear Algebra, Georgi E. Shilov


深度学习的未来是什么?


深度学习的下一步还有很多事情要做。需要考虑从许多方向向外扩展,而不是在一个方向前进:

 

更好的强化学习/深度学习和强化学习的整合。能够可靠地学习如何控制机器人等的强化学习算法。

 

更好的生成模型。能够可靠地学习如何生成图像,话语,文本的算法,而且人类无法将生成的结果与真实的东西区分。

 

无处不在的深度学习:能够重新设计自己的架构,调整自己的超参数等的算法。现在,仍然需要人类专家来运行学习算法,但是将来会更容易部署,而且非专门从事AI的各种业务都将能够利用深度学习。

 

机器学习的安全性,安全所需的机器学习:将有更多网络攻击利用机器学习来制造更自动化的恶意软件,更有效的漏洞等等。也将有更多的网络防御利用机器学习来实现比人类更快的响应,检测更微妙的入侵等。来自对方阵营的ML算法将互相欺骗,进行攻击和防御。

 

活动的动态路由将导致更大的模型,可以使用相比当前模型更少的计算来处理单个样本。但总体而言,大量的计算将继续是AI的关键; 每当我们使一个模型使用较少的计算时,我们需要并行运行数千个模型来学习它们。

 

半监督学习和one-shot learning 将减少训练模型所需的数据量,并令AI的使用更广泛。

 

研究将侧重于制作极强大的模型,这些模型几乎从不犯错误,可用于安全关键型的应用程序。

 

深度学习将继续渗入到一般文化中,我们将看到艺术家和发明家使用它们来做我们从未想到的事情。我认为Alexei Efros的实验室和CycleGAN之类的项目是这样的开始。




登录查看更多
5

相关内容

GAN:生成性对抗网,深度学习模型的一种,在神经网络模型中引入竞争机制,非常流行。
小贴士
相关资讯
带你读论文 | 生成对抗网络GAN论文TOP 10
微软研究院AI头条
23+阅读 · 2019年4月11日
Ian Goodfellow:你的GAN水平我来打分
机器之心
4+阅读 · 2018年8月17日
GAN正在成为新的深度学习
新智元
7+阅读 · 2018年6月9日
生成式对抗网络(GAN)如何快速理解?
炼数成金订阅号
4+阅读 · 2018年1月9日
GAN猫的脸
机械鸡
9+阅读 · 2017年7月8日
相关论文
Heterogeneous Deep Graph Infomax
Yuxiang Ren,Bo Liu,Chao Huang,Peng Dai,Liefeng Bo,Jiawei Zhang
10+阅读 · 2019年11月19日
Yash Srivastava,Vaishnav Murali,Shiv Ram Dubey,Snehasis Mukherjee
4+阅读 · 2019年8月27日
Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning
Arnab Kumar Mondal,Jose Dolz,Christian Desrosiers
9+阅读 · 2018年10月29日
Ayush Jaiswal,Wael AbdAlmageed,Yue Wu,Premkumar Natarajan
3+阅读 · 2018年9月25日
Haque Ishfaq,Assaf Hoogi,Daniel Rubin
3+阅读 · 2018年4月3日
Orest Kupyn,Volodymyr Budzan,Mykola Mykhailych,Dmytro Mishkin,Jiri Matas
3+阅读 · 2018年4月3日
Zhou Yin,Wei-Shi Zheng,Ancong Wu,Hong-Xing Yu,Hai Wang,Jianhuang Lai
7+阅读 · 2018年2月6日
Xiaopeng Yang,Xiaowen Lin,Shunda Suo,Ming Li
8+阅读 · 2018年1月30日
Ashish Mishra,M Shiva Krishna Reddy,Anurag Mittal,Hema A Murthy
6+阅读 · 2018年1月27日
Antonia Creswell,Anil Anthony Bharath
7+阅读 · 2018年1月4日
Top