Hinton坐阵！斯坦福CS25 Transformer专题讲座更新：多位AI大佬齐聚

---

  新智元报道  

编辑：David Joey

【新智元导读】斯坦福大牛Christopher Manning开设的Transformer联合讲座课程更新啦！这期请来的是Hinton大神。

图灵奖得主、深度学习教父Geoffrey Hinton在斯坦福线上开课啦？

 

本课程是斯坦福大学计算机科学家Christopher Manning教授开设的CS25: Transformers United联合讲座课程。

 

课程邀请了学术界和产业界关于Transformer架构的知名学者和工程师主讲，来自谷歌、OpenAI、牛津大学、Meta AI、DeepMind等学术机构和企业。

 

 

本讲座共分10期，随授课内容推进而陆续在线更新视频。（第一期为总览介绍）

 

最近更新的是最后一期，主讲人是大名鼎鼎的人工智能领域先驱人物、图灵奖得主Geoffrey Hinton。

 

讲座链接就放在这里啦，有兴趣的童鞋可以看看~

https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM

 

 

这期课程中，Hinton提出了一个关于表征的新想法，名为GLOM的想象系统，由几个不同团队研究成果的结合。

 

其中包括Transformer、神经场、对比性表征学习等内容。GLOM要解决的问题是，一个具有固定架构的神经网络如何能将一幅图像解析成一个「部分-整体」的层次结构，且结果对每一幅图像都是不同的？

 

GLOM背后的想法很简单，就是用相同矢量的岛屿来表示解析树中的节点。在这期讲座中，将讨论这个想法的影响。如果GLOM能够发挥作用，那么当其用于视觉或语言时，应该能极大地改善由类似transformer系统产生的表示的可解释性。

 

 

Hinton在这期讲座中将最近神经网络领域的三个重要成果融合在了一起，即Transformer、通过对比协议的非监督学习的视觉表示、以及使用神经野图像的生成模型。

 

 

Hinton表示，他将这三项成果组合在一起，搞出一个新的图像视觉系统，名叫GLOM, 比现有深度网络更接近人类认知。

 

Geoffrey Hinton是多伦多大学的名誉教授，深度学习界的领军人物，是引入反向传播算法的先驱研究者之一，并与他的研究小组一起，为推动神经网络领域的发展做出了重大突破和贡献。

 

 

Hinton荣誉等身，曾获David E. Rumelhart奖、IJCAI卓越研究奖、Killam工程奖、IEEE Frank Rosenblatt奖章、NSERC Herzberg金奖、IEEE James Clerk Maxwell金奖、NEC C&C奖、BBVA奖、本田奖和图灵奖。

 

说了那么多，先来看看这十期课程都有哪些干货吧~

 

1.Introduction to Transformers（引入课程）

 

主讲人: Div Grag，Chetanya Rastogi，Advay Pal

 

 

推荐阅读：Attention Is All You Need

论文地址：https://arxiv.org/abs/1706.03762

 

 

2.Transformers in Language: GPT-3, Codex

 

主讲人：Mark Chen (OpenAI)

 

这节课的主讲人Mark Chen是来自OpenAI的一名研究科学家，负责管理OpenAI的算法团队。

 

他的研究兴趣包括生成建模和表示学习，尤其是在图像和多模态领域。Mark毕业于麻省理工学院，值得一提的是，Mark还是美国计算机奥赛的教练。

 

 

本节课程回顾了神经语言建模的最新进展，并讨论了生成文本（generating text）和解决下游任务之间的联系，并探讨OpenAI开发GPT模型的过程。接下来，我们将看到如何使用相同的方法在图像、文本到图像和代码等其他领域生成生成模型和强表示。课程最后，我们将深入研究最近发布的代码生成模型 Codex。

 

3.Transformers in Vision: Tackling problems in Computer Vision

 

主讲人：Lucas Beyer (Google Research Brain Team)

 

 

推荐阅读：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

论文地址：https://arxiv.org/abs/2010.11929

 

4. Decision Transformer: Reinforcement Learning via Sequence Modeling

 

主讲人：Aditya Grover

 

 

推荐阅读：Pretrained Transformers as Universal Computation Engines

论文地址：https://arxiv.org/abs/2103.05247

 

5. Mixture of Experts (MoE) paradigm and the Switch Transformer

 

主讲人：Barret Zoph (Google Brain) ，Irwan Bello，Liam Fedus

 

 

6.Deep Mind's Perceiver and Perceiver IO: new data family architecture

 

主讲人：Andrew Jaegle (DeepMind)

 

 

7.Self Attention and Non-parametric transformers (NPTs)

 

主讲人：Aidan Gomez (University of Oxford)

 

 

8.Transformer Circuits, Induction Heads, In-Context Learning

 

主讲人：Chris Olah (Anthropic AI)

 

 

9.Audio Research: Transformers for Applications in Audio, Speech and Music

 

主讲人：Prateek Verma (Stanford)

 

参考资料：

https://twitter.com/DivGarg9/status/1545541542235975682?s=20&t=_Ed9dpjD9Qpx4svpMNDIKQ&fbclid=IwAR2tnSQROnkOQl15aa6nkfNFaJdrnZQHDbidooDaQRJALlWsYMiQU_37dn4

https://web.stanford.edu/class/cs25/