专访GAN之父Ian Goodfellow：早知道就去挖比特币

2018 年 5 月 7 日 论智 Bot

来源：veronikach

编译：Bot

编者按：Ian Goodfellow是Google Brain的一名研究科学家，负责领导一个研究人工智能对抗技术的研究团队。他也是我们熟知的生成对抗网络（GAN）的发明者，被《麻省理工科技评论》列入“35名35岁以下创新者”。近日，一家科技媒体veronikach对他进行了一场主题为“How I Fail”的专访，发稿后，这家可怜的网站就被来自twitter的DDOS“攻击”碾成了404。

以下是论智从404里抠出来的专访内容：

1.你好，Ian！感谢你接受“How I Fail”的专访！不得不承认，我当时差点因为邀请的对象是你就望而却步了，很高兴你一口答应了。你能告诉我们一些关于你的事吗？

谢谢你们的邀请！

我是Google的一名AI研究人员，并领导着一个研究小组。我们正在研究容易使AI出错的因素，这将有助于我们建立一整套可靠的、明确的AI工程原则。我一直在学习如何让AI变得更安全——比如如何防止恶意攻击者欺骗基于AI的系统来进行不正当牟利。

2.你曾在Twitter上发表了一则“被拒”列表——可以详细说说这些事吗？

当时我的同事Moritz Hardt发了这样一则推文：每年这个时候我都会提醒自己：一个成功学术生涯的典型开端，就是从被一堆优秀的研究生院拒绝开始的。

受他启发，我就在后面跟帖回复了我之前的一些被拒经历。

这些故事不是什么可以载入史册的东西，但它们多少提到了一些我个人的失败过程：

作为斯坦福大学的一个本科生，我在为神经科学做职业规划的同时，也在化学和生物课上苦苦挣扎。我的成绩很好，但我认为就成为教授这个目标而言，那还不够好。
在我把注意力转向计算机科学后，我以本科生的学历申请了几个实习岗位，但谷歌拒绝了我。
我也曾向斯坦福大学的一个教授申请过暑期实习。我把成绩单一并放在申请资料中，结果那个教授问我：“为什么你在我的课上的成绩会是A？”事实上他确实没有给我A，我看到成绩时以为是他给分慷慨，结果却是计算机登记错误。所以我申请实习的结果就是我的成绩降低了。
读硕士、博士时，大多数时候我都在单打独斗。这就意味着我必须在教学助理工作和申请奖学金上花费很多精力，而无法关注自己感兴趣的研究领域。我不断申请奖学金，如魁北克省的PBEEE，从2009年到2013年，我一直申请了4年，但没有成功过一次。直到2013年，我终于收到了谷歌的深度学习博士奖学金。
一些计算机视觉的大会，比如ECCV，从来没有接受过我本科、硕士期间的论文。我在机器人感知领域做了大量工作，但它们从来都被束之高阁。

3.你认为哪些因素可以帮助你克服这些挫折？

在高中时，我在学校辩论队待了3年，辩论队由两位非常出色的老师执教：Kerry Koda和Thomas King。

这段辩论经历在之后的科研生活中给我带来了多方面帮助，对此我也觉得很惊讶。在克服挫折方面，辩论是有用的，因为辩论者必须学会面对失败后的情绪。每一轮辩论都有胜者和败者，没有人能成为常胜将军，所以一旦你坚持长期辩论，你就会习惯在一轮结束后马上丢掉这一轮的想法，然后去另一个教室准备下一轮辩论。此外，你的期望也会得到较大调整，因为你已经习惯了不断的失败和成功。

4.对于你之前被拒的这些经历，一些人觉得那是谦虚自夸和炫耀特权，对此你有什么想法呢？

我发推的时候没有人在评论里这么写。很多人都在感谢我分享自己的被拒经历，我也完全能理解为什么有些人会认为这是在谦虚自夸，但我相信大多数人明白我这样做的目的，我是在帮助他们不要妄自菲薄。

5.你认为失败是非常常见的，那人们可能会因此决定不分享他们的成功经验吗？

不会，我们基本上都已经是在被迫分享自己的成功经验了，无论是工作中的表现评估，还是申请经费时的种种表现等。在向会议和期刊提交论文时，每个人都会被激励去显示论文的优秀之处，同时掩盖不足之处。我个人会尽可能规避这种激励，但这种现象在短期内还不会消失。

6.到目前为止，我们谈论的成功和失败都围绕工作岗位和论文发表，此外你还有什么其他类型的失败吗？

实际上我认为这些失败的事件（被某个研究生课程接受申请、被某个刊物接收/拒绝论文等）其实并不重要。

我之前提到自己被许多高校拒绝了，但那没什么，因为我也收到了其他高校的offer。

比如2009年的时候，对我而言最大的阻碍不是被MIT、CMU等顶尖学校拒绝，我也收到了诸如斯坦福、伯克利等其他高校的入学邀请，但我不确定自己能在那儿进行想要的研究。当时我不知道自己在这些学校的导师会是谁（因为有一个新的博士生的轮换计划，录取时学校还没为我分配导师），而且它们几乎没有深度学习研究领域的资深导师。最后我选择了去蒙特利尔大学，因为我可以提前选Yoshua Bengio。

也许我犯过的最大的错误是在博士期间一直试图用无监督的特征学习方法解决计算机视觉中的监督学习问题。以至于当Alex、Ilya和Geoff用纯监督学习方法赢得ImageNet大赛时，我完全懵了。我一直觉得埋头写论文，最后发现前方是死路一条是最失败的。特别是现在所有人都能在在arxiv.org上发表论文，如果我的论文启发了其他研究者，即便它被顶会拒绝了，我也会觉得这是成功的工作。相反地，如果它没什么影响力，那么即便被顶会接受了，我也会觉得这是个失败。

7.你现在有没有在做什么感觉会失败，或是对未来没有把握的工作？

就我个人的观点而言，我已经在神经网络为什么会因在输入中添加小扰动就被“迷惑”这一问题上研究了近4年（自己直接研究+引导别人产生兴趣后加入研究），到现在还没人知道该怎么在这种情况下做出一个高精度模型。

如果按照传统的职业成功标准，那我今年提交给ICML的论文就太惨了，评审意见很残酷，我估计大部分论文会被拒绝。

但我觉得另一件事值得一提：我工作的方式，我会在短时间内提出几个想法，并用实验测试它们的可行度，然后放弃其中的大部分想法。如果这是愉快的一天，我可以在办公桌上花很多时间，那我可能会编写三五个想法，最后一一否定。每个想法的投入时间很少，所以我可以试一大堆不同的点子。从这个角度来看，具体某个想法的失败只是我工作流程中不变的一部分。

此前被“怒怼”的ICLR 2018七篇GAN论文

8.谈及成功的科研人员时，人们总喜欢根据他们的贡献进行评分，比如期刊杂志，对此你怎么看？这之中是否存在一些容易被忽视的因素？

我认为我们衡量成功是标准是社会错过一大堆成功人士的主因。

例如我们花费大量时间评估工作、评估个人，但我们并没有在评估过程上付出相当的时间和精力。我们也没有安排谁来确保这些评估流程的公平准确。NIPS experiment这篇论文证明，论文评审过程中存在许多噪声（Eric Price表明各领域主席经常会意见不一致），但业内还没有一个领头羊去努力开发更好的审查流程，并以他们实际工作的证据为后盾。学界应该重视所有为学术进步做出的努力，但到目前为止，我们似乎没有任何方法为这些努力创造价值。

9.你认为机器学习作为一个领域，它的失败和其他领域的失败有什么不同吗？它们是否会以不同方式影响不同的人群？

机器学习对用技术催生大量工作岗位和迅速落地各类产品有很高的期待。如Ilya Sutskever在谷歌学术搜索上的引用量已经突破5万，但在数学领域，4个最近的Fields Medal获奖者中甚至没有一个人的论文引用量超过5000。这很奇怪，在我们这个领域，成功具有如此的爆炸性。部分原因可能是我们更常用arxiv.org，而不是同行评审的出版物。但是说实话，我不太了解它是怎么影响不同人群的。