我是如何失败的 —— Ian Goodfellow 访谈（PhD’14, Computer Science）- 专知

我是如何失败的 —— Ian Goodfellow 访谈（PhD’14, Computer Science）

Ian Goodfellow是谷歌大脑团队的研究人员，他领导着一个研究人工智能领域对抗技术的团队。他被麻省理工学院科技评论的“MIT35岁以下科技创新35人”所收录，他是生成对抗网络GAN的发明者。他是麻省理工学院出版社《深度学习》一书的主要作者。你可以在他的网站和Twitter上找到更多关于Ian的信息。最近，他接受了HOW I Fail 项目的采访，回顾了自己在科研工作的被拒绝经历以及谈论了当下人工智能方面研究现状的看法。

http://www.iangoodfellow.com/

你好，Ian, 谢谢你参加HOW I FAIL的访谈项目! 我不得不承认，我差点因为不敢邀请你而失败，所以我很高兴你同意了。你能给我们介绍一下你自己吗?
谢谢邀请我！
我是谷歌的人工智能研究员，领导着一个团队。我们正在努力更好地理解人工智能的失败，以便我们能够建立负责任的人工智能发展的明确工程原则。我花了很多时间研究如何让AI安全，例如，如何确保恶意攻击者不能欺骗基于AI的系统去做攻击者想要的，而不是设计者想要的。
在Twitter上，你发布了一份你被拒绝的清单——你能详细说明一下吗?
我的同事莫里茨·哈德特在推特上提醒大家，这是“一年中的时刻，要记住，一个成功的学术生涯的典型开端，是从被一群优秀的研究院拒绝开始”。
我回复了一份研究生院和奖学金拒绝我的名单，这里有更正式的一份介绍我失败经历的清单:

A. 作为斯坦福大学的一名本科生，我在准备从事神经科学的工作时，曾在生物学和化学课上苦苦挣扎。我的成绩很好，但我觉得自己做得不够好，无法成为一名教授。

B. 在我把注意力转向计算机科学之后，我申请了几个本科生的实习岗位。值得注意的是，谷歌拒绝了我的实习申请。

C. 我曾经申请过斯坦福大学教授的暑期实习岗位。我的成绩单含盖在我的申请表里。他回答说:“你为什么在我的课程上有A ?”，结果是我不应该在他的课程里获得A。“我原以为这是一种宽容，但只是电脑出现了故障。我实习的结果是，斯坦福降低了我的成绩。

D. 其他大型科技公司给了我实习机会，但不是在机器学习或计算机视觉方面工作。在我的简历上，你看不到这些失败，只是最终的成功 (我很感激Willow Garage 和斯坦福大学的CURIS项目让我有机会在夏季实习期间为机器人技术工作)

E. 在我的硕士和博士学位中，我的大部分时间都是在没有外部奖学金的情况下度过的。这意味着我必须作为一名助教，或者是专门为支付补助金而工作，而不是主要关注我的研究兴趣。我不断地申请奖学金，就像魁北克的PBEEE一样。我花了2009-2013年的时间，试图获得开放式基金，直到2013年谷歌给了我第一个深度学习的博士学位。

D. 像ECCV这样的视觉会议拒绝了我在博士之前写的大部分论文。我做了很多关于机器人的感知工作，这些工作从未见过天日。
你认为哪些因素帮助你克服了这些挫折?
在高中的时候，我花了三年时间在学校的辩论队上，由两位真正伟大的老师指导:克里·科达(Kerry Koda)和托马斯·金(Thomas King)。
我很惊讶，在科学生涯中，我的辩论经历或多或少地能够帮助我。在克服挫折方面，辩论是有用的，因为辩论者都学会了如何处理失败的情绪。每场辩论都有赢家和输家。没有人是如此的优秀以至于他们总是赢。如果你坚持辩论很长时间，你很快就会习惯失去一轮比赛的想法，然后马上去另一间教室，再做一轮比赛，在比赛中失利，然后下个周末再去参加另一场比赛。你学会了不去沉思和自责。同时，你的期望也会得到很大的调整。你会习惯不断地经历失败和成功。
对于你的失败经历，有一些回应是谦虚的吹嘘或特权的标志——你的答案是什么?
当我在推特上发布这个消息的时候，人们并没有这么反应。很多人感谢我分享了我的失败清单。我肯定能理解为什么人们会把这看作是一种谦虚的吹嘘，但我想大多数人也明白我这样做是为了帮助别人摆脱冒牌者症。
另一方面，你是否认为失败是普遍的，人们可能决定不分享他们的成功?
不，我们基本上都是被迫分享我们的成功，无论是在工作中的绩效评估，还是在拨款申请中，等等。当向会议和期刊提交论文时，每个人都很有动力去展示他们的论文的正面，并试着去扫掉那些负面影响。我个人会尽可能地反对这种激励，但我不认为它很快就会消失。
到目前为止，我们讨论的是成功和失败，就像一些独立的决定，比如立场和出版物。还有其他我们可以失败的事情吗，你自己也有这样的失败吗?
实际上，我认为大多数离散的失败点(接受/拒绝某一特定的研究生院，或者接受/拒绝提交给会议的论文等等)都无关紧要。
我在推特上说自己被很多研究生院拒之门外，但那很好，因为我被很多人接受了。
例如，在2009年，最大的障碍不是我被一些顶尖学校拒绝，比如麻省理工学院和卡内基梅隆大学。对我来说最大的障碍是我不确定自己是否能做我想在其他顶尖学校做的研究，比如斯坦福大学和伯克利分校。目前还不清楚我的导师会在哪个学校就读(因为有一个新的博士生的轮换项目;在你入学的时候，导师没有被分配，而且这些学校的潜在顾问相对较少，他们支持深入的学习研究。我通过蒙特利尔大学(Universite de Montreal)克服了这一障碍，我提前把Yoshu Bengio作为我的导师。
我认为最大的失败可能是，我大部分的博士工作都是用非监督的特性学习方法来解决计算机视觉的监督学习问题，而当Alex、Ilya和Geoff用纯粹的监督方法赢得了ImageNet竞赛时，我完全失去了注意。我认为，一般来说，写论文浪费时间是我失败的主要原因。特别是现在，在arxiv.org上发表文章是很正常的。我定义我的工作是否成功，取决于它是否影响到其他研究人员，即使它没有被会议接受，也是成功的，否则，我的工作是失败的，即使它被接受到一个会议。
有没有什么事情是你觉得你目前正在失败的，或者你在未来犹豫不决的?
我自己的观点:我一直在做理解为什么神经网络很容易被小扰动的输入所干扰(通过自己的直接研究工作,努力促进兴趣主题让其他研究人员解决)近4年,还没有人知道如何制作一个模型在此设置精度高。
从职业成功的传统衡量标准来看:我今年提交给ICML的论文的评论尤其残忍，我期望它们中的大多数都可能会被拒绝。
另一件我认为绝对值得一提的事情是:我工作的方式，我快速地尝试了一些想法，看看他们是否有前景，并且放弃了大部分。当我有很多时间在我的办公桌上时，我可能会实现3-5个想法，并决定它们都不工作。每个想法的时间投资很小，但我可以尝试大量相对不同的想法。从这个角度来看，具体想法的失败只是我工作流程中的一个固定部分。
当我们谈到成功的研究人员时，你如何看待衡量评价的因素比如发表文章的?是否存在一些容易被忽视的因素?
我认为我们衡量成功的标准正在导致社会错过所有类别的成功人士。
例如，我们花很多时间评估工作和评估人，但是我们不会花很多时间来评估评估过程本身。没有人的工作是确保会议审查过程是公正和准确的。我们知道从少量的实验,有很多噪音在审查过程中(Eric Price表明,区域主席比他们同意不同意更经常在这一过程中如何处理一篇论文),然而没有人带头开发更好的评审流程支持的证据表明他们实际工作。研究社区应该重视提高整个社区的有效性的努力，但到目前为止，我们似乎没有任何方法来为这些努力提供价值。
你认为机器学习作为一个领域，失败的关系与其他领域有不同吗?这对不同群体的人有不同的影响吗?
机器学习的期望非常高，它能迅速产生大量成功的工作，并对其他所有人快速生产的工作产生影响。例如，Ilya Sutskever有超过5万的谷歌学者引文，而在数学方面，最近的四个奖项中没有一个有超过5000个引用。很奇怪，在我们的领域，成功是如此的爆炸性。这可能部分是因为我们使用了arxiv.org，而不是更多地关注于同行评议的出版物。说实话，我不太了解它是如何影响不同群体的人的。
你对机器学习的负面结果有什么看法?
我认为在机器学习中很难从负面的结果中提取价值，因为很难知道是什么导致了负面结果。一个负面的结果可能会指向一个非常基本的错误，但它也可能仅仅是一个非常小的软件错误的结果，错误的超参数值的想法尝试，太小的模型，等等。
如果你能联系到所有的高级学者，你会告诉他们什么?
如果我能联系到所有的资深学者/会议组织者/期刊编辑，我会告诉他们:社区需要有更好的方式来解决争议，而不是分享想法。
目前，这些问题主要是由那些认为自己没有得到适当信任的人直接联系到没有给他们信用的出版物的作者。如果这个问题只是一个简单的疏忽(新出版物的作者没有意识到旧的出版物)，但通常情况下，如果双方不同意，它就会变得丑陋。当没有中央权威和说服失败的时候，人们就会退回到胡萝卜或棍子，而大多数人没有足够的胡萝卜。
如果一位著名的教授要求一位初级研究员(比如一个博士生)提供学分，这种经历就会让人倍感压力。
随着我的工作在机器学习社区中越来越出名，我花了越来越多的时间来处理这种冲突。
如果一个会议或杂志提供一个集中的地方，让中立的第三方有效地裁决这些冲突，那就更好了。
你能给过去的自己最好的建议是什么?
我希望我能使用我买的一些GPU来挖掘比特币。