原本要与Hinton当同事，最后被迫Bengio门下读博？ | 独立研究员的坎坷之路

The sun doesn’t shine on us, let’s not lose hope. 

作者 | 陈彩娴

编辑 | 青暮

在机器学习领域，如果一位技术达人，拥有机器学习硕士学位，专业能力过硬，机器学习开发经验丰富，发表过一些重要论文（非顶会论文），千辛万苦成功发表顶会论文后，他的研究生涯是否会迎来曙光呢？

先前，AI科技评论在《顶会论文，怎么就成了申博的必要条件？》一文中介绍了独立研究员Andreas Madsen坎坷的学术之路： 无导师、无团队伙伴、无科研资金援助，在2019年用7个月的时间完成了一篇ICLR Spotlight一作的论文。      

          

Andreas Madsen

他的故事曾在推特上风靡一时，受到了许多网友的推崇，也鼓舞了很多独立研究员。Andreas的梦想是进入知名大厂、成为一名研究软件工程师，此前因没有发表过顶会论文多次被拒。中了2019年ICLR Spotlight Award之后，很多人也许会认为：成功之后紧接着的也是成功，他的职业生涯一定会一帆风顺。

但现实是残酷的。世事难料，正如在2019年跨年夜喜迎新年的我们，怎么也想不到2020年爆发新冠。

从华为、DeepMind到Google AI Residency等等知名的机器学习研究机构纷纷向他抛出橄榄枝，Hinton也想与他进行一番交谈，再到Offer被取消、被迫申请成为Mila实验室的博士生，Andreas究竟经历了什么？

新冠对个体命运的影响，也许并不是个例。

1

坎坷的追梦之路

Andreas成为一名独立研究者，是迫于现实的压力。

2018年3月，他以唯一作者的身份在「Distill.pub」平台上发表了论文“Visualizing memorization in RNNs”，谈到针对自然语言处理任务，如何通过一种交互式的显著性可视化技术，证明两个准确率几乎一样的模型具有差异极大的表现。

论文地址： https://distill.pub/2019/memorization-in-rnns

论文的工作成果获得一致好评。因此，他当时以为，凭借这篇论文和机器学习硕士学位，足以在业界申请到研究软件工程师的职位，或申请到博士入学资格。然而他投了很多份申请后，却连一个面试机会都没得到！

而被拒的理由，多与“没有发表过顶会论文”相关。 他与朋友收到教授的拒绝信时，里面都提到这一点：

一般来说，现在想要申博士学位，没有一两篇顶会顶刊上的机器学习/NLP 论文是相当困难的。你在 Distill 上发表的论文和你在工业领域的经验在一定程度上弥补了这一点。不幸的是，我现在没有可供申请的空缺名额。——来自 QS 全球排名 Top 100 的大学的一名教授。

最好的人工智能博士项目要求申请者已经在顶会上发表过论文。如果你并没有在 ACL/EMNLP/CVPR/ICCV/NeurIPS 或 ICML 上发表过论文，你被录取的几率就非常小了。——某 QS 全球排名 Top 5 大学的前委员会成员。

为了实现自己的梦想，Andreas下定决心要在NeurIPS或ICLR上发表1-2篇论文。

2019年2月，他回母校参加了一个人工智能学生社团的开幕式活动，遇到了助理研究员 Alexander R Johansen。当时，Alexander想要尝试复现DeepMind 的论文「NALU」，在寻找合作伙伴。几乎所有发表的论文都会对其性能进行夸大，所以改进他人的工作是一种可行的研究策略。由于Andreas的硕士学位论文和在Distill上发表的论文都是对其他人夸大的工作进行批判性思考、并进行改进。

机缘巧合之下，Andreas在2019年4月开始了独立研究员的奋斗之路：

1、 孤军奋战。 按照Andreas本人的说法，独立研究员就是进入了一种「孤独地生活，但不放弃理智和希望」的生活状态。既没有导师的指导与鼓励，也没有可以互相倾诉的同门。他每周在这篇论文上大约花 48 个小时，有时候达到 100 个小时。（万幸，Alexander提供计算资源）

2、 自筹科研资金。 Andreas一边做科研，一边给NearForm做名为「clinic.js」的新项目（因为他此前曾参与Node.js 内部实现相关的工作长达 6 年的时间），以及为NearForm在NodeConf EU 2019 上推出的物联网智能手表/胸牌开发 TensorFlow 组件。

最终，经历了漫长的七八个月没有资助的研究工作后，在 2019 年 12 月，他的论文被ICLR接收。他的工作将 DeepMind 的论文「NALU」中的性能提升了 3-20 倍。

             

论文地址： https://openreview.net/forum?id=H1gNOeHKPS 。

代码地址： https://github.com/AndreasMadsen/stable-nalu

2

ICLR之后，梦想并没有成真

My love for science is a love for truth-seeking.

获得ICLR Spotlight Award之后，Andreas在推特上收到了近2000封邮件，除了同行的共鸣与寻求建议，还包括许多PhD申请与在企业工作的机会。

无论在生活中，还是工作中，获得成就与肯定，总是会燃起一个人对前程的希望。但往往，希望越大，失望越大。

在众多邮件中，有一封邮件来自DeepMind一位职位比高级研究工程师还高的人员，推荐他去DeepMind当研究软件工程师。信息里明确表示：会亲自向公司推荐他的简历，大约两周内就会接到HR的电话，然后进行面试。

收到DeepMind工作人员的推荐消息，Andreas非常震撼，“激动、胆怯、高兴等等词语，都不足以形容我的内心感受。”那一瞬间，好像梦想马上就要实现了——

但，DeepMind的HR一直没有联系他。推荐他的人也很失望。当时，新冠还没有在欧洲爆发。

在等待DeepMind消息的同时，作者还恳请一些在推特上转发了他的ICLR论文的谷歌工作人员推荐他，并在2019年12月申请了Google AI Residency的工作机会。据他所知，Google AI Residency的研究岗位是少数几个不要求具备PhD学历的单位之一。

每年申请Google AI Residency的人员成千上万，入选机会非常渺茫，但作者收到了面试的邮件。

面试的流程大致如下：指定HR电话面试——编程能力面试——机器学习能力面试——招聘委员会最终批准。

凭借出色的编程能力与对机器学习的技术了解，他顺利通过所有关卡， 还拿到了Google里面4个研究小组的offer！ 其中包括位于多伦多的Google Brain。因为一般来说，申请者只被批准进入1个研究小组工作。

获得特别批准后，他能与每个研究小组进行非正式的交谈，看看哪个小组最适合他。 他甚至被告知，Hinton也很想与他进行一番交流。

但天有不测之风云。4月份前后，新冠在欧洲与北美地区爆发。他收到通知：小组会话与整体招聘要暂缓，等Google出一个决定优先招聘顺序的方案。Google的人事问他能不能把原先2020年9月的入职推迟到2021年1月，他同意了。

接下来便是4个星期的焦急等待。一开始，他抱有较大的信心，因为他被录取的四个研究小组所在的地区受到新冠的影响均不是很大，他先前也获得了许多内部人员的推荐。

但结果是残酷的：他没有拿到offer，招聘委员会撤回了对他的录用，理由是“不再符合他们目前的业务发展”。如果他仍然想去Google发展，只能明年重新申请，他今年的“过关斩将”不再作效。

除了DeepMind和Google，他也有拿到其他很多公司的“承诺offer”，包括Salesforce和华为，但最后都因为新冠对经济/业务的影响，或其他原因，被“无情”取消。

雪上加霜的是，他原本从事自由职业的业务，收到了几个项目的合作合同，也都被取消了。为此，他一度陷入财政困境。

3

从业界到学界的无奈之举

在业界频频碰壁之后，他不得不选择申请读博。 虽然发表顶会论文、然后申请博士，是他的计划之一，但是，是他“排在最后位的选择”，因为他最想做的事，便是进入业界大厂，成为一名研究软件工程师。

如今，他已成功申请了Yoshua Bengio于1993年创立的Mila人工智能实验室的博士。在业界待过一段时间后再返回学术界，申请PhD时，业界的推荐信作用并不大，所以他只能重新争取学校教授的推荐信。

Mila主页： https://mila.quebec/en/

尽管Mila是一所非常不错的人工智能实验室，但他并不感到十分高兴： 因为在他看来，他明明有适用于他理想岗位的能力，通过了面试，被引荐很多次，发表了顶会论文，也拿到了工作承诺，但最终却没有拿到最理想的offer。

由于新冠，他不能去加拿大，只能在家办公。自2019年3月成为独立研究员之后，他便一直在自己的一居室里呆了18个月。Mila所给的津贴是根据蒙特利尔的生活成本制定的，作者所生活的丹麦城市哥本哈根要贵得多。关于会不会读完博士，他表示很不确定： 他能坚持多久，完全取决于他的经济能力能支持他攻读博士多久。

而且，他还要多花4年的时间呆在一个他并不是特别喜欢的环境中学习，只为了变得"overqualified"。

试问，人生有多少个4年？

4

顶会论文能说明什么？

Andreas因“梦想破碎”而灰心、失落、颓废，也许主要源于：他发表论文的研究几乎全是独立进行的，与有导师指导、有同门陪伴、有科研经费资助的研究人员相比，他的研究之路更加坎坷、波折。

此外，他拥有丰富的业界经验，也曾离梦想咫尺之远。Andreas将Google、DeepMind形容为“careless hands”，不经意的一个小动作也许会成为压垮追梦科研者的最后一棵“稻草”。

有人将Andreas的文章“9 months after my ICLR spotlight award, as an Independent Researcher”放到了Reddit上，引起了许多网友的围观。

一些网友指出， 能力只是获得成功的一个因素，毅力、团队合作能力、心理素质等等也非常重要。 如果回顾他的独立研究员之路，我想，他的毅力等条件是毋庸置疑的。事实上，Andreas也提到，他与机会的错失，也可能是“运气不佳”。

还有网友指出，Andreas可能将ICLR论文视为理想生活的唯一要求。

顶会论文是专业能力的一个体现。在现实生活中，无论是企业招聘与博士申请，顶会论文似乎已成为申请者一个必不可少的“敲门砖”。这难免让科研人员建立这样的认知：顶会论文是成功的重要因素之一，甚至是发了顶会论文，一切都会顺顺利利。

一位科研者过分追求头衔（比如顶会论文），也许不是个人的意愿，而是迫于选拔制度的残酷与冰冷。

发表顶会论文显然并不是“成功”的代名词。

有网友提到，在2017年，一位名为Kevin Frans的高中生便在ICLR上发表了论文，所以Andreas的ICLR论文成就并不能算惊人。（收下我的膝盖…但值得注意的是，Kevin Frans的工作得到了OpenAI的研究员John Schulman与其他三位来自加州大学伯克利分校的研究人员指导。）

Kevin Frans

还有网友注意到，Google走完所有的招聘流程，且Andreas也通过了面试，并同意推迟入职时间，却还是让申请者等了一个月，然后发放拒信，是不是有点“不厚道”？

拿到offer又被拒的事，似乎已司空见惯——但，司空见惯，就代表合情合理吗？希望落空，情感上有点受伤，也是情有可原。

但愿每一个在科研之路上受挫的少年（无性别指示），都能坚持自己的梦想，不忘初心，适当调整标准，擦干眼泪再来！

参考链接：

1. https://medium.com/@andreas_madsen/becoming-an-independent-researcher-and-getting-published-in-iclr-with-spotlight-c93ef0b39b8b

2. https://medium.com/@andreas_madsen/9-months-after-my-iclr-spotlight-award-as-an-independent-researcher-9cfb0c808817

3. https://www.reddit.com/r/MachineLearning/comments/j6hh3b/r_google_ai_residency_promises_a_virus_and_tears/

4. https://www.wired.com/story/meet-the-high-schooler-shaking-up-artificial-intelligence/

---

NeurIPS 2020论文接收列表已出，欢迎大家投稿让更多的人了解你们的工作~

点击阅读原文，直达NeurIPS小组~