读博难？DeepMind科学家Ruder提出十条读博/做研究的十条锦囊

2020 年 5 月 29 日 专知

本文转载自：机器之心 | 作者：Sebastian Ruder

如何找到合适的研究方向？如何维持饱满的科研热情？如何通过读博实现长期规划？ ……DeepMind 科学家 Sebastian Ruder 来支招。

「听过很多道理，仍然过不好这一生」？但有些道理还是有用的。

机器之心曾经报道过多篇和读博相关的文章，最近我们发现 DeepMind 研究科学家 Sebastian Ruder 也发布了一篇博客，介绍自己的读博建议。

鉴于 Sebastian Ruder 博士期间主要研究机器学习和自然语言处理，因此他给出的建议也更适用于这两个研究方向的同学。不过，这份建议并不仅限于博士生。如果你是一名独立研究者，并且想开始攻读博士学位，或者只是想单纯地学习，那么这些建议大部分也是适用的。

不过 Sebastian Ruder 建议大家，在阅读本文时做好筛选，因为每个人的情况都不相同。根据自己的具体情况选择并改良这些建议，再进行实践，或许是最好的做法。

Sebastian Ruder 一共给出了十条建议，均来自其自身实践，他认为这十条建议对长期发展也有好处。

广泛阅读
同时做两个项目
要有雄心壮志
有合作意识
积极主动
写博客
维护科研能量
发挥长处
实习或访问大学
放长线钓大鱼

广泛阅读

博士生涯鼓励每个人深入研究一个特定的主题，但你可以通过在不同主题或不同领域之间建立联系来增加研究价值。建立跨领域连接的论文通常会很有见地，比如，深度学习领域的许多思想是从生物学、神经科学、物理学等其他领域获得灵感。

想汲取灵感，你需要培养各种兴趣，超越当下的视野。比如，参加其他地区的暑期学校，与其他实验室的同学时常沟通，或在会议上与不同领域的人交流，抑或是阅读不同学科的论文。

arXiv 网站上有大量的研究论文资源，但是时时刷 arXiv 有一定难度。Sebastian Ruder 采取的方式是使用 arXiv sanity preserver、arXivist、Twitter 流以及朋友推荐等方式来获取最新研究动态，寻找不同的主题。

关于如何阅读论文，Sebastian 表示，他通常更喜欢粗略地阅读 10 篇论文，而不是深入地阅读一篇文章（这和 Jeff Dean 的建议一致）。此外，使用带有搜索功能的论文管理系统（如 Mendeley），你可以随时重新阅读最相关的文献。

在博士生涯初期涉足不同的领域有助于你找到自己的研究兴趣。一旦找到，你只需专注于这些自己真正感兴趣的问题。

同时做两个项目

虽然在开始新项目之前先完成上一个项目是最优选择，但是过分专注于一个项目也有消极面。如果项目进展不顺利，研究者的动力也会受挫。在遇到并解决障碍前，大多数人将无能为力，还会「卡」上很长一段时间。培养这种韧性很重要，但有时需要付出高昂的心智损耗。

而同时处理两个项目就很有用。在其中一个项目中遇到障碍，你可以转头去处理另一个项目。这可以帮助研究者解放紧绷的神经，获得全新的视角。同时，如果其中一个项目进展顺利，这也可能帮助你在另一个项目上取得进展。

为了最大程度地减少思维切换，Sebastian 通常每天只尝试一个项目。如果两个项目属于相似的领域，也会很有帮助，这样你可以将一个项目中学习到的知识应用到另一个项目中。

要有雄心壮志

若你瞄准月亮，即使错失，也是落在星辰之中。

——Norman Vincent Peale

同时进行两个项目的另一个好处是使研究者更加大胆。当然，你可以选择一个相对安全的项目，同时选择另一个高风险但更有影响力的项目。相对安全保守的项目可确保你顺利毕业，而高风险的项目则可能产生更大的影响力。

研究者需要略带一些野心。选择高风险的项目，说明你很有创造力，能够提出新想法。其实，不管是高风险的项目还是相对保守的项目，二者都很有价值。即使项目失败，这些经历也可能促使研究者获得一些意外收获。但是，所谓的「雄心壮志」并不表示迎合大众口味，高影响力也可以集中在小社区范围内。判断项目是否具备影响力的可靠指标是，如果其他人发表了这项研究你会感到振奋。

「雄心壮志」意味着，你想成为挑战现状、指引自己航向的人。

有合作意识

博士通常被认为是一项孤独的事业，是一条知识求索的漫漫旅途。为了顺利毕业，你需要独自完成庞大的工作量，但这并不表示你是完全孤独一人。

相反，合作是一项重要的技能。机器学习和自然语言处理领域中的很多影响力较大的项目，如 AlphaGo 或 OpenAI Five，都是由团队开发完成的。无论你是大团队中的一员还是小组负责人，你都必须学会与他人合作。

与导师和博士之间的关系相比，合作关系具备更强的流动性。合作其实就是构建相互信任与尊重。想成功地完成合作需要大量实践。在合作过程中，你需要清晰地完成沟通并设置好预期，特别是远程合作的情况。

如果你同时做两个项目，那么请在其中一个项目中与他人展开合作。与导师以外的人合作可以给你带来新的角度，你能学到的会比独自工作的收获更多。

如果你在实验室工作，那么与实验室同学进行合作通常是最简单的操作。但是，与其他机构的人保持沟通与合作可能带来长期的有益影响。

积极主动

这可能是最重要的一条建议。不要把社交范围限制在当前的圈子，多接触他人。会议的主要价值是把人们聚在一起。参加会议前，通过查找接收论文的作者查看参会者，并给他们发电子邮件。要尽量保持尊重的态度，简要地介绍自己，表明自己想要与他们见面的理由。大部分资深研究人员会参与这类会议。试着与很多研究人员交谈，尤其是那些还不怎么知名的人。

在会议以外，通过邮件咨询同领域内其他人员来获取研究建议也是很有用的做法。但是，邮件礼仪很重要，写邮件时一定要让忙碌的研究人员愿意回复你的邮件。具体来说，你需要清晰阐述自己的研究和探索的解决方案。

除了咨询建议之外，这类联系或许还能带来其他机会，如工作 offer、合作、导师、Twitter 消息。最重要的是，这类沟通应基于相互兴趣与尊重。因此，请尊重他人的时间。此外，拥有共同兴趣的早期研究者通常比担负众多责任的资深研究人员更加开放。

保持积极主动的态度，还与你如何看待和谈论自己的研究有关：通过在自己的网站上强调、线上讨论和写博客的方式，让其他人更容易地发现你的工作。

写博客

写博客好处多多。

它可以帮你锻炼写作能力，并学着享受写作。要想顺利完成博士学业，你必须写一篇博士论文，而这个过程通常很折磨人。写博客可以提供一定的写作训练，帮你为论文马拉松做好准备。

从研究的角度来看，写博客可以帮助你练习清晰表达和解释事物的能力。这两者是将优秀论文与普通论文区分开来的重要标准。事实上，清晰的写作对于论文接收和高影响力都有很大帮助。与研究论文相对固定紧凑的格式不同，你可以在博客中进行试验，找到自己的风格。

博客还是展示和分享工作的良好媒介。一篇介绍论文的优秀博客不仅重申研究的主要成果，还进行一定的补充。博客要比论文更加灵活：你可以将有趣的联系突出显示出来，为读者提供大量文献概览和未来方向，展示生动示例、代码段或交互可视化，或者进行深度误差分析。

开始写博客的另一种不错方式是讨论你刚学到的知识。Rachel Thomas 将其表述为「你最适合帮助落后你一步的人」。如果你已经深入某一个领域，为什么不总结相关工作和自己的见解，帮助节约他人的时间呢？Sebastian Ruder 表示其大部分博客都是用这种方式开始的。

如果你学到了如何很酷地完成一件事，请写一篇博客来告诉他人。反之，如果你想了解某个主题，但无法在网上找到相关信息，你也可以考虑自己创建相关的资源。

Sebastian Ruder 表示，写博客带来了其整个博士生涯最积极的互动。ML 和 NLP 社区如此广大，即使你写的是小众主题，还是会有人感兴趣。

尽量忽略没有建设性的反馈，记住：社区欣赏真诚的声音。

维护科研能量的几种方式

外部奖励（如论文被接收）总是比较稀少的，因此利用内在奖励通常是必要的操作。

保持研究积极性与活力的最自然方式是，研究令你兴奋的话题，遵从自己的好奇心。鉴于你的资金或职位，你可能无法自行选择研究主题。那么，请尽量找到自己感兴趣的角度。即使是现有算法的应用也可以带来新的待解决问题。

博士是很消耗人的过程。因此构建可以依赖的支持网络就显得至关重要。将自己置身于积极的人之中，他们都能支持你的想法和野心。

同时，找到事情进展不顺时可以给你带来积极能量的活动，可以是合作、副项目、爱好、锻炼、冥想等等。对于 Sebastian Ruder 而言，这样的活动是写博客。（大牛果然是大牛……）

最后，积极能量的最重要来源不是你所拥有的计算量，而是你的个人良好状态。GPU 崩溃了可以重启，烧坏可就没辙了。

发挥自己的长处

「人最大的价值来自于做其他人不能做或想不到做的事情。」

——Sam Altman

随着人们对 ML 和 NLP 的兴趣激增，找到容易出成果但又比较新的研究主题变成了难事。好的策略是研究你目前最好解决的问题。完美的研究主题具备以下特点：有影响力，你感兴趣，你是唯一适合这项工作的人。

怎么才能成为唯一适合的人呢？你需要具备以下特点的其中一项：背景；对特定技术、方法、语言或数据的了解；个人偏好。你是非计算机背景？那么把这作为研究灵感吧。你是一个具备视觉创造力的人？那么用各种图表和分析补充博客和论文吧。你是很厉害的程序员？那么着手实现有技术难度的模型吧。你数学很好？试试用数学方式证明自己的论断。

另一个优势是你所处的人际网络和可获取的观念多样性。因此，寻找那些能够帮助你补足优势的人，不管是导师还是合作者。

实习或访问大学

建立有意义连接的最佳方式是与人们密切合作，建立私人了解。实习和研究访问都是扩展人际网络的好机会，它们可以帮助你与有才华的人并肩战斗。

你可以借此了解另一个环境是如何展开研究的。如果你还在犹豫进入学界还是业界，那么直接查看业界如何开展研究是一项宝贵的数据。研究访问或实习还可以帮助你决定之后应该加入实验室还是进入公司。

最后，实习和研究访问都是绝佳的学习体验，在此过程中你通常需要熟悉新的技术栈或研究领域。通过导师的指引，你还可以发现个人成长的不同方面。

放长线钓大鱼

我们中的大多数人之所以成为今天的自己，是因为有人早早将赌注押在了我们身上。Sebastian Ruder 表示，他的首次科研访问要特别感谢导师给予的机会。所以，如果获得了机会，你就要把握住并延续下去。不要只想着实现自身预期奖励的最大化，也要考虑到身边的人。

在大机构工作可以让你接触并创建自己早期的人际网络，从长远来看，你还要拓展这一网络，争取与更多的聪明人一起工作。在建立人际网络过程中，你需要积极主动，尽可能地帮助其他人。实现的方式有很多，如撰写博客文章或编写库、发布教程和课程、做播客、复现模型或者帮助开发开源软件等。坚持这么做，你会赢得勤奋努力和乐于助人的好名声，其他人也会乐意与你一起工作。

要善待他人，毫不吝啬地给予赞扬和肯定，不要心存怨恨。事实上，与人为善是个人取得成功必不可少的重要因素。与人为善还有一个好处：会议不只是研究展示和想法交流，更是朋友之间不可多得的年度聚会。

照顾好自己。努力工作的同时保证睡眠和锻炼。抽出时间学习新东西，涉猎自己不擅长的领域。最后，时刻提醒自己，虽然博士生涯是以一篇博士论文作为终结，但读博更重要的是在过程中寻找到更好的自己。