经历分享 | 材料方向转行CS并成功发表CCF-B类顶会论文

写在前面

很多同学在就业或者升学过程中，会因为各种各样的原因需要转专业。俗话说，隔行如隔山。放弃自己长久以来学习的知识而转向另一个方向需要很大的勇气，也需要付出很大的努力。

C同学在转专业留学申请的过程中，经历了很长时间的挣扎与徘徊，但是他最终通过努力，取得了转专业以来的第一次巨大胜利-发表顶会论文。如果你对他的经历感兴趣，那就一起来看下他的这篇经历分享吧。

决定转行

经过漫长的纠结和痛苦的彷徨，我还是决定转行。

我研究生的方向是材料科学，就业也围绕着这个领域，做出转行这个艰难的决定，是因为自己工作的不顺。虽然制造业公司的工作稳定，但收入实在是太低了，只够我在北京的基本生活。我做过一笔测算，这样下去我无论如何也无法真正留在北京，况且制造行业前景一般，我也得不到上升空间。

所以我暗下决心，准备转方向。我从来不期待弯道超车，但坚信每个人有最适合自己的路。多年的学习使我意识到我的优势在于学术研究，既然材料科学不适合，我把目光投向了火热计算机科学领域，打算申请国内或海外的CS方向博士深造。

恶补CS基础

经过了大半年的基础知识学习，我已经掌握了python程序语言，数据结构，以及机器学习，深度学习方面的基础知识。但是天真的我没有意识到CS领域到底有多卷。

在与业内人士接触之后我才发现，自己有限的履历在一众科研经历丰富、学术背景强、动辄就发SCI、顶会文章的大佬面前什么也不是。该拿什么填补自己在CS方向一片空白的科研经历呢？又该如何向有意向的高校导师证明我是有科研潜质的呢？每次一想到这个难题，我的头发就掉一大把……

经过调研，似乎唯一出路就是尝试着做一些深度学习方面的研究课题。但是，课题研究又谈何容易！在一开始的选题上我就犯了难。之前一直在恶补CS方向的基础知识，从来没有想过深度学习方向有什么可以做的课题。这样我很难把握选什么方向的研究课题是对的。

研究生时代我就深知“题好一半文”的道理，没有好的选题，什么都是不可能的。似乎我刚燃起的一点斗志都被消磨了，我开始迷茫焦虑、甚至怀疑自己的转行的决定是否正确。

遇见DataSelect择数

在经过了一段非常彷徨的时光之后，一次偶然的机会，通过朋友介绍，我认识了择数AI的导师Michael。Michael导师在得知我对科研方向很迷茫之后，就向我大致讲解了自然语言处理方向目前有哪些研究热点，哪些未来可期的方向。

这次交流使得我对Michael老师非常钦佩，于是我正式加入了择数AI的1v1科研定制计划，在Michael导师的指导下开展科研工作。

开展科研工作

虽然前期我有了一些深度学习基础，但在进入正式的科研工作前，我还是需要有很多知识储备需要补充。

第一阶段是Michael老师向我提供了他讲解BERT等语言模型基础知识的教学视频。每周我学完视频的内容后，会跟着布置的代码任务进行训练。我和老师每周会面，详细讨论模型原理和代码实现过程中的问题或可优化的点。

Michael老师对模型的认知真的是有独到之处，与市面上其他教程是很不一样的。比如说，Transformer模型中的scaling到底是如何起到稳定梯度的作用的。这个我们在网上并不能找到答案，估计也是很少有人思考到这一点，但是Michael导师对此作出了详细的推导。

经过一个半月的基础知识恶补后，我们开始了基础文献的补充。过程是Michael导师指定论文，并针对论文提出几个思考问题，让我带着问题来进行阅读。

论文读完，Michael会用更多的思考题来检验我是否读懂了论文。虽然我每次都认为我读懂了文章，但是还是会有思考题难住我…...基础论文的代码部分我们也会一起过一遍，核心部分我会尝试自己先实现，然后Michael导师帮我检验并指导我改进。

这段时间的文献研究虽然很累，但是给我的最深刻的感觉在于：这并不是一个单向的知识灌输，而是双向的动态交流。导师Michael给我的感觉更像我的师兄，他当年踩过的坑、对一些文献观点的看法、甚至是和某些文献作者的交流经历都会毫无保留的和我分享。

这样的交流氛围使我更轻松，更能激发出我的一些灵感和思路，在某种意义上，这种辅导方式甚至优于研究生时代的学习模式，不一定是最高效的方式，但一定更自由、更有创造力。

在读了大量文献之后，我和导师一起敲定最终论文的主题为融合知识的语言模型预训练。我们发现，中文语言虽然有很好的通识语言知识库(e.g.，HowNet)，但是目前并没有很好的融入到中文大规模语言模型中。我们决定通过一个知识注意力层来将通识语言知识库融合到BERT模型中。

明确思路和理论细节，代码实现虽然会很耗脑力，但是经过努力我还是能够一步步的完成。Michael也很认真的检查，帮我指出了很多细节问题，对我的代码进行了优化和改进。

实验设置方面，由于我没有任何实战的CS科研经验，实验如何去做我也是一筹莫展。Michael导师在这方面循循善诱的引导我一步步设置和完善我的实验设置。经过1个多月，实验终于被我肝的差不多了！

论文撰写

原以为有自己研究生阶段的论文基础，CS领域学术论文对我来说应该没什么难度。事实证明我想的还是太简单了，一些基础的表达方式、名词运用和思考逻辑与我研究生时代的论文有很大的差别，还好择数的Michael师兄是过来人，他本身也是一些顶会(ACL，AAAI，EMNLP等)的审稿人。

投稿CCF-B类会议，对论文写作要求高。Michael老师在这个过程中给予了我很大帮助。他并不会为了图省事，直接帮我写好。他首先向我讲授了论文写作的一般方法论和经验，并和我分析了BERT，Word2Vec等经典文章中写作的优劣之处。

学习了论文写作，我就开始了我们论文的初稿撰写。第一版写完后，我发现自己过了一周后都读不懂了。由于我对学术写作经验不够，使得Michael导师需要花很大功夫来一遍遍的修改，极大地增加了他的工作量，但是他还是很耐心的帮我一遍遍的修改。而我通过他的修改，一步步的提升了自己的写作能力。我和Michael导师奋战了两个月的时间，终于将我那写的非常奇怪难懂的初稿改写成了条理清晰，非常易懂的学术文章。

论文投稿

除了Michael老师，择数AI也向我提供了非常强有力的支持。择数AI的其他大牛导师们也对我们的初稿提出了很多宝贵意见。最终我们将论文投稿到了EMNLP 2021。

投稿系统提交的那一刻的紧张与兴奋让我非常难忘，做出转行决定以来积攒的痛苦、彷徨的情绪随着鼠标点击的那一声“啪嗒”一起，顺着网络漂洋过海。无论结果如何，这段时间的经历都已足以使我感谢自己。

论文接收了

虽然论文接受前，有紧张的等待和rebuttal过程，但是最终，我还是收到了那封我心心念念的邮件！！！

数月的努力没有白费！我成功在CCF-B类会议EMNLP上发表了自己的第一篇论文。现在我已经开始整理自己的资料，并梳理了一个schedule，准备向我意向中的几所高校发出申请。

其实相比于一篇顶会论文，这段时间以来的经历对我来说更为重要。和择数AI的Michael导师兼师兄的交流学习中，我找回了当年做学术研究的感觉，也越发坚信自己的决定是正确的。

我开始期待自己的未来。

预约一对一免费咨询

可长按识别下图中的二维码

添加学术顾问微信

添加时备注：咨询

>>点击查看「论文1V1定制班」详细介绍

>>点击查看择数学员CCF-C类会议NLPCC录用函