专访邱锡鹏：人工智能开源社区的「先行者」

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

文 | 刘冰一、Echo

转载自 | 极市平台

邱锡鹏，复旦大学理学学士和博士。任职复旦大学计算机科学技术学院教授，博导。发表 CCF A/B 类论文 70 余篇，获得 ACL 2017 杰出论文奖（CCF A类）、CCL 2019 最佳论文奖。出版开源专著《神经网络与深度学习》，主持开发了开源自然语言处理工具 FudanNLP 和 FastNLP，获得了学术界和产业界的广泛使用。

前章

PREFACE

邱锡鹏在复旦大学读本科时专业并不是计算机，他上大学之前也没有接触过计算机，得益于复旦的通识教育，所有理科专业都要学编程语言，他由此对计算机编程产生了浓厚的兴趣，于是辅修了计算机作为第二专业。后来，他读了本校计算机学科的博士，并顺利留校任教。

邱锡鹏主要从事自然语言处理、深度学习等方向的研究。他读博所在小组比较尊重个人兴趣，他的博士论文是计算机视觉方向的，但其研究兴趣更多地偏向于机器学习底层算法研究。他的博导吴立德教授也同时在做自然语言处理方向的研究，因此对自然语言处理并不陌生。从机器学习研究的角度来说，自然语言处理中的预测问题通常是更有挑战性的结构化学习问题。邱锡鹏对此很感兴趣，也想要挑战一些更难的问题，留校后研究兴趣开始慢慢聚焦于自然语言处理。

吴立德教授对他产生了深远积极的影响。吴教授是数学专业出身，功底很强，是国内第一个发“模式识别与机器智能”顶刊论文的学者。吴教授治学严谨，授课通俗易懂，这是他一直佩服并在学习的一个技能。

操千曲而后晓声，他平时会广泛涉猎，有两种知识输入方式，一种是在谷歌学术订阅相关论文和资讯；其次是通过他带领的研究组所开发的工具，定期爬送供组内成员阅览，碰到质量高的研究就精读深究。他的研究小组一周举办两次论文分享会，除了组内分享之外，有时还会特邀嘉宾进行线上分享。学海钩沉，新知识“吸附”到既有的知识体系中，让大脑充盈随时进行联想式致知。

一个优秀的教育工作者和学生之间是良性的，他鼓励学生掌握自己的节奏，基本上不会干预学生的研究方式，他希望 「学生们都有自己的研究兴趣；培养自己发现问题、解决问题的通用能力；保持对专一领域深入思考，同时一定要多看多听多交流。」

在邱锡鹏看来，知识学习、知识应用和分享是相辅相成的。他长期保持着知识输入习惯，并且勤于总结归纳，也非常乐于分享交流。他认为 「要勤于表达交流，发现理解不透彻之处会倒逼自己学得更好。有时候能从一些漫不经心的交流中获得意想不到的启发。计算机领域在知识分享上做得非常好的，很多优秀的技术极客和研究大牛们都在热心地分享经验技能，这种共享文化可以帮助大家迭代更快，发展更好 。」

赓续科研初心

RESEARCH

2015 年，复旦大学开设了“神经网络与深度学习”的课程。当时没有相关教材，网上有一些关于深度学习电子版课件都讲得比较简单，资料也非常零散。这门课程开设的目的是为了让学生们系统、全面且深入地了解神经网络和深度学习知识，因此，邱锡鹏决定自己动手写讲义。筚路蓝缕，以开江河，一学期课程结束后，他写了大概五六十页。他觉得应该给这一个学期的授课做一个总结，于是他把讲义总结放在了网络上，收到了有很多有价值的反馈。有十多位忠实的网络读者让他印象深刻，「我写一章他们看一章，会提很多意见，有些是对讲的模糊部分的追问、有些是指出推导上的错误，有些是对整个体系顺序的建议。」他说，「读者们的增砖添瓦让内容变得更好，我很感激他们的支持和关注。」

直到现在，邱锡鹏仍然在为一届又一届的学生们讲授“神经网络与深度学习”这门课。伴随着行业知识更新、个人认知深化，他每次上课前后都会反复修改，每个学期结束进行汇总调整。 就这样亲力亲为、一轮一轮地迭代优化持续了 5 年，课程讲义已从最初的薄薄的几张文档到厚厚一打材料。

将这些更新迅速且十分庞杂的知识系统地归纳串联成一本完整又富有逻辑的教材并非易事，他面临过许多障碍，例如写作书面化和体系化，一个理所当然、一说大家都懂的知识点，但在书中却要掰开揉碎、细致详尽，幽隐毕达地写出来，且内容均需要有充分的考据和印证。此外，篇章式写作总归是不够系统连贯的。驭文之首术，谋篇之大端，邱锡鹏深晓其理，为形成写作体系花了很多功夫。他很喜欢《模式识别与机器学习-PRML》这本书，作者将机器学习置于一个新的视角，非常有体系地串联了不同知识点。这种思维让他很受益，经过广泛阅读和积累，博取众长，一遍遍打磨之下，“神经网络与深度学习”的内容变得更加丰盈连贯。

2020 年 4 月，《神经网络与深度学习》付梓， 这是国内出版的第一部关于深度学习的专著，面市不到一周即登上了京东和当当的计算机类新书榜第一，豆瓣评分 9.4 分，且截止到目前，它在 Github 累计标星达1.5万。

知识传播就像一棵树摇动一棵树，一朵云推动一朵云，邱锡鹏潜移默化地影响着自己和他人。最初他只是想把课上好，结果出了一本书，成为很多人的深度学习入门必读本，有些学校还拿去当作教材。这本书客观上也给他带来了一些声誉，让他收获了许多意外的认同和褒奖。「自然语言处理的圈子并不大，圈外人能够通过这本书了解到我。在很多会议上都有同学跟我打招呼说，您好，邱老师，我读过您的《神经网络与深度学习》......」，这让他成就感满满，他调侃，明明在科研上投入的精力更多，但写书得到的收获感更多，这也是教书育人的快乐。

敬酒虽好，但他认为蒲公英书进步空间还很大，写书是一个过程，需要根据行业发展不断补充新知识，比如图神经网络，自监督学习，预训练模型等。 将来，他希望在自然语言处理领域写一本书，将他在该领域多年的研究经验、知识理解和工作心得等等汇成体系分享给大家。

做人工智能领域的研究，理解并掌握底层的机器学习理论知识是入门，算法模型开发是核心，而高效且实用则是其作为一门应用型学科的衡量基准。为了提升自己的工作效率，同时也为了帮助更多想要进入到这一领域的研究者，自从事自然语言处理研究开始，邱锡鹏便开始着手于开源工具 FudanNLP 的开发。 出于对机器学习的兴趣，他独立完成了 FudanNLP 所有底层的机器学习算法。不同于当时其他的自然语言处理工具，FudanNLP 是集成式的，用一套统一的机器学习算法驱动多种自然语言处理任务。FudanNLP 从底层优化了模型的效率，在 2009年开源后，被许多算法公司所应用。

基于传统统计机器学习的 FudanNLP 在 2014 年停止更新。当时，基于深度学习的应用出现在自然语言处理研究的新趋势中，邱锡鹏认为，在未来深度学习将会变成自然语言处理的主流方法，因此他想开发出一个基于深度学习的工具。但那时的应用还非常不成熟，直到 2018 年 Transformer 等各类模型的推出，深度学习在自然语言处理中的技术应用路线终于规范下来，他开始实现自己 14 年时的计划—— 实现一套基于深度学习的自然语言处理框架，他将这一工具命名为 FastNLP。

在做这件事的时候，已经有许多开源框架都改进并新增了深度学习的内容，但对于部分国内开发者而言，这类工具都存在有语言上的障碍；同时，在与工业界的沟通中，他了解到，很多企业都难以直接应用这些深度学习系统。因此， 他希望首先面向国内开发者，FastNLP 所有的注释都是中文，同时在数据预处理方面的表现十分出色，帮助国内的研究者更快地去上手科研，而工业界则可以直接用它来处理数据，大大缩短了模型开发和调试的周期。

不论是 FudanNLP 还是 FastNLP，邱锡鹏所希望实现的目标都是降低自然语言处理的门槛，加快模型开发部署的速度，同时促进中文自然语言处理的普及。他还有一个一直想去达成愿望，就是未来我们人工智能算法开发的底层可以不再依赖于 Pytorch、TensorFlow 这些现有的框架，而是由我们自己来实现。FastNLP 未来也会大力支持国内现有的开源框架，以此为提升国产框架的普及尽一份力。

推进人工智能术语标准化

VISION

中国历史上出现过三次翻译高潮：东汉至唐宋的佛经翻译、明末清初的科技翻译、鸦片战争至“五四”的西学翻译。每次翻译热潮都引发海量知识的交汇融通，外眺可打通中外知识视域，前瞻可优势互补、关注盲点并寻找突破。当下，信息时代降临，在科研圈更是呼唤有效翻译，启迪影响科研人员，降低交流成本。

2015年，邱锡鹏在写书过程中发现国内学术术语混乱，经常遇到不同的教科书中术语使用标准不一致、中英术语夹杂等问题。比如很多人把 recurrent neural network 翻译成“递归神经网络”，但 recursive neural network 也被译为“递归神经网络”，这样就分不清了。当时他推荐翻译成“循环神经网络”。经过这么多年，大家基本认可了“循环神经网络”的叫法。

但是想要推进整个行业术语标准化并不是一件轻松的事情，一是中英文词性的差异，中文词汇存在引申意义，传词达意存在天然鸿沟。另外，很多翻译其实并不好，但已经被广泛发行刊印，成为业内流行甚至是行业共识称法，这些已被沿袭使用的词汇很难修正，成为推进术语标准化的顽固阻挠。

邱锡鹏希望为术语标准化做一些努力。在2021年上半年，他曾和《统计学习方法》作者李航，《机器学习》作者周志华，《动手深度学习》作者李沐和 Aston Zhang 博士等人开了几次会，探讨在丛书中将术语进行统一对齐，把相关术语整理成一个列表，希望逐步做到规范统一。

当然，日常交流中他推荐术语规范，表达更方便清晰，减少让人产生困惑的地方。一些东西很难翻译，像 Transformer 不论怎么翻译，都不能涵盖其意义和除机器翻译外的场景，此时直接使用原文是便捷的。他也一直在知乎等技术社区为大家推荐一些更准确的翻译，例如 Pooling 应译为“汇聚”，而非“池化”，因为“池化”没有正确表达出 CNN 执行这一操作的真正含义；Dropout 应译为“暂退”；Robustness 则推荐译为“稳健性”，原翻译“鲁棒性”缺乏中文的美感。

一个人可以走得很快，但一群人可以走得很远，邱锡鹏呼吁更多的人注重术语标准化使用，但他不强求每个人都使用目前所倡导推行的翻译。比如他不会要求自己的学生如何如何，只管以身作则。在他看来，推行术语标准化是有兼容性的，无论是争议还是随从都是一种积极的信号，这种关注本身就是一种向心力，能促使行业向前。

感恩智识上的先行者，感谢他们托举思考的宝石，缀满某些空白缺失处的漆黑夜幕。感谢邱老师谦逊地垂着他的绿荫，坚持为人工智能研究发展不断地奉献和努力。

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集
后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

CVer-Transformer交流群成立

扫码添加CVer助手，可申请加入CVer-Transformer 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看