独家 | ACL的「深度学习热」：论文纷纷「入坑」，企业蜂拥「入局」｜ACL 2017

2017 年 8 月 6 日 AI科技评论 奕欣

演讲结束，掌声响起。

赵衡急急忙忙收拾东西离开座位，希望在人潮散场前赶紧离开 ACL 2017 的主会场，好找个地方看看接下来的议程——但也已经晚了。尽管大门试图严密地隔开场内场外，但赵衡推开门时，会场外熙熙攘攘、甚至显得有些吵闹的对话声涌进大厅，引来不少观众的回头侧目。

赵衡背着包，磕磕碰碰地跟着人海移动到下一个会场时，他心里只暗暗后悔没有再早一点离场。

「我猜主办方也没想到有这么多人，今年的场子定得太小了，」赵衡半是无奈半是欣慰地感慨道。作为国内 Top 5 高校的博士生，他感慨自己遇上了 ACL 的「春天」，也遇上了深度学习的「黄金时代」。

据AI科技评论不完全统计，第 55 届 ACL 主会场的规模约为 1500 人，每个分会场也安排了超过 300 人的座位，预计本届 ACL与会人数超过 1000 人。

深度学习之热

十年前，ACL 还不是这般景象。北京大学计算机科学研究所的万小军教授回忆道，他第一次参加 ACL 的时候还是 2007 年，当年他刚留校任教不久，「（会议）在捷克布拉格举行的，当时是与 EMNLP－CoNLL 2007 和 IWPT 2007 两个学术会议同时召开。」资料显示，当时三个会吸引了「创记录」的 1095 人前来参会，且 ACL 2007 接收论文投稿 588 篇，收录 131 篇。

而在十年后，ACL 2017 仅收录论文数就达到 299 篇，总投递论文数达到 1318 篇。不得不说，这与深度学习的快速发展不无关联。

在 2011 年版本的中国计算机学会推荐国际学术会议和期刊目录中，ACL 还是 CCF 推荐国际学术会议（人工智能与模式识别）B 类；而在 2015 年，中国计算机学会（CCF）在第四版更新中将其「升级」为人工智能领域的 A 类会议，与 AAAI、CVPR 等并驾齐驱。本次修订升级 A 类的会议数量猛增，包括了NIPS、ACL等原本的 B 类会议，为此还引发了一番争论。

虽然学界对于 CCF 的推荐标准依然有很多分歧和讨论，但不可否认的是，深度学习的发展，正在影响甚至主导着学界的研究和产业的动向。至少 CCF 自上而下的方针指导，便可一窥学会对人工智能甚至是深度学习的高度关注与重视。

杰出论文开场前十分钟，会场已经满满当当

学术论文「纷纷入坑」

从 ACL 2017 的议程来看，深度学习的趋势愈发明显：在 ACL 2017 上，仅仅第一天的六个 tutorial 就有四个是和深度学习相关的，大多都是分析其在各个计算语言学领域上的运用。

国内某知名企业的首席科学家张凯是前两年 ACL 的忠实参会者。今年也来到现场的他告诉AI 科技评论，如果说 2015 年研究者们还处于深度学习的初步研究阶段，那么 2016 年的 ACL 便是深度学习在 NLP 领域全面开花的一届会议。他表示，ACL 2017 整体延续了上一年的风格，几乎所有论文都采用了深度学习的方法构建模型并提升效果。此外，研究所使用的数据集基本上都没有什么大的更新，并没有给他很大惊喜，也就是说，研究者们是采用了新的方法在测试原有的内容，重在效果和性能上更上一层楼，并没有更多的理论创新。

组委会自然也意识到了深度学习所带来的巨大影响。在去年 ACL 2016 上，最佳长论文颁给了一篇探讨符号语义性的文章——加州大学伯克利分校 E. Dario Gutierrez 的《Finding Non-Arbitrary Form-Meaning Systematicity Using String-Metric Learning for Kernel Regression》。这个决定在深度学习开始广泛应用的去年来看，隐约透露出组委会鼓励多做创新性论文，避免在深度学习上越钻越深的想法。

而在今年冲击 ACL 最佳论文的杰出论文（outstanding paper）宣讲现场上，大多数论文并没能跳出深度学习的「大坑」，「套路感」满满：我们怎么处理数据、我们怎么训练、我们的方法比起之前提高了多少百分点......看起来不免让人觉得有些审美疲劳。

比起其他杰出论文来说，今年获奖的最佳长论文——约翰霍普金斯大学的 Ryan Cotterell 和 Jason Eisner 的这篇最佳长论文《Probabilistic Typology: Deep Generative Models of Vowel Inventories》虽然属于深度学习方法的范畴，但更多提供了一种解决问题的新思路，因而在一众晒数据的论文中显得特别突出：这篇文章通过神经网络学习方法来对元音空间构建一个可训练的生成概率型分布方法，从而研究语言类型学中的元音的分散性和聚焦性问题，而 Presentation 最后的一句“Use NLP tools to do science，not just engineering！”则带出了一个问题：深度学习应该如何与传统 NLP 研究结合？

清华大学的朱小燕老师认为，NLP 研究层面上的突破并不只是靠深度学习的推动，「深度学习的火热很大一部分是 CV 领域带起来的，但 NLP 的情况并不一样，在深度学习流行起来之前已经有了很多不错的应用解决方案。此外，工业界的一些应用，如特定情境下的服务机器人，并不一定需要用深度学习方案。」

而另一位工业界技术人士也持类似的看法，她认为近两年深度学习的全面应用，从学术角度看属于在应用工具层面上的更新换代，其流行只是暂时性的现象，未来可能会被更好的方法取代。

或许对追求理论创新和突破的学术界而言，深度学习的「泛滥」并不是一件值得为之激动的事情，但对于工业界而言，却是机遇所在。

企业「蜂拥入局」

今年，有 38 家企业/机构成为了 ACL 2017 的赞助商，有不少来自国内的新面孔，包括腾讯、阿里巴巴、今日头条、CVTE等公司。在现场，还有包括 BAT 在内的 18 家厂商铺设了展位，这也给会场的热闹非凡「助攻」了一把。

但在去年的 ACL 上，所有赞助商加起来也不过 16 家。

ACL 2016 赞助商一览

AI 科技评论走访了现场的多家参展企业，发现包括谷歌、facebook、百度、腾讯等公司都有论文被今年的 ACL 录用。而纵览工业界在展台所宣传的内容，AI 科技评论发现对于 NLP 的应用需求不外乎对话 Q&A、推荐系统、机器翻译等领域。

三星电子的研究员 Je Hun Jeon 表示，目前公司的研究成果主要采用的是机器学习，目前已经应用于移动设备、智能家居产品及 IOT 产品。而日本产业技术综合研究所的研究员 Takushi 则表示，研究所主要关注的领域有三个，一个是在数据缺乏的领域，采用机器学习和模拟机制解决问题；另一个是采用强化学习解决化工问题，此外也关注 AI 控制系统的构建。

张凯告诉AI 科技评论，他在 ACL 主要关注的是深度学习在两个领域的发展情况，一个是根据语义理解文本情绪；另一个是生成更加智能的文本内容。他也相信，深度学习将成为未来一段时间的重要研究工具，并给产业界带来更多的惊喜。

一位不愿透露所在机构的 NLP 研究员 Allen 告诉AI 科技评论，深度学习的不可解释性，让很多研究处于「知其然不知其所以然」的状态，主要工作主要集中在了调试出好的效果，而非对背后原理的深究。但他也指出，这给工业界提供了和学术界站在同一起跑线的机会。「如果从句法的角度去了解，可能需要涉及大量的专业知识，但采用深度学习的方法之后，我们可以直接用大量数据喂（模型），也能成功得到结果。工业界是以产品化为导向，因此更在乎的是结果和产出，而非中间的研究过程。」

Allen 也认为，目前很多高校的研究能够在既有的数据集上调试出不错的效果，但同样的模型放在工业界上则不具备应用的条件。「体量太小，高校在用的那些数据集对于工业界来说并不合适，」而深度学习所需要的大量数据，在工业界则能够轻松获得，这也是为何现在工业界在某些特定研究领域甚至能够先行于学术界的原因。

其中，有些企业会以在学术会议发表论文的数目作为另一种招聘的宣传手段，以体现他们的研究实力；不过也有某些厂商持有另一种观点：对于工业界而言，是否在顶级会议上发表论文已经不是研究者的第一需求，甚至不会是他们的首要 KPI，将产品做好才是正道，自然发论文的动机也弱了很多。

但所谓「术业有专攻」，工业界与学术界所关注的方向并不相同。对于工业界而言，深度学习诚然是实现产业化的巨大机会所在，可以只关注热门技术和快速产出，增强公司的影响力；但学术界的研究依然要本着求真探索的原则，不应盲目追求热点，才能在追求真理的过程中带来创新，带来真正的变化。

（应受访者要求，文中赵衡与张凯为化名）

———————— 给爱学习的你的福利 ————————

CCF-ADL在线讲习班第80期：区块链—从技术到应用

顶级学术阵容，50+学术大牛

快速学习区块链内涵，了解区块链技术实现方法

课程链接：http://www.mooc.ai/course/113

或点击文末阅读原文