CVPR 2019 | 五年后的计算机视觉会是什么样？

2019 年 7 月 3 日 计算机视觉life

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

本文转载自AI 科技评论

对于计算机视觉研究者们来说，以当前的技术水平为基础，寻找突破点做提升改进是科研的主旋律。这几年来，计算机视觉领域的已有问题在研究者们的努力下普遍得到了越来越好的解决，映入大家视野的新问题也越来越多。不过到了 CVPR 这个供全球计算机视觉研究者齐聚讨论的盛会上，一个可能不那么直接指导短期研究、不那么容易形成共识问题也就自然地涌上了大家的心头：在五到十年后的未来，计算机视觉的研究会是什么样子，是深度学习几乎完全替代了目前还在使用的其他一些方法，还是我们应该期待新的革命？CVPR 2019 上的首届「Computer Vision After 5 Years - CVPR Workshop」就正式地带大家一起讨论这个问题，不仅让已经有经验的研究者们交流观点，也为这个领域的年轻学者们拓展思路和视野。

Computer Vision After 5 Years Workshop 的三位组织者来自 UC 伯克利、FAIR 以及 UIUC，邀请到的演讲者包括 Ross Girshick、Jitendra Malik、Alexei Efros 等计算机视觉领域响当当的人物。研讨会在中午休息后开始；开始前五分钟，会议厅内就座无虚席。到了计划开始时间时，容量约 400 人的演讲厅的两侧走道、门内走廊就像 Facebook 何恺明、Ross 组组织的 Visual Recognition and Beyond 教学讲座一样挤满了人，这也说明了研究者们对整个领域大方向的关心。（虽然相比于本届 CVPR 超过 9000 的参会人员来说也算不上是多大的数字）

各位学者演讲的主要内容摘录如下。

演讲一

首位演讲者是 INRIA 法国国家信息于自动化所的研究主任 Cordelia Schmid。

Cordelia Schmid 是 IEEE Fellow，研究领域为图像和视频描述、对象和类别识别、机器学习，长期任 IEEE PAMI、IJCV 编辑，如今是 IJCV 主编，也是 CVPR2015 的大会主席。

Cordelia Schmid 的演讲题目是《5 年后对视觉世界的自动化理解》。

得益于机器学习研究的新进展和各种大规模数据集，今天的机器感知已经有了很多喜人的成果，对如何设计模型也有了新的思路。但当前的数据集其实存在一些问题，这会限制新任务中的表现。

数据方面，目前的人工标注数据存在许多问题，比如能覆盖的类别和实例数量都很有限，需要增加新的类别或者概念时难以重新标注或者升级标注，类别存在长尾现象，有一些信息是难以标注进去的（比如流、三维形体）。

针对人体动作识别任务，Cordelia Schmid 介绍了她对数据问题的解决方案 SURREAL Dataset，这是一个合成的三维人体动作数据集，有良好的可迁移性，也有许多不同级别的标注。

总体上来说，她认为未来的计算机视觉有这三个发展方向：数据集会同时有手工标注的、生成的和弱监督数据三类；更好的视频理解；以及多模态表征，与世界有更多互动。

对于视频学习话题，目前一大问题是视频数据集规模不理想，比如 UCF-101 和 J-HMDB 数据集的多样性、时长、分辨率都很有限。新型的数据集需要主角之外的更多动作，也更丰富多变。视频学习的目标包括判断时序依赖（时序关系）、动作预测。为此也需要新型的模型设计，她小组的一篇视频动作检测的论文就被 CVPR 2019 接收了。

在感知画面之外，计算机视觉研究还可以有更多补充，比如视觉系统可以与世界互动，和机器人、强化学习结合；音频和文字数据的加入也可以带来更好的视觉理解。

具体做法是多模态监督，最新的 Video-Bert 能学习视频和对话之间的对应关系；模仿学习结合强化学习、虚拟环境训练到真实环境训练迁移也是值得引入到计算机视觉领域的做法。

总结：Cordelia Schmid 对未来计算机视觉发展趋势的预测是，需要设计新的模型，它们需要能考虑到空间和时间信息；弱监督训练如果能做出好的结果，那么下一步就是自监督学习；需要高质量的人类检测和视频对象检测数据集，这非常重要；结合文本和声音的跨模态集成；在与世界的交互中学习。

演讲二

下一位讲者是 UC 伯克利电子工程与计算机系教授 Alexei Efros，他也是计算机视觉领域的先驱，尤其以最近邻方法而闻名。他的演讲风趣幽默，令人愉悦，也引发了现场许多听众的共鸣。

他首先展示了这样一张 PPT——计算机视觉的下一个五年计划。然后他很快解释这是开玩笑的，学术研究的事情怎么可能做得像苏联的五年计划一样呢。他紧接着讲了个关于学术课题的笑话，一个学生问他的导师「什么课题才是真正重要的」，导师回答他「当然是现在正在做的！」（也许是暗示没有一心投入哪个课题的人才能真正看得远）

所以他真正的演讲题目是：「没有遗憾的未来五年」。预测五年很难，但是可以做尽量不让自己后悔的事情。也是借机谈一谈自己学术经历中的一些感想。

遗憾是从哪里来的？Vladlen Koltun 有句话说「每篇论文都是障碍」，因为糟糕的论文可能会影响自己一生的学术名誉，可能会浪费了时间以至于做不了更有影响力的事情，甚至更糟糕地，可能会把整个领域引向错误的方向。而且也会长期带有这种负罪感。但是也不能只顾着安全，做学术研究就是需要冒一些险的。

Alexei Efros 说自己的学术生涯里有两大遗憾：图模型，就不应该尝试这个方向的，而且把很多别的研究人员也带到沟里了；而卷积网络，应该更早地研究、更早地使用。他讲了一则趣事，Yann LeCun 以前到伯克利做过演讲，介绍 CNN，LeCun 讲的时候仿佛完全没觉得有必要解释是怎么来的，就只是说了你需要这个、那个，把它们连起来，然后就好了。他还带了电脑，现场演示训练和预测（当时别的方法都没法这么快地完成）。这和当时做图模型的人的做法完全不一样，但也直到后来大家才接受了 CNN。

而所有遗憾的「元遗憾」，就是领域内的研究人员们花了太多时间精力研究算法。对特征的研究要少一些，对数据的研究更少，但实际上它们的效果是反过来的——数据带来的提升是最显著的。

他举了例子说明，如今面部识别早已不是问题，但当时，1998 年、1999 年都有人已经用简单的方法做出了优秀的结果，但让领域内公认「解决」了面部识别问题的算法，是看起来足够难的那个算法—— 2011 年的 Haar 特征加级联提升多厉害，更早的用像素特征、用朴素贝叶斯听起来就没难度，朴素贝叶斯（Naive Bayesian）这么天真、简单，怎么能说是突破性结果的代表呢。

另一个例子是他自己在 2008 年用最近邻算法做了图像的地理位置识别，巧的是谷歌也在 2016 年用深度学习研究了同一个问题。作为后来者的谷歌拿出了更多的数据，所以结果更好。

但有趣的是，在实验数据里，一样的数据量下，他们的老方法比谷歌的新方法效果还好。所以关键点还是在于数据，但大家都在急着提出并且标榜自己的算法。

所以说，做科研的人都有这么种自恋：相比之下，我们更愿意把成果归功于自己的聪明才智。

对于未来 5 年计算机视觉领域的发展趋势，Alexei Efros 接下来给出了自己的看法，更具体地说是对未来研究可能证明是障碍、可能会成为遗憾的东西的看法。不过他也说自己的观点是有争议性的，如果有人能证明他是错的也挺好的：

1，对抗性攻击和鲁棒性问题，他认为这不应该是个问题，没必要花那么多精力去想办法避免，实际上可能也永远都避免不了。因为对抗性样本本来就不是来自自然数据流形的数据，落在由自然数据流形所划分的决策边界上就是有可能的，所以这并不是一个数学问题，而是一个人类的感知问题。他的建议是只要我们让人类的视觉行为和计算机的类似就行了。换句话说，对抗性样本只是人类与计算机的感知特点不同的表现，而不是问题本身；如果想要治病，不要只吃止痛药（要研究感知特点，就不要紧盯着想要消灭对抗性样本）；

2，他认为短期内视觉无法和语言结合，抽象程度相差太多。Alexei Efros 挖苦说，最近几十年的 CVPR 论文可能都会反复上演这样的戏码：每一年都会有论文带来新的视觉+语言数据集，然后第二年发现在这个数据集上只需要用最近邻算法或者随便一个什么基准线方法就能打败所有别的方法。他说这是因为我们现在有的方法真的太弱了，还不足以把这两种模态的信息有效地提取、融合起来。「我们还没达到一只老鼠的视觉能力，怎么就开始想着做直立人做的事情了」

3，我们对可解释性的要求太严苛，有些问题没有简单的低维描述，就是复杂的，就是需要足够多的数据才能解决。相比于理工科往往用简单明了的公式描述现象，心理学、基因、经济学等学科已经没办法简单地用公式表示了。所以在这种时候我们就是应当依靠大量数据，没必要一定要追求一个简单的解。

他还举了个例子，一团烟雾的行为可以用公式描述，但是一颗树的生长行为是由温度、光照、水、气候等等许多复杂的因素在很长时间内连续变化所影响的，那么它就是没办法简单地解释的。

4，重新思考数据集。虽然做实验、发论文的时候一定需要用数据集，但是我们心里要记得，数据集并不等于整个世界，它只是一个相当固定的、二维的侧写。所以模型出现的过拟合/作弊行为也就不应该被看作是问题，同样的样本甚至同样的数据集（多轮训练）反复看了很多次，当然会出现这样的结果。说到底，就不应该使用有限的标注和数据集。

演讲三

Facebook 人工智能研究院（FAIR）的研究科学家、目标检测界的领军人物 Ross Girshick 上午还在教学讲座，下午就在这个研讨会进行又一个演讲。

就在 Ross Girshick 之前演讲的 Alexei Efros 说到有四件我们需要改变看法的事情，Ross 一开场也就说，他的演讲相当于只针对其中的第四点数据集的一点想法。他的演讲主题是「Big Little Data」。

目前在深度学习时代，可以说「大规模、类别均衡的数据集+手工标签+神经网络=不错的表现」，不过这也是我们唯一掌握的模式，所有不符合这个模式的都是还没解决的问题。

在这个演讲里，Ross 打算讨论的是一个和这个模式非常类似，但是还没被解决的问题。

从命名说起，人类和机器之间交流、机器和机器之间的交流会打开一个很大的新挑战：实体命名。自然场景中的物体非常多非常细，对它们的命名是一个尚未得到充分研究的挑战，这也将是未来的重要发展方向。

相比于当前的数据集、当前的对象识别任务中只检测主要的一些物体，如果要检测场景中的所有物体，这有一系列不同：首先需要大幅扩充词汇库，其次，如果希望能服务更丰富的行为的话也需要更丰富的表征。实际上，要检测所有的物体，其实并不仅仅是检测更多类别而已，它会启发很多全新的研究课题。

很明显的，第一个问题：是要如何评价分类结果；第二个问题是，如何应对数据效率、长尾数据的状况。

长尾数据的状况其实远比我们一般印象里的糟糕，他们统计了 COCO 数据集中的类别分布比例，并同步尝试了用更少的数据训练模型。在减少到只有 1k 训练样本时，超过 90% 的类别都仍然有至少 20 个样本，甚至还没有到小样本学习的范畴，但模型的准确率已经出现了大幅下降。

而如果统计更大范围的图片内的类别分布，总的类别数目越大时，最后出现的罕见类别也就越多、每个类别样本越少。

Facebook 探究这个问题的努力是设计了 LVIS 数据集。它基于的是 COCO 数据集中的图像，数据总量很大，但是样本量很小的数据类别也很多。非常多的实例分割标注，但是包含的长尾数据中也有数量很少的类别，这就是 Big Little 两个词的所指。

Ross 说道，构建数据集时就需要重新思考不少东西：过往的数据集构建时，做法都是先选定想要包含的类型（哪一千个类别），再通过关键词搜索对应类别的图片，然后添加到数据集中。这样的结果就是模糊的类别少、类别总数目有限、不同类型的样本分布过于平衡。这其实都是和更广泛的图像、生活中的图像的特性不符的，也达不到检测所有物体的目标。LVIS 的设计目标和方法都有所不同，所以不再有这些特点（也可以说是缺点）。

Ross 着重说了一下他们对「类别」概念的重新思考。目前的对象识别数据集中都有许许多多类别名，但是「类别名只是一种表达」，并不能真的等同于类别本身的定义。

实际上，类别就是具有灵活性和多义性的，比如玩具鹿可以同时属于「玩具」类别和「鹿」类别，小汽车和卡车都可以属于「交通工具」，以及同一个物体可以有不同的称呼。一种直白的处理方式是把所有类别都列出来，然后每一个对象实例都要分别一一标注出它是否属于某个类别。但类别和实例稍微多一点以后这种做法就是不行的。

除此之外，真实世界的物体分类很多时候也就是模糊的，比如 hotdog（热狗）、taco（肉卷）、sandwich（三明治）三者之间的区别就很难说清，cereal（燕麦粥）和 soup（粥）也很类似。对于 toast 的理解就更是令人迷惑了。没有准确的定义，类别间的区别非常模糊。这都说明了没法做以往那样的直白的标注。

Facebook 的解决方案是用联邦数据集的概念，不做所有图像中的实例的精细标注，而是把整个数据集看作许多个类别数据集的集合；其中每个类别数据集由出一定数量的正例和负例组成，除此之外的图像都允许处于未知的状态，不再逼迫分类器一定要给出某个结果。

这种做法也带来了一些标注方面的新特性。建立这个数据集他们花了一年多时间，目前还没完全完成。感兴趣的研究者可以访问 www.lvisdataset.org。

对于数据效率问题，Ross 有一个有趣的说法：我们尝试持续提升 AP 了这么多年，是时候把它降下来了——需要让大家知道这不是一个已经完全解决的问题。

数据中的长尾特性是不可能消除的，检测不同类别对象的 mAP 有明显的高低区别，而且 Ross 认为当前的小样本学习根本就还没发展到可以解决问题的程度。从小样本中学习的能力真的是未来五年中的一个非常重要的课题。

Ross 并没有介绍他们在这方面的新的成果，但是他们将在 ICCV2019 上举办比赛，就基于 LVIS 数据集，通过挑战的过程吸引更多研究者关注长尾小样本学习问题。

演讲四

MIT 电子工程与计算机科学教授 Bill Freeman 的演讲主题是「The future of CV told through seven classic rock songs」。

他说这个主题，用摇滚比喻计算机视觉，其实觉得挺贴切的。不过鉴于这些老歌曲国内读者都不熟悉，这里暂时把比喻都略去，只关注正题内容。

Bill Freeman 一开头也讽刺了过去五年的论文发表模式：翻到计算机视觉教科书的随便哪一页，在那一页讲的课题前面加上「深度」，收集一个相关的数据集，仿照 AlexNet 的样子训练一个 CNN 模型，然后就可以发表在 CVPR 了。

最近几年的一个新风潮是从人类的视觉感知系统获得灵感发表论文，也许接下来五年的计算机视觉论文发表模式会变成：翻开 MIT 的《视觉科学》教科书，随便翻到哪一页，然后仔细地把这一页的概念融入到自己设计的网络中，就可以把论文命名为「一个 xxxx 的架构设计」，然后补充内容以后发表到 CVPR 了。（这当然也是讽刺）

接下来 Bill Freeman 花时间和听众一起讨论了许多视觉系统概念的辨析，大家交换了一下看法。鸟类能够飞行，当时有人认为是因为鸟有羽毛，也有人认为是鸟有翅膀。现在当然公认翅膀才是对飞行来说真正重要的，羽毛不一定需要。他希望大家思考一下，后面的这些概念，对视觉系统来讲哪些是翅膀、哪些是羽毛。也藉由这些讨论，窥探未来计算机视觉研究有待探究的课题。

1 人类视觉系统中独立的背侧和腹侧视觉通路，对类别和位置的分别表征，大多数人认为是羽毛；

2，明确地表征对象的边界，应该是翅膀；3，边界的重建能力，应该是翅膀；

4，Foveation，视野的中央部分最灵敏，Bill 认为这对学术研究来说是羽毛，对商业产品是翅膀（学术研究要研究视觉系统的本质，但商业产品有恰当的功能性就够）；

5，感知分类（认为上图中是一个条形贯穿了方形和圆形），应该是翅膀；6，三色视觉，有待讨论；7，高效率，低发热，可移动性，对学术研究来说是羽毛，对商业产品是翅膀；

8，反向连接，大多数人认为应该是翅膀

在这些说完之后，Bill Freeman 告诫大家要多看看前人的成果，不要总是重复发明轮子。

演讲五

第五位演讲的是计算机视觉领域奠基人之一的 UC 伯克利教授 Jitendra Malik。

Malik 开场首先说了像绕口令一样的一句话：科研的艺术，就是要找重要的、未解决的、但能解决的问题，去解决。

Malik 说，其实许多年前的演讲中他就曾讨论过未来：在 2004 年他就做过以《The Hilbert Problems of Computer Vision》的演讲，提出了一些对于计算机视觉系统的问题，希望未来的研究可以给出答案；然后在 2015 年，他做了《The (new) Hilbert Problems of Computer Vision》的演讲，为 2004 年提出的问题给出了一些回答，也提出了新的问题。他说他挺喜欢这个模式的，这个问答过程就是很好的预测和回顾，而且现在我们还可以回过头看以前对更早的问题的回答，以此作为预测未来的参考。唯一的遗憾是，今天这次演讲在 2019 年，距离上一次 2015 年的预测稍微近了点。

2004 年提出的对于早期视觉、静态视觉、动态视觉三个板块的问题，可以看作是在深度学习时代来之前对视觉领域的思考。在 2015 年时给出的回答分别是：

早期视觉问题

如何从图像统计中获得目前还不了解的信息？

在监督学习任务中训练一个多层神经网络就可以获得通用的图像表征

自底向上的图像分割能发展到什么水平？

可以产生一小组物体分割候选，然后可以用分类器添上标签。滑动窗口已经不再需要了。

如何根据自然图像中的阴影、纹理进行推理？

相比于对成像过程进行反向建模，我们可以进行学习。如果数据比较稀疏，我们需要给一些参数设定先验的值；如果有足够的数据，就可以直接用神经网络之类的非参数化方法学习。

静态场景理解

分割和识别之间如何互动？

双向信息流。

场景、物体、部件之间如何互动？

在感知域内能够隐式地捕捉到一些联系，但还不是普遍的结构

识别系统中的设计和学习的角色如何？

尽量多地从数据中学习。不要设计特征。要设计网络结构。

动态场景理解

在大范围运动对应关系中，高阶知识起到什么样的作用？

如何找到好的对应关系是可以通过学习得到的

如何找到并追踪明确的结构？

重建人体形状和动作方面已经有了巨大的进步

如何表征动作？

这还是个开放性的问题，目前我们还不理解动作和活动之间的层次结构

2015 年提出的新问题和现在给出的回答则是

人、地点和物体

世界上的每一个地点建模

已经有了表现优秀的 SLAM、地点分类和视觉导航

对每个物体类别建模

已经有了表现优秀的实例分割、分类和形状重建

用于社交感知的人类建模以及算法

已经有了表现优秀的人类形状、姿态、动作识别

不过对于社交感知的现状，Malik 认为并不乐观：今天的计算机的社交智慧少得可怜；当人类之间互动、人类和外部世界互动时，我们需要能够理解人类的内部状态，例子比如情感状况、身体语言、当前目标

Malik 回忆了图灵当年在图灵机论文较为靠后的章节里对智慧的表述，然后说我们的视觉感知发展之路可以像人类小孩的学习一样经历六个方向的发展。

这六个方向是：多模态学习；渐进学习；物理交互学习；探索；社交学习；使用语言。对于体现不同阶段的内建过程（以观察为监督、以互动为监督、以文化为监督），他认为这是挺合适的思考结构。

最终，我们希望达到的效果是，看到这样一张图（街边长凳上坐着一个演奏手风琴的人，边上经过两个路人），除了能识别出来图中的凳子、识别出人的动作之外，还能推测路人是否会给演奏者留下一些钱。

总结：在这个研讨会的演讲中，大家关注的不再是发论文时候需要的非常具体的任务和条件限定（做实验所必须的），而是关注整个领域里未解决的问题需要我们如何思考，以及对计算机视觉、甚至就是视觉、自然世界的本质有全面的审视。用全局的、贴近自然世界的视角看过以后，也就更理解了 Ross Girshick 在演讲中说到的这个成功的模式是「我们唯一掌握的模式」，现阶段能在数据集上比较、能在论文中展示算法表现的只是一部分具体刻画后的任务，整个计算机视觉领域内尚未得出结论的问题还有很多，我们都需要用更长远更开放的眼光去看待。到最后，预测五年后会发生什么，远不如提醒大家「我们还可以尝试做什么」来得重要。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、算法竞赛、图像检测分割、人脸人体、医学影像、自动驾驶、综合等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~