首日总结：Bengio、杨强、唐剑探讨如何构建AI学术研究和产业落地的桥梁

作者 | 青暮

10月28-29日，Mila联合微众银行和滴滴出行，以《探讨如何构建人工智能学术研究和产业落地的桥梁》为主题，举办了人工智能学术系列论坛。

该活动由图灵奖得主Yoshua Bengio教授与微众银行首席人工智能官杨强教授、滴滴智能控制首席科学家唐剑博士领衔，由微众银行(WeBank)、滴滴出行(Didi Chuxing)和加拿大蒙特利尔学习算法研究所(Mila)共同主办，AI研习社协办，AI科技评论作为独家合作媒体共同举办。

以下，AI科技评论整理了Yoshua Bengio、杨强和唐剑的演讲的主要观点，以及问答内容。

由于时间限制，嘉宾在演讲过程中仅回答了部分问题，AI研习社还特别对观众的问题进行了收集，并请嘉宾在之后进行录播回答 。本次论坛将整理有回放，感兴趣的观众可以关注文末“阅读原文”页面，观众提问整理在文末展示。

1

Yoshua Bengio

在本次论坛中，Yoshua Bengio的演讲主题是《深度学习：从系统1到系统2》。

Yoshua Bengio提到，人的认知系统包含两个子系统：系统1和系统2。系统1是直觉系统，主要负责快速、无意识、非语言的认知，这是目前深度学习主要做的事情；系统2是逻辑分析系统，是有意识的、带逻辑、规划、推理以及可以语言表达的系统，这是未来深度学习需要着重考虑的。

对于系统2来说，基本的要素包括注意力和意识，意识先验可以使用稀疏因子图模型来实现，这是一个思路，实现了因果关系。从人的角度来看意识，语言是高层次的表示，这需要把人的两个认知系统即系统1和系统2有机的结合起来，也就是说把低层次的表示和高层次的决策结合起来，从而实现系统进化。

对于如何用深度学习来实现系统2，Yoshua Bengio指出，最关键就是处理数据分布中的变化。对于处理数据分布，传统机器学习都是基于独立同分布的假设，但实际需要关注更多的是分布外泛化。尤其是从强化学习的角度来考虑，需要考虑哪些是影响数据分布变化的因素。

关于演讲更详细内容，可以阅读《Yoshua Bengio：深度学习如何实现系统进化？》，或关注后续视频回放。

问答：

1、深度学习是基于统计的学习，其预测结果中总会有一些错误，而基于符号逻辑的AI必须在逻辑上保持一致并且没有错误。那么将这两个系统结合起来时，如何使这两个系统中的矛盾得到解决？

我选择的途径不是重用经典符号系统方法，因为太脆弱了，甚至比现在的AI系统还要脆弱。这是因为经典符号系统要求一切都必须是完美的，它们不能很好地处理错误。

现代机器学习实际上是基于概率观点的。因此，错误不是问题。与此相关的另一个联系，是使用深度学习处理推理的现代方法。

例如，如果不想做出硬性决策，而要做出软性决策，则可以依靠规划。软概率决策的优点是，我们可以对不同的元素施加不同的权重，其中一个可能会获得90％的成功率。但是我们仍然会收到学习信号，这使学习变得非常高效。

2、如何看待中美之间在计算方面的竞争？

我不是竞争的忠实拥护者，我认为协作的效率更高。如果共享知识，知识将以更快的速度增长，那就是我们在科学中的做法。

2

杨强

在本次论坛中，杨强教授的演讲主题是《结合联邦学习与迁移学习》。

在演讲中，杨强教授介绍到他们正在把联邦学习和迁移学习结合起来。

联邦学习在应用中往往存在一个现象，即每一个数据拥有方所持有的数据，也许和别人的分布是不一样的，也许和别人的表达也是不一样的。比方说一个摄像头中可能看到更多的是男性，另一个摄像头看到的更多的是女性，这样的分布是不一样的。在这种状况下建模，对机器学习来说是有困难的，因为机器学习要求数据遵从统一分布，并且表达也是类似的，而不能一部分数据是图像，而另一部分数据是文字。这种异构的数据在现实中经常发生，所以有必要来做联邦学习和迁移学习的结合。

这种结合可以体现在各个层面，以深度学习为例，左边的图展示的是两个神经网络，蓝色的神经网络有很多数据标签，所以可以建一个很好的神经网络模型，但是红色的神经网络却缺乏这样的数据，我们考虑将蓝色神经网络的数据迁移到红色的神经网络中。过去，迁移学习是不考虑隐私的，模型和数据都可以被物理运到红色神经网络进行知识迁移。现在有了隐私顾虑，是不是可以用联邦学习达到迁移学习的效果？答案是可以。

在两边沟通的过程中，除了隐私加密以外，还要进行一项迁移学习的运算，保证两边数据的分布和两边数据的表达都是相同的。要达到这一点，双方首先要把各自方的模型和数据迁移到一个共同的子空间，这个迁移过程可以通过某种数学运算进行，比如和函数，效果相当于我们把神经网络的某些层迁移到了新的场景下。

这个工作中需要经过多番迁移和对比，所以效率很低。最近他们又提出了一个加速算法，使得每一方本地的数据计算尽量多，跨合作方的计算尽量少，以联邦块的方式进行梯度交互，结果证明效果非常好。另外随机森林也可以采用这个方法实现迁移学习和联邦学习的结合。

关于演讲更详细内容，可以关注后续视频回放，或者参考杨强教授在CCF-GAIR2020上做的类似报告《杨强：应对对抗攻击、结合AutoML，是联邦学习接下来的研究重点》。

问答：

为实现良好模型，进行联邦训练需要的参数量有多大？当前的基础设施是否足够？

这是一个很好的问题，因为效率是一个重大挑战。因此，在建立联邦学习两方之间的关系时，需要传递梯度信息以及损失信息，尽管采用的是加密形式。

因此，我们会面临挑战。一个是加密和解密，另一个是分布式通信。我们无需在双方之间建立特定的高速通信，尽管这样做会有所帮助。我们正在探索通过底层网络结构来优化此过程。

3

唐剑

唐剑博士的演讲主题是《AIoT关键技术及其在交通中的应用》。

在演讲中，唐剑指出，AIoT的关键技术是深度模型压缩，而相应的解决方案则是一种自动化和系统化的框架。然后，他展示了运输场景中的一些应用，并描绘了未来的研究方向。

唐剑在博士生期间的研究课题是无线传感器网络，后来人们称该方向为IoT，也就是今天的物联网，现在正变得越来越流行。IoT可以简单理解为连接传感器等事物的通信网络。

唐剑博士提出了一个很简单的等式，AIoT=AI+IoT，IoT可以简单理解为连接传感器等事物的通信网络，AIoT就是利用AI算法和模型使得物联网变得越来越智能。而 以 后的大趋势将是，大量AI学习模型将被部署在资源受限的IoT设备上。

目前的挑战在于，一方面，那些闲置的IoT设备通常很便宜，特别是它们通常具有非常有限的计算能力、内存和存储。另一方面，实际上很多应用程序都需要拥有实时性能。例如，在辅助驾驶系统中，就对实时性有非常强烈的要求。

所以，这是AI学习模型要考虑的基本权衡，即准确率与模型大小之间的关系。

如果要实现更高的准确率，一般需要选择更大更深的深度学习模型，但是很难将这些模型部署到廉价且资源有限的设备上。这也是AIoT面临的最大挑战，而对应的解决方案就是深度模型压缩。

目前有很多对深度模型进行加速和压缩的方法，其中三种最流行的方法是权重修剪、量化和知识蒸馏。

关于权重修剪，唐剑博士特别提到了发表在NIPS2015上的一项工作提出的非结构化修剪方法。

量化就是用更低的精度对权重进行取值，从而大大减少模型尺寸，只是可能损失一些准确率。

知识蒸馏最初由Hinton发表在NIPS2014的论文中提出。主要思想就是将大模型（老师网络）的泛化能力迁移到小模型（学生网络）上，具体来说就是讲老师网络预测的类别概率作为“软”标签来训练学生网络。

接下来，唐剑博士介绍了他们的解决方案，即自动化和系统化的框架。

该框架事实上是引入了一种自动化的过程，以确定模型压缩中重要的超参数。 唐剑博士发现，在模型压缩中，最重要的超参数其实是每个层的压缩率。 该框架可以将模型压缩为80倍，而准确率损失仅有1%。

然后，唐剑展示了一些运输方面的工业应用。

滴滴在安全车载智能硬件桔视中搭载了预警系统，借助深度学习算法，可以为驾驶员提供疲劳驾驶提醒、分心驾驶检测、烟雾检测等等，有助于安全驾驶。

其中，睡意检测模型应用了权重修剪和量化方法，而高级驾驶员辅助系统则应用了知识蒸馏方法。

最后，唐剑博士总结了模型压缩的未来研究方向，包括基于AutoML的方法、联合权重修剪、量化和知识蒸馏的方法、目标检测模型的压缩和加速、语义/实例分割模型的压缩和加速、结合压缩的编译、系统级别的调度和资源优化等。

问答：

1、滴滴和其他公司的驾驶安全检测系统比如Mobileye之间的区别？

据我所知，Mobileye是辅助系统的领先者。它实际上提供所谓的L2级辅助。它实际上已连接基于计算机视觉的系统与汽车上的控制系统。而我们的系统并不直接与汽车的控制系统相连，这是最大的不同。

2、开发这些驾驶安全检测系统的最终目的是什么？AI要多久才能实现完全的自动驾驶？

基本上，尤其是L5级自动驾驶，还有很长的路要走，至少还需要五到十年时间才能实现。因此，我认为在当前阶段，拥有辅助驾驶系统仍然非常重要，它可以帮助我们改善路况和减少事故。

4

观众问题

Yoshua Bengio:

(1) 你如何看待中美在AI领域的算力差距？

(2) 你如何看待机器学习中的对待样本？

(3) 关于OOD（out-of- distribution）泛化，已知IID（独立同分布）假设不适用的情况下，现在他们组里对新假设的研究进展如何？他觉得主要的难点会在什么地方？

(4) 基于变量间的稀疏因子图（sparse factor graph）来进行因果关系推断的研究，是否可以利用图神经网络来捕捉很好的因果关系？

杨强：

（1）在联邦学习中，如果所有参与者都没有完整的标签（垂直联邦案例），我们如何衡量联邦训练的性能（例如准确性等）？

（2）联邦学习参与者用于实现良好模型而改组的参数有多少？当前的互联网基础设施足够应对这一需求了吗？

（3）假如银行或医院也参与到联邦学习中，成为数据管理员，他们并不希望参与的数据透明化，或为个人数据管理员拥有、接触，您是否有考虑到其中可能涉及的法律或道德问题？

（4）您如何看待无监督学习与自监督学习的发展前景？

（5）机器如何才能学会感知与系统思考，而不仅是分类（ family resemblance）？

（6）迁移学习可以创建强大的逻辑吗？

（7）您在这次分享中将Bert与GPT-3在用少量数据训训练预训练语言模型上进行了对比，主要想表达的观点是什么？

（8）在联合学习中，集中训练有什么作用？

（9）在共享知识/模型时，如何定义（或保护）共享知识的所有权？

（10）杨教授提到，当没有目标域标签时，应使用域自适应。当一些目标域标签存在时，应使用监督迁移学习。关于“一些”，您是否能具体谈谈？我们是否可以简单地标记一些目标域数据并减轻对域适应的使用？

唐剑：

（1）滴滴研究网络压缩的商业场景是怎样的？

（2）滴滴所研究或应用的网络压缩适用于哪些应用或商业场景？

（3）请问Mobileye和滴滴这两者的DMS有什么区别？

赠书福利

AI科技评论联合【机械工业出版社华章公司】为大家带来15本“新版蜥蜴书”正版新书。

在10月24号头条文章《1024快乐！最受欢迎的AI好书《蜥蜴书第2版》送给大家！》留言区留言，谈一谈你对本书内容相关的看法和期待，或你对机器学习/深度学习的理解。

AI 科技评论将会在留言区选出 15名读者，每人送出《机器学习实战：基于Scikit-Learn、Keras和TensorFlow（原书第2版）》一本（在其他公号已获赠本书者重复参加无效）。

活动规则：

1. 在留言区留言，留言点赞最高的前 15 位读者将获得赠书。获得赠书的读者请联系 AI 科技评论客服（aitechreview）。

2. 留言内容会有筛选，例如“选我上去”等内容将不会被筛选，亦不会中奖。

3. 本活动时间为2020年10月24日 - 2020年10月31日（23:00），活动推送内仅允许中奖一次。

点击阅读原文，直达直播专题页~