王立威谈AI理论发展：泛化理论能否加速“牛顿时代”到来

关注网易智能，聚焦AI大事件，读懂下一个大时代！

7月28日，在深圳举办的2018中国人工智能大会上，北京大学教授王立威发表了题为《机器学习简介—方法、应用与展望》的演讲，对机器学习的理论发展做了全面阐述。会后，王立威教授接受了网易智能的采访，谈到了人工智能的行业应用与未来发展。

出品 | 网易智能（公众号 smartman163）

期号 | AI英雄总第91期

作者 | 小羿

作为北京大学信息学院教授，王立威对于人工智能的研究已有十几年。不同于其他的人工智能专家，王立威的主要研究兴趣在于机器学习理论。早在2010年，王立威就入选IEEE的AI’s 10 to Watch，是亚洲首位获得该奖项的学者，并于2012年获得国家自然科学基金优秀青年基金。

目前，王立威已经在机器学习顶级会议NIPS、COLT、ICML和顶级期刊JMLR、IEEE Trans. PAMI发表多篇论文。其中2008年发表于机器学习理论最高会议COLT的论文《On the Margin Explanation of Boosting Algorithms》是中国大陆学者在该会议上的首篇论文。

泛化理论：机器学习与深度学习的核心理论概念

在此次大会报告中，王立威详细解释了“机器学习”的涵义。他说，自然科学中的“机器学习”是利用方程式描述简单的数学规律，麦克斯韦方程组、牛顿定律、薛定谔方程、洛伦兹变换这些理论都是如此，而人类也曾像“机器学习”一样思考。但是，今天的机器学习技术，是设计复杂模型用于解决非常复杂的问题，比如区分猫和狗的图像，这类问题无法通过设计简单规则来完成。“今天机器学习的核心思想是，世界是复杂的，需要用极复杂的模型，从大数据中来学习。”王立威表示。

作为机器学习的一部分，王立威对深度学习的兴起以及核心问题做了解释。他称，深度学习的重要技术成就在于深度网络可以有效表示信号。早期人工神经网络是从人脑获得启发，有仿生的意味。而最新一轮的深度学习技术是2006年提出的，真正取得成果是在2012年。取得成果的核心原因是G.Hinton等人提出逐层预训练等新兴训练方法，以及硬件计算性能大幅提升和海量数据。正因为如此，深度学习在研究上新型网络结构不断提出，在应用上一些领域的表现不断被刷新。

“但是，目前我们缺少对深层理论的理解，人工智能在学术上最重要的问题就是要建立新的理论，解释深度学习所观察到的现象。”王立威说到。

在机器学习理论的研究上，王立威提到了泛化理论，他认为，泛化能力是机器学习区分于其他领域的核心概念。而泛化理论的目标是解释和证明为什么以及怎样提高训练集的准确性可以提高测试集的准确性。

王立威在会后的采访中向网易智能更加详细地解释了泛化理论的发展。他表示，早期的经典泛化理论认为，有多少数据，就需要相应复杂度的模型，如果少量数据用了非常复杂的模型，在已有的数据上的效果会非常好，但是在新的数据上效果会很差，新旧数据差异非常大。但是到了深度学习观察到的结果是矛盾的，“就像我们现在看牛顿定律并不是在所有场合都适用的，经典泛化理论也有自己的适用范围。”王立威表示，从学术的角度来说，我们希望建立一个理论去理解深度学习，而且近一两年有很多的学者在关注这样的问题。

诚然，如果用物理学理论来看人工智能学科理论发展，后者显然还没有到达“牛顿定律”的阶段。但是泛化理论让我们看到了人工智能理论发展的一些希望。

AI应用的两大限制四个商业领域

谈到人工智能应用，王立威认为，人工智能目前的成功主要是工程技术的成功。但是有两大限制：

第一，人工智能技术目前只适用于知识相对封闭、狭窄的领域。比如，人工智能在图像分类的运用上，所训练的图像必须预定分好类，如果图像没有提前分类是不可以用的。

第二，凡是需要人类通过常识、经验判断的领域，人工智能技术目前远未达到广泛应用的程度。比如2016年全国高考语文作文（见下图），对人来说这张图像容易理解，但对机器来说，虽然机器可以识别图像内容，但却无法理解背后的涵义，因为牵扯太多的背景信息。

2016年全国高考语文作文

在具体的商业应用上，王立威提到了四个领域：

首先是无人驾驶，王立威认为在无人驾驶领域，大大小小的公司已经积累了大量的训练数据，在常规道路上常规行驶不是问题，但真正落地应用还是很难，这其中的关键是无法应对极端情况，包括罕见的路况和天气。所以，王立威建议，无人驾驶领域现在要加大极端场景和突发情况的模拟训练。

其次是金融保险，目前人工智能在这一领域的应用热度很高，涉及量化交易、金融风控等。

再次是传统业务，比如AI赋能电力调度，智能养猪等等。

最后是是医疗健康领域，目前人工智能主要用于医疗影像识别，药物研发。

王立威表示，目前自己在医疗影像领域涉足较深。依托北京大学的一系列附属医院，王立威教授所在的北大信息学院与北大医学部联合成立了医信交叉中心，两个部门合作共同探索医疗影像的应用。

王立威向网易智能阐述了AI医疗影像发展的看法：

首先，医疗行业的AI应用比较碎片化，即使只考虑医疗影像这一个应用领域，不同病种都需要一个个去攻克，不同病种用到的具体技术也有差异巨大。

其次，在推动AI医疗影像的过程中，王立威认为，医院必须认识到积累数据的重要性，而数据收集工作最好是由政府来主导，医疗行业制定标准，而且数据收集也需要有一个软件工具，不能增加医生的负担。

最后，算法系统最终会成为医生辅助工具，不仅让医生的效率更高，最大的价值是让医生从AI中学习，制定一个看病的标准。

面向未来：数据收集需要标准化，行业变革将加速

对于人工智能未来几年的发展趋势，王立威认为，从技术上说，AI将会解决更多封闭环境下的任务，但是没有突破性的进展很难解决需要常识的开放环境的任务。

从行业的发展来看，王立威认为，未来5-10年数据的积累被人们所重视，当某个行业的数据形成一定规模后，行业变革将加速。

“对于当前重要的任务，是培养行业内收集数据的习惯与标准化流程，随着数据的增多与数据质量的提升，一些行业将在十年内发生革命性的变化，包括医疗行业。”王立威憧憬到。（完）

- 加入社群吧 -

网易智能AI社群（AI专家群、AI黑板报）火热招募中，对AI感兴趣的小伙伴，添加智能菌微信 kaiwu_club，说明身份即可加入。