徐宗本院士在SIGIR2020的演讲,突破机器学习前提的瓶颈,非常硬核,值得学习

徐宗本

西安交通大学教授、陈嘉庚奖获得者、中国科学院院士

徐宗本教授发表了280余篇关于非线性功能分析,优化,机器学习和大数据研究的学术论文,其中大部分在国际期刊上。他目前的研究兴趣包括用于大数据分析,机器学习和数据科学的数学理论和基本算法。徐教授获得了许多学术奖项,例如,国家自然科学奖(2007年),国家科学技术进步奖(2011年),CSIAM Su Buchin应用数学奖(2008年)和Tan Kah Kee科学奖(信息技术科学,2018年)。应大会委员会的邀请,他在国际数学家大会(ICM 2010)上发表了45分钟的演讲。2011年当选为中国科学院院士。徐宗本院士在7月27日即主会议的首日下午,围绕“关于机器学习的前提:一个元理论”带来主题演讲。

关于机器学习的前提:一个元理论

机器学习(ML)运行和应用的前提是一系列的前提,这些前提既是AI的巨大成功,也是ML进一步发展的瓶颈。这些前提包括: (一)数据集上损失函数的独立性假设(假设i); (二)假设空间上的大容量假设,包括解(假设二); (三) 训练数据高质量的完备性假设(假设三);欧几里得关于分析框架和方法的假设(假设四)。

在这次演讲中,我们报告了我的团队在如何突破ML的这些预设并推动ML的发展方面所做的努力和取得的进展。对于假设I,我们引入噪声建模原理,根据数据样本的分布自适应地设计ML的损失函数,从而为实现ML的健壮性提供了一种通用的方法。对于假设二,我们提出了模型驱动的深度学习方法来定义深度神经网络(DNN)的最小假设空间,这不仅产生了非常高效的深度学习,而且为DNN的设计、解释和与传统的基于优化的方法联系提供了一种新的方法。对于假设三,我们开发了公理课程学习框架,从一个不完整的数据集,由易到难,一步一步地学习模式,从而为处理非常复杂的不完整数据集提供了可行的方法。最后,对于假设IV,我们引入一般的巴拿赫空间几何,特别是徐罗奇定理,作为对ML问题进行非欧几里得分析的可能有用的工具。在每个案例中,我们都提出了其思想、原理、应用实例和文献。

成为VIP会员查看完整内容
36

相关内容

徐宗本,中国科学院院士,数学家、西安交通大学教授。主要从事智能信息处理、机器学习、数据建模基础理论研究。 曾提出稀疏信息处理的L(1/2)正则化理论,为稀疏微波成像提供了重要基础;发现并证明机器学习的“徐-罗奇”定理, 解决了神经网络与模拟演化计算中的一些困难问题,为非欧氏框架下机器学习与非线性分析提供了普遍的数量推演准则; 提出基于视觉认知的数据建模新原理与新方法,形成了聚类分析、判别分析、隐变量分析等系列数据挖掘核心算法, 并广泛应用于科学与工程领域。曾获陈嘉庚信息技术科学奖、国家自然科学二等奖、国家科技进步二等奖、中国CSIAM苏步青应用数学奖、陕西省基础研究重大贡献奖;曾在2010年世界数学家大会上作45分钟特邀报告。曾任西安交通大学副校长。现任中国科学院信息技术科学部副主任、西安交通大学西安(国际)数学与数学技术研究院院长、大数据算法与分析技术国家工程实验室主任,是国家大数据专家咨询委员会委员、国家新一代人工智能战略咨询委员会委员。个人主页:http://gr.xjtu.edu.cn/web/zbxucn;jsessionid=99A690F7A24077E414B3F60A2DFEAFC4
【普林斯顿】持续视角下的机器学习,31页ppt及视频
专知会员服务
23+阅读 · 2020年8月19日
VALSE Webinar 19-24期 去雨去雾专题
VALSE
23+阅读 · 2019年9月12日
SFFAI分享 | 常建龙:基于关系的深度学习【附PPT与视频资料】
人工智能前沿讲习班
6+阅读 · 2019年7月1日
基于深度学习的视频内容识别
计算机视觉战队
10+阅读 · 2017年8月18日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Arxiv
3+阅读 · 2019年9月5日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
8+阅读 · 2018年7月12日
Arxiv
6+阅读 · 2018年4月3日
Arxiv
16+阅读 · 2018年2月7日
VIP会员
相关VIP内容
【普林斯顿】持续视角下的机器学习,31页ppt及视频
专知会员服务
23+阅读 · 2020年8月19日
相关论文
微信扫码咨询专知VIP会员