2018年11月25日,由中国图象图形学学会机器视觉专委会主办,华南理工大学与微软亚洲研究院承办的首届中国模式识别与计算机视觉学术会议(PRCV)之“深度学习理论理解”论坛在广州白云国际会议中心成功举办。本次论坛是在深度学习算法技术日臻成熟,但其背后的工作机理和理论保障研究相对不足的背景下举办,旨在为活跃在该领域的研究者提供一个交流学习的平台,实现理论与实践的相互促进。
中国模式识别与计算机视觉学术会议
本次论坛由微软亚洲研究院陈薇主管研究员、华南理工大学贾奎教授、华南理工大学谭明奎教授、以及悉尼大学刘同亮教授共同主持。
贾奎教授作主持
本次论坛共邀请5位主讲嘉宾,分别是北京大学林宙辰教授(国家杰青、IEEE Fellow、IAPR Fellow、IEEE TPAMI / IJCV 编委)、香港科技大学郭天佑教授(IEEE Fellow、IEEE TNNLS编委)、北京大学朱占星研究员、清华大学龙明盛助理教授和华南理工大学谭明奎教授(国家青千)。
林宙辰教授作报告
北京大学林宙辰教授在题为“优化算法启发的深度神经网络设计”的报告中,指出ISTA、ADMM等经典优化算法不仅仅是优化工具,它们还可以用于设计深度神经网络。林教授进一步介绍了最近他在这方面的工作进展,尤其是如何从一阶优化算法启发深度神经网络设计,并指出这样设计的网络和现有经典网络模型的关系。林教授的报告让听众对深度模型的优化和模型设计等有了更深入的思考。
郭天佑(James Kwok)教授作报告
香港科技大学郭天佑教授在题为“Small is Beautiful – The Quest for Compact Machine Learning Models”的报告中, 介绍了他发表在ICLR2017和ICLR2018两个关于网络模型压缩的工作。郭教授提出的方法直接从网络优化目标出发,通过对Adam等现有网络优化方法的简单修改,同时实现网络训练和网络压缩,得到具有性能保障的小模型,有利于在手机等移动端设备上部署。郭教授的报告引起大家的热烈讨论。
朱占星研究员作报告
北京大学数据科学研究中心朱占星研究员在题为“对抗学习:一种提升深度学习鲁棒性和泛化性的框架”的报告中,首先给大家普及了深度模型存在对抗样本这一现象,然后从对抗样本的可迁移性、如何通过对抗学习提升深度模型的鲁棒性、以及对抗学习在半监督学习中的应用等方面介绍了自己近年来的工作。朱老师的报告引起参会者的浓厚兴趣。
龙明盛助理教授作报告
清华大学龙明盛助理教授在题为“跨数据和任务域深度学习泛化研究”的报告中,给大家系统阐述了在深度学习大背景下,迁移学习的演化进展。龙老师从迁移学习的基本假设和实现迁移学习的理论目标出发,给大家介绍了自己近年来在这方面的一系列工作,并详细讲解了“条件域对抗训练”方法及背后的理论基础。龙老师的报告引起与会听众的热烈掌声。
谭明奎教授团队作报告
华南理工大学谭明奎教授团队在题为“从局部把握全局:一种新的对抗学习方式及泛化性能分析”的报告中,介绍了谭教授团队发表在ICML2018的关于生成对抗网络泛化性能提升的工作。谭教授团队首先介绍了生成对抗网络(GAN),并分析了生成对抗网络无法学习到数据语义信息的问题。为了解决这个问题,谭教授团队提出使用一种基于局部坐标编码的采样方法来提升GAN的性能,并分析了这种方法的泛化边界和证明了其拥有着良好的泛化性能。
论坛现场
论坛深受听众欢迎,导致会场爆满。在全体与会者热烈的掌声中,本次“深度学习理论理解”论坛圆满结束。本次论坛主要涵盖深度学习的优化理论、模型压缩、迁移学习、对抗学习等前沿理论研究成果,为参会者带来了深度学习理论的饕餮盛宴。