18-32期VALSE Webinar会后总结

第四范式机器学习研究员姚权铭博士2018年10月17日VALSE Webinar 成功举办。

姚权铭，第四范式机器学习研究员，承担自动化机器学习方向的研究方向工作。他于2018年在香港科技大学计算机系取得博士学位，2013年在华中科技大学电子与信息工程系获得本科学士学位。他曾获得2016年Google全球博士奖研金（全球仅13人当选）；2014年香港科技大学Tse-Cheuk-Ng-Tai杰出研究奖（全校1人）；2013年华中科技大学启明之（全校5人）。同时，他也是21篇顶级国际学术/期刊论文的作者，其中包括了JMLR，TPAMI，TKDE，TIP，MLJ刊物和ICML，NIPS，KDD，ICLR，AAAI，IJCAI会议。

姚权铭博士Webinar的题目为：Efficient Learning of Nonconvex Sparse and Low-rank Models。

在报告中，姚权铭博士首先介绍了凸正则化项在解决优化问题中的优缺点，经常会产生偏差估计和较差的预测性能。针对凸正则化项的不足，最近非凸正则化项引起了很大关注，并且性能上要优于凸正则化项。姚博士从两个方面介绍了他在非凸稀疏低秩模型的有效学习方面的研究工作。在第一部分中，姚博士讨论了一种非凸稀疏正则化项的通用转换方法。该方法有助于将非凸性从正则化项转换到损失函数中，继而将非凸正则化项转换为熟悉的凸正则化项，同时保证了损失函数是光滑的，且通过最初为凸正则化项设计的现有算法（例如标准近似算法和Frank-Wolfe算法）实现凸正则化项的学习。在第二部分中，姚博士分别介绍了非凸低秩正则化算法和近端梯度算法，通过实验证明了算法的有效性。

问答部分：

问题1：N2C算法的缺点？

回答：从算法角度（optimization）来说，N2C算法是没有缺点的，可能有的缺陷是在redistribution的形式上不是最紧的，会在算法优化以及算法收敛性方面产生影响。在我的期刊文章中，和NMPGA结合起来，在算法收敛性上是一样的，但是对于更复杂的问题而言，目前没有好的经验和建议。从理论上来说，因为不论是在原目的下的新问题的算法收敛性保障都是一样的，但是在新的问题上，可以明显地求解更快速。所以，N2C的主要缺点是在转化前和转化后在convergence上的损失或者增强不是特别明显。

 

问题2：FanCL是否可以用来加速求解graph RPCA或者low-rank representation等models？

回答：因为PCA中没有太多的稀疏问题，它的加速更多的是在奇异值分解方面。总结下来就是FanCL可以用来求解这样的问题，但是贡献点主要是在前两点，另外第三点的sparsity不会特别强。

 

问题3：非凸优化如何避免局部最优？

回答：这个和前面提到的影响算法收敛性的结论是一样的。局部最优对于learning performance而言，不是一个特别重要的问题，基本上局部最优和临界点的learning prediction是一样的。

问题4：深度学习时代，传统机器学习算法和深度学习算法的比较？

回答：传统机器学习不是没有意义的，取决于需求。在每个时代都会有新的方法出现，这并不代表另外一些工具完全失去作用，这取决于做这个问题的需求。我并不认为传统机器学习算法是没意义的，对于传统算法，也会有有趣的insight和理论分析。

问题5：是否有和self-pace learning做对比？

回答：这是两个正交的topic，这个方法可以在self-pace learning上应用，self-pace learning从简单的sample开始到复杂的sample。我认为两者不好做比较，是正交的问题，可以考虑结合在一起用。

问题6：正则化项如果是加权核范数，可以利用ADMM求解的，是否可以用上述方法求解？

回答：我认为在很多问题上ADMM是没有收敛性保障的，从理论上看，但是转化后是有严格性收敛性保障的。我这里的motivation是想在理论上把它证明清楚，具体的ADMM细节比较可以在我的期刊文章上详细阅读。

问题7：低秩稀疏的优化求解，怎么和深度学习结合，进行两者互补？

回答：最近也有一些稀疏和深度学习结合的工作，就是group Lasso、structure Lasso与CNN相结合的应用。

问题8：APG是不是不能处理有复杂约束的问题，比如低秩表示？

回答：APG可以处理复杂的约束问题，例如FanCL就是基于APG实现的，可以具体看我的期刊文献中的细节讲解。

问题9：APG有stochastic的问题吗，这样是不是更适用于大数据？

回答：我们的N2C方法可以和stochastic进行结合，具体的使用方法也可以看到SVRG就是用到的stochastic的方法，可以参照我的文献中有详细的解释。

录像视频在线观看地址：

http://www.iqiyi.com/u/2289191062

PPT链接：

http://vision.ouc.edu.cn/valse/slides/20181017/valse.pdf

特别鸣谢本次Webinar主要组织者：

VOOC责任委员：王楠楠（西安电子科技大学）

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G群已满，除讲者等嘉宾外，只能申请加入VALSE H群，群号：701662399）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周一推送上一周Webinar报告的总结及视频（经讲者允许后），每周四发布下一周Webinar报告的通知及直播链接。