元自步学习

自步学习是近年来机器学习领域提出的一种启发于人和动物 “由易到难” 学习过程的学习机 制. 尽管自步学习已取得可喜的理论与应用进展, 但是当前的自步学习算法仍存在超参数选择的瓶颈 问题. 针对该问题当前主要采用一些启发式的手工设计方法或者交叉验证方法, 然而此类方法效率很 低, 缺乏理论性指导, 难以推广应用到广泛的实践问题中. 针对这一挑战性问题, 本文提出一种基于元 学习机理的自步学习算法, 该方法能使自步学习中涉及的超参数以数据驱动的方式自动习得, 从而大 大减弱了自步学习的这一核心问题. 特别地, 我们针对 3 种典型的自步学习实现格式, 将所提元学习 策略实质性嵌入, 通过回归和分类实验验证了所提算法的准确性和泛化性, 特别验证了相比于传统超 参设置方法的显著优越性.

http://scis.scichina.com/cn/2020/SSI-2020-0005.pdf