Catastrophic forgetting is one of the fundamental issues of continual learning because neural networks forget the tasks learned previously when trained on new tasks. The proposed framework is a new path-coordinated framework of continual learning that unites the Neural Tangent Kernel (NTK) theory of principled plasticity bounds, statistical validation by Wilson confidence intervals, and evaluation of path quality by the use of multiple metrics. Experimental evaluation shows an average accuracy of 66.7% at the cost of 23.4% catastrophic forgetting on Split-CIFAR10, a huge improvement over the baseline and competitive performance achieved, which is very close to state-of-the-art results. Further, it is found out that NTK condition numbers are predictive indicators of learning capacity limits, showing the existence of a critical threshold at condition number $>10^{11}$. It is interesting to note that the proposed strategy shows a tendency of lowering forgetting as the sequence of tasks progresses (27% to 18%), which is a system stabilization. The framework validates 80% of discovered paths with a rigorous statistical guarantee and maintains 90-97% retention on intermediate tasks. The core capacity limits of the continual learning environment are determined in the analysis, and actionable insights to enhance the adaptive regularization are offered.


翻译:灾难性遗忘是持续学习中的核心问题之一,因为神经网络在训练新任务时会遗忘先前习得的任务。本文提出的框架是一种新型路径协调持续学习框架,它整合了基于神经正切核(NTK)理论的可塑性边界原理、威尔逊置信区间的统计验证,以及通过多指标评估路径质量的方法。实验评估显示,在Split-CIFAR10数据集上,该框架以23.4%的灾难性遗忘代价实现了66.7%的平均准确率,相较于基线方法有显著提升,并取得了具有竞争力的性能,非常接近最先进水平。进一步研究发现,NTK条件数是学习容量限制的预测指标,当条件数大于$10^{11}$时存在临界阈值。值得注意的是,所提策略在任务序列推进过程中表现出遗忘率降低的趋势(从27%降至18%),体现了系统的稳定化特性。该框架通过严格的统计保证验证了80%的发现路径,并在中间任务上保持了90-97%的知识保留率。分析中确定了持续学习环境的核心容量限制,并为增强自适应正则化提供了可操作的见解。

0
下载
关闭预览

相关内容

【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员