This paper proposes the recursive and square-root BLS algorithms to improve the original BLS for new added inputs, which utilize the inverse and inverse Cholesky factor of the Hermitian matrix in the ridge inverse, respectively, to update the ridge solution. The recursive BLS updates the inverse by the matrix inversion lemma, while the square-root BLS updates the upper-triangular inverse Cholesky factor by multiplying it with an upper-triangular intermediate matrix. When the added p training samples are more than the total k nodes in the network, i.e., p > k, the inverse of a sum of matrices is applied to take a smaller matrix inversion or inverse Cholesky factorization. The original BLS based on the generalized inverse with the ridge regression assumes the ridge parameter {\lambda}->0 in the ridge inverse. When {\lambda}->0 is not satisfied, the numerical experiments on the MNIST and NORB datasets show that both the proposed ridge solutions improve the testing accuracy of the original BLS, and the improvement becomes more significant as {\lambda} is bigger. On the other hand, compared to the original BLS, both the proposed BLS algorithms theoretically require less complexities, and are significantly faster in the simulations on the MNIST dataset. The speedups in total training time of the recursive and square-root BLS algorithms over the original BLS are 4.41 and 6.92 respectively when p > k, and are 2.80 and 1.59 respectively when p < k.


翻译:本文建议重现和平方根 BLS 算法, 以改进新添加的输入的原始 BLS, 后者分别使用脊脊脊中Hermitian 矩阵的反反反反反反反反Cholesky 系数来更新脊脊溶液。 循环 BLS 更新矩阵反向的列姆马, 而平方根 BLS 则以高三角反向Cholesky 系数, 与上三角中间矩阵相乘。 当添加的 PLS 样本超过网络中的总 k节点时, 即 p > k, 则使用矩阵总和的反反反向系数来更新 。 当最初的 LSLS 和 NORB 的递增速度时, 最初的KLS 和 程的数值实验结果会大大改进 。 在原始的 BLS 中, 最初的 和 原始的 BLS 的 的 时间 将比 B 更高级的 。

0
下载
关闭预览

相关内容

【硬核书】矩阵代数基础,248页pdf
专知会员服务
83+阅读 · 2021年12月9日
专知会员服务
80+阅读 · 2021年7月31日
【图与几何深度学习】Graph and geometric deep learning,49页ppt
Python编程基础,121页ppt
专知会员服务
48+阅读 · 2021年1月1日
计算机经典算法回顾与展望——机器学习与数据挖掘
中国计算机学会
5+阅读 · 2019年10月11日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Machine Learning:十大机器学习算法
开源中国
20+阅读 · 2018年3月1日
机器学习线性代数速查
机器学习研究会
19+阅读 · 2018年2月25日
算法|随机森林(Random Forest)
全球人工智能
3+阅读 · 2018年1月8日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Arxiv
0+阅读 · 2022年1月26日
Arxiv
0+阅读 · 2022年1月25日
Few Shot Learning with Simplex
Arxiv
5+阅读 · 2018年7月27日
VIP会员
相关资讯
计算机经典算法回顾与展望——机器学习与数据挖掘
中国计算机学会
5+阅读 · 2019年10月11日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Machine Learning:十大机器学习算法
开源中国
20+阅读 · 2018年3月1日
机器学习线性代数速查
机器学习研究会
19+阅读 · 2018年2月25日
算法|随机森林(Random Forest)
全球人工智能
3+阅读 · 2018年1月8日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Top
微信扫码咨询专知VIP会员