Random Fourier features provide a way to tackle large-scale machine learning problems with kernel methods. Their slow Monte Carlo convergence rate has motivated the research of deterministic Fourier features whose approximation error decreases exponentially with the number of frequencies. However, due to their tensor product structure these methods suffer heavily from the curse of dimensionality, limiting their applicability to two or three-dimensional scenarios. In our approach we overcome said curse of dimensionality by exploiting the tensor product structure of deterministic Fourier features, which enables us to represent the model parameters as a low-rank tensor decomposition. We derive a monotonically converging block coordinate descent algorithm with linear complexity in both the sample size and the dimensionality of the inputs for a regularized squared loss function, allowing to learn a parsimonious model in decomposed form using deterministic Fourier features. We demonstrate by means of numerical experiments how our low-rank tensor approach obtains the same performance of the corresponding nonparametric model, consistently outperforming random Fourier features.


翻译:随机的四维特性为解决大型机器学习内核方法问题提供了一种方法。 蒙特卡洛缓慢的趋同率激励了对确定型Fourier特性的研究,这些特性的近似误差随着频率数的增加而成倍减少。 但是,由于这些方法的发源物结构,它们严重受到维度诅咒的影响,将其适用性限制在两个或三个维度的假设中。 在我们的方法中,我们通过利用确定型Fourier特性的发源物产品结构克服了所谓的维度诅咒,这使我们能够将模型参数作为低级沙子分解法来代表。我们产生了一个单元相趋一致的组合式基底基底运算法,在样本大小和正常的平方位损失函数输入的维度方面都具有线性复杂性,从而能够利用确定型四维的特性来学习分解的模型。我们通过数字实验来证明我们低级的三压法方法如何获得相应的非对称模型的相同性,持续超标的四四维特性。

0
下载
关闭预览

相关内容

维度灾难是指在高维空间中分析和组织数据时出现的各种现象,这些现象在低维设置(例如日常体验的三维物理空间)中不会发生。
【图与几何深度学习】Graph and geometric deep learning,49页ppt
专知会员服务
25+阅读 · 2021年4月2日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
36+阅读 · 2020年2月27日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
已删除
将门创投
9+阅读 · 2019年11月15日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Arxiv
0+阅读 · 2021年10月26日
Arxiv
0+阅读 · 2021年10月26日
Arxiv
0+阅读 · 2021年10月25日
Arxiv
1+阅读 · 2021年10月25日
Arxiv
0+阅读 · 2021年10月23日
VIP会员
相关资讯
已删除
将门创投
9+阅读 · 2019年11月15日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Top
微信扫码咨询专知VIP会员