会员服务
饱和 · 核岭回归 · 岭回归 · 核化 · INFORMS ·
5 月 15 日
On the Saturation Effect of Kernel Ridge Regression
翻译：暂无翻译
Yicheng Li,Haobo Zhang,Qian Lin
Yicheng Li,Haobo Zhang,Qian Lin
from arxiv, ICLR 2023; Minor errors are corrected in this version

The saturation effect refers to the phenomenon that the kernel ridge regression (KRR) fails to achieve the information theoretical lower bound when the smoothness of the underground truth function exceeds certain level. The saturation effect has been widely observed in practices and a saturation lower bound of KRR has been conjectured for decades. In this paper, we provide a proof of this long-standing conjecture.


翻译：暂无翻译
0
下载
关闭预览

相关内容

【NeurIPS2021】用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers
【NeurIPS2021】用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers
专知会员服务
44+阅读 · 2021年11月24日
UCM《机器学习导论笔记》，80页pdf CSE176 Introduction to Machine Learning
专知会员服务
30+阅读 · 2021年9月29日
【ACL2020】多模态信息抽取，365页ppt
【ACL2020】多模态信息抽取，365页ppt
专知会员服务
143+阅读 · 2020年7月6日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
28+阅读 · 2019年10月18日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
47+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
34+阅读 · 2019年10月17日
Stabilizing Transformers for Reinforcement Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
56+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
城市“建成环境——空间行为”的多尺度影响关系与机理研究
国家自然科学基金
10+阅读 · 2017年12月31日
Musielak-Orlicz-Sobolev 空间中的迹嵌入及其应用
国家自然科学基金
1+阅读 · 2015年12月31日
直接优化半周长线长的VLSI两阶段迭代布局算法研究
国家自然科学基金
0+阅读 · 2015年12月31日
复多项式的核拓扑熵
国家自然科学基金
0+阅读 · 2015年12月31日
Weyl半金属TaAs/NbAs在极端条件下的输运性质研究
国家自然科学基金
0+阅读 · 2015年12月31日
Schr？dinger-Poisson方程守恒DDG方法研究
国家自然科学基金
1+阅读 · 2015年12月31日
基于决策模型和预备电位的运动想象BCI研究
国家自然科学基金
2+阅读 · 2015年12月31日
哈密尔顿系统及多体问题的周期解
国家自然科学基金
0+阅读 · 2014年12月31日
动态Gr？bner 基与GVW算法
国家自然科学基金
0+阅读 · 2014年12月31日
海量Web用户生成内容物化关键技术
国家自然科学基金
1+阅读 · 2014年12月31日
An Explicit Primitive Conservative Solver for the Euler Equations with Arbitrary Equation of State
Arxiv
0+阅读 · 6月21日
On the Correlation Gap of Matroids
Arxiv
0+阅读 · 6月21日
On the Worst Prompt Performance of Large Language Models
Arxiv
0+阅读 · 6月21日
Demonstrating the Efficacy of Kolmogorov-Arnold Networks in Vision Tasks
Arxiv
0+阅读 · 6月21日
The Effective Number of Parameters in Kernel Density Estimation
Arxiv
0+阅读 · 6月20日
Using the Transport of Intensity and the Transport of Phase Equation for Phase Retrieval
Arxiv
0+阅读 · 6月20日
On the Smoothed Complexity of Combinatorial Local Search
Arxiv
0+阅读 · 6月20日
Unravelling the Mechanics of Knitted Fabrics Through Hierarchical Geometric Representation
Arxiv
0+阅读 · 6月19日
Testing the Fairness-Improvability of Algorithms
Arxiv
0+阅读 · 6月18日
The Limits of Pure Exploration in POMDPs: When the Observation Entropy is Enough
Arxiv
0+阅读 · 6月18日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
饱和
核岭回归
岭回归
核化
INFORMS
相关VIP内容
【NeurIPS2021】用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers
【NeurIPS2021】用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers
专知会员服务
44+阅读 · 2021年11月24日
UCM《机器学习导论笔记》，80页pdf CSE176 Introduction to Machine Learning
专知会员服务
30+阅读 · 2021年9月29日
【ACL2020】多模态信息抽取，365页ppt
【ACL2020】多模态信息抽取，365页ppt
专知会员服务
143+阅读 · 2020年7月6日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
28+阅读 · 2019年10月18日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
47+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
34+阅读 · 2019年10月17日
Stabilizing Transformers for Reinforcement Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
56+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
热门VIP内容
相关资讯
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关论文
An Explicit Primitive Conservative Solver for the Euler Equations with Arbitrary Equation of State
Arxiv
0+阅读 · 6月21日
On the Correlation Gap of Matroids
Arxiv
0+阅读 · 6月21日
On the Worst Prompt Performance of Large Language Models
Arxiv
0+阅读 · 6月21日
Demonstrating the Efficacy of Kolmogorov-Arnold Networks in Vision Tasks
Arxiv
0+阅读 · 6月21日
The Effective Number of Parameters in Kernel Density Estimation
Arxiv
0+阅读 · 6月20日
Using the Transport of Intensity and the Transport of Phase Equation for Phase Retrieval
Arxiv
0+阅读 · 6月20日
On the Smoothed Complexity of Combinatorial Local Search
Arxiv
0+阅读 · 6月20日
Unravelling the Mechanics of Knitted Fabrics Through Hierarchical Geometric Representation
Arxiv
0+阅读 · 6月19日
Testing the Fairness-Improvability of Algorithms
Arxiv
0+阅读 · 6月18日
The Limits of Pure Exploration in POMDPs: When the Observation Entropy is Enough
Arxiv
0+阅读 · 6月18日
相关基金
城市“建成环境——空间行为”的多尺度影响关系与机理研究
国家自然科学基金
10+阅读 · 2017年12月31日
Musielak-Orlicz-Sobolev 空间中的迹嵌入及其应用
国家自然科学基金
1+阅读 · 2015年12月31日
直接优化半周长线长的VLSI两阶段迭代布局算法研究
国家自然科学基金
0+阅读 · 2015年12月31日
复多项式的核拓扑熵
国家自然科学基金
0+阅读 · 2015年12月31日
Weyl半金属TaAs/NbAs在极端条件下的输运性质研究
国家自然科学基金
0+阅读 · 2015年12月31日
Schr？dinger-Poisson方程守恒DDG方法研究
国家自然科学基金
1+阅读 · 2015年12月31日
基于决策模型和预备电位的运动想象BCI研究
国家自然科学基金
2+阅读 · 2015年12月31日
哈密尔顿系统及多体问题的周期解
国家自然科学基金
0+阅读 · 2014年12月31日
动态Gr？bner 基与GVW算法
国家自然科学基金
0+阅读 · 2014年12月31日
海量Web用户生成内容物化关键技术
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员
Top