We develop a minimax theory for operator learning, where the goal is to estimate an unknown operator between separable Hilbert spaces from finitely many noisy input-output samples. For uniformly bounded Lipschitz operators, we prove information-theoretic lower bounds together with matching or near-matching upper bounds, covering both fixed and random designs under Hilbert-valued Gaussian noise and Gaussian white noise errors. The rates are controlled by the spectrum of the covariance operator of the measure that defines the error metric. Our setup is very general and allows for measures with unbounded support. A key implication is a curse of sample complexity which shows that the minimax risk for generic Lipschitz operators cannot decay at any algebraic rate in the sample size. We obtain essentially sharp characterizations when the covariance spectrum decays exponentially and provide general upper and lower bounds in slower-decay regimes.


翻译:我们为算子学习建立了一套极小极大理论,其目标是从有限个含噪声的输入-输出样本中估计可分离希尔伯特空间之间的未知算子。对于一致有界的Lipschitz算子,我们证明了信息论下界以及与之匹配或近似匹配的上界,涵盖了希尔伯特值高斯噪声和高斯白噪声误差下的固定设计与随机设计情形。收敛速率由定义误差度量的测度的协方差算子的谱所控制。我们的设定非常一般,允许测度具有无界支撑。一个关键结论是样本复杂度的"维数诅咒",它表明对于一般的Lipschitz算子,极小极大风险无法以样本量的任何代数速率衰减。当协方差谱呈指数衰减时,我们获得了本质上的尖锐刻画;在衰减较慢的情形下,我们给出了普遍的上界与下界。

0
下载
关闭预览

相关内容

【NeurIPS2019】图变换网络:Graph Transformer Network
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员