We consider statistical linear inverse problems in separable Hilbert spaces and filter-based reconstruction methods of the form $\hat f_\alpha = q_\alpha \left(T^*T\right)T^*Y$, where $Y$ is the available data, $T$ the forward operator, $\left(q_\alpha\right)_{\alpha \in \mathcal A}$ an ordered filter, and $\alpha > 0$ a regularization parameter. Whenever such a method is used in practice, $\alpha$ has to be chosen appropriately. Typically, the aim is to find or at least approximate the best possible $\alpha$ in the sense that mean squared error (MSE) $\mathbb E [\Vert \hat f_\alpha - f^\dagger\Vert^2]$ w.r.t.~the true solution $f^\dagger$ is minimized. In this paper, we introduce the Sharp Optimal Lepski\u{\i}-Inspired Tuning (SOLIT) method, which yields an a posteriori parameter choice rule ensuring adaptive minimax rates of convergence. It depends only on $Y$ and the noise level $\sigma$ as well as the operator $T$ and the filter $\left(q_\alpha\right)_{\alpha \in \mathcal A}$ and does not require any problem-dependent tuning of further parameters. We prove an oracle inequality for the corresponding MSE in a general setting and derive the rates of convergence in different scenarios. By a careful analysis we show that no other a posteriori parameter choice rule can yield a better performance in terms of the convergence rate of the MSE. In particular, our results reveal that the typical understanding of Lepskiii-type methods in inverse problems leading to a loss of a log factor is wrong. In addition, the empirical performance of SOLIT is examined in simulations.


翻译:本文考虑可分离的 Hilbert 空间中的统计线性反问题以及形如 $\hat f_\alpha = q_\alpha \left(T^*T\right)T^*Y$ 的基于滤波的重建方法,其中 $Y$ 是可用数据,$T$ 是正算符,$\left(q_\alpha\right)_{\alpha \in \mathcal A}$ 是有序滤波器,$\alpha>0$ 是正则化参数。在实际应用中,需要适当选择 $\alpha$。通常,目的是找到或至少逼近以均方误差 (MSE) $\mathbb E [\Vert \hat f_\alpha - f^\dagger\Vert^2]$ 表示的最佳 $\alpha$,其中 $f^\dagger$ 是真实解。在本文中,我们引入了尖锐最优 Lepski-Inspired 调整(SOLIT)方法,它提供了一种后验参数选择规则,保证了自适应极限收敛速率。它仅取决于 $Y$ 和噪声水平 $\sigma$,以及算子 $T$ 和滤波器 $\left(q_\alpha\right)_{\alpha \in \mathcal A}$,且不需要任何问题相关的进一步参数调整。我们在一般情况下证明了相应的 MSE 的 oracle 不等式,并在不同场景下导出了收敛速率。通过仔细的分析,我们表明没有其他后验参数选择规则可以更好地表现出 MSE 的收敛率,特别是 Lepskiii 类方法在反问题中导致对数因子损失的典型理解是错误的。此外,我们在模拟中检查了 SOLIT 的实际性能。

0
下载
关闭预览

相关内容

【硬核书】稀疏多项式优化:理论与实践,220页pdf
专知会员服务
68+阅读 · 2022年9月30日
【ICML2022】序列决策的效用理论
专知会员服务
15+阅读 · 2022年6月30日
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
78+阅读 · 2022年4月3日
专知会员服务
32+阅读 · 2021年7月27日
专知会员服务
22+阅读 · 2021年6月22日
专知会员服务
76+阅读 · 2021年3月16日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
神经网络常微分方程 (Neural ODEs) 解析
AI科技评论
41+阅读 · 2019年8月9日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
PyTorch中在反向传播前为什么要手动将梯度清零?
极市平台
39+阅读 · 2019年1月23日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
VIP会员
相关VIP内容
【硬核书】稀疏多项式优化:理论与实践,220页pdf
专知会员服务
68+阅读 · 2022年9月30日
【ICML2022】序列决策的效用理论
专知会员服务
15+阅读 · 2022年6月30日
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
78+阅读 · 2022年4月3日
专知会员服务
32+阅读 · 2021年7月27日
专知会员服务
22+阅读 · 2021年6月22日
专知会员服务
76+阅读 · 2021年3月16日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
神经网络常微分方程 (Neural ODEs) 解析
AI科技评论
41+阅读 · 2019年8月9日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
PyTorch中在反向传播前为什么要手动将梯度清零?
极市平台
39+阅读 · 2019年1月23日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员