Tikhonov regularization with square-norm penalty for linear forward operators has been studied extensively in the literature. However, the results on convergence theory are based on technical proofs and difficult to interpret. It is also often not clear how those results translate into the discrete, numerical setting. In this paper we present a new strategy to study the properties of a regularization method on the example of Tikhonov regularization. The technique is based on the observation that Tikhonov regularization approximates the unknown exact solution in the range of the adjoint of the forward operator. This is closely related to the concept of approximate source conditions, which we generalize to describe not only the approximation of the unknown solution, but also noise-free and noisy data; all from the same source space. Combining these three approximation results we derive the well-known convergence results in a concise way and improve the understanding by tightening the relation between concepts such as convergence rates, parameter choice, and saturation. The new technique is not limited to Tikhonov regularization, it can be applied also to iterative regularization, which we demonstrate by relating Tikhonov regularization and Landweber iteration. Because the Tikhonov functional is no longer the centrepiece of the analysis, we can show that Tikhonov regularization can be used for oversmoothing regularization. All results are accompanied by numerical examples.


翻译:文献中广泛研究了对线性远端操作者处以平温惩罚的Tikhonov正规化,但文献中广泛研究了对线性远端操作者处以平温惩罚的Tikhonov正规化,但是,关于趋同理论的结果不仅基于技术证据,而且难以解释,也往往不清楚这些结果如何转化成独立的数值设置。在本文件中,我们提出了一个新战略,以Tikhonov正规化为例,研究正规化方法的特性,以Tikhonov正规化概念、参数选择和饱和度等概念之间的关系为基础。新的技术不仅限于Tikhonov正规化,还可以适用于迭代正规化,我们通过将未知的解决方案和无噪音和噪音数据概括地描述为近似;所有这些数据都来自同一来源空间。将这三种近似结果结合起来,我们以简洁的方式得出众所周知的趋同结果,并通过加强趋同率率、参数选择和饱和度等概念之间的关系来增进理解。新技术不仅限于Tikhonov的正规化,还可以应用于迭代地正规化,我们通过Tikonov的正规化和Landweber iter exeration来证明,因为Tikhmoov的功能正规化的正规化是用来显示整个的正规化的正规化的正规化的正规化的双重化,我们使用的正规化是整个的正规化结果。

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
202+阅读 · 2020年2月24日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
14+阅读 · 2020年12月17日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
Arxiv
19+阅读 · 2018年10月25日
VIP会员
相关VIP内容
专知会员服务
50+阅读 · 2020年12月14日
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
202+阅读 · 2020年2月24日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员