Identification of a linear time-invariant dynamical system from partial observations is a fundamental problem in control theory. Particularly challenging are systems exhibiting long-term memory. A natural question is how learn such systems with non-asymptotic statistical rates depending on the inherent dimensionality (order) $d$ of the system, rather than on the possibly much larger memory length. We propose an algorithm that given a single trajectory of length $T$ with gaussian observation noise, learns the system with a near-optimal rate of $\widetilde O\left(\sqrt\frac{d}{T}\right)$ in $\mathcal{H}_2$ error, with only logarithmic, rather than polynomial dependence on memory length. We also give bounds under process noise and improved bounds for learning a realization of the system. Our algorithm is based on multi-scale low-rank approximation: SVD applied to Hankel matrices of geometrically increasing sizes. Our analysis relies on careful application of concentration bounds on the Fourier domain -- we give sharper concentration bounds for sample covariance of correlated inputs and for $\mathcal H_\infty$ norm estimation, which may be of independent interest.


翻译:从部分观测中确定线性时间差异动态系统是控制理论中的一个基本问题。 特别具有挑战性的是显示长期内存的系统。 一个自然的问题是,如何根据系统的内在维度(顺序)$d$,而不是可能大得多的内存长度,以非非非被动统计率学习这种系统,这取决于系统的内在维度(顺序)$d$,而不是可能大得多的内存长度。 我们建议一种算法,给一个长度为T$的单轨迹,加上毛利观测噪音,以接近最佳的速率来学习该系统。 我们的分析依赖于在四大域($mathcal{H ⁇ 2$) 中仔细应用集中圈 -- 我们只给出对内存长度的对数值的对数,而不是多数值依赖的多数值。 我们还在程序下发出噪音,改进了了解系统实现过程的界限。 我们的算法基于多尺度的低近似值: SVD 应用汉克尔基底缩缩阵,以几何级增长的大小。 我们的分析依赖于在四大域上仔细应用集中圈 -- 我们给出了精确的浓度, 也就是的浓度绑定点点的浓度,其中, 也就是输入的焦焦焦值可能是独立的焦焦焦焦焦调。

0
下载
关闭预览

相关内容

【KDD2021】图神经网络,NUS- Xavier Bresson教授
专知会员服务
62+阅读 · 2021年8月20日
专知会员服务
76+阅读 · 2021年3月16日
专知会员服务
42+阅读 · 2020年12月18日
专知会员服务
52+阅读 · 2020年9月7日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
经典回顾 | Collaborative Metric Learning
机器学习与推荐算法
6+阅读 · 2020年9月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
VIP会员
Top
微信扫码咨询专知VIP会员