Block coordinate descent (BCD), also known as nonlinear Gauss-Seidel, is a simple iterative algorithm for nonconvex optimization that sequentially minimizes the objective function in each block coordinate while the other coordinates are held fixed. We propose a version of BCD that, for block multi-convex and smooth objective functions under constraints, is guaranteed to converge to the stationary points with worst-case rate of convergence of $O((\log n)^{2}/n)$ for $n$ iterations, and a bound of $O(\epsilon^{-1}(\log \epsilon^{-1})^{2})$ for the number of iterations to achieve an $\epsilon$-approximate stationary point. Furthermore, we show that these results continue to hold even when the convex sub-problems are inexactly solved if the optimality gaps are uniformly summable against initialization. A key idea is to restrict the parameter search within a diminishing radius to promote stability of iterates. As an application, we provide an alternating least squares algorithm with diminishing radius for nonnegative CP tensor decomposition that converges to the stationary points of the reconstruction error with the same robust worst-case convergence rate and complexity bounds. We also experimentally validate our results with both synthetic and real-world data and demonstrate that using auxiliary search radius restriction can in fact improve the rate of convergence.


翻译:区块坐标下移( BCD), 也称为非线性 Gaus- Seidel, 是一个简单的非Convex优化的迭接算法, 其顺序将每个区块坐标的客观功能最小化, 而其他坐标则保持固定。 我们提议了一个 BCD 版本, 用于块状多convex 和 平滑客观功能, 在受限制的情况下, 保证它们会与固定点趋同, 最差的 $O (( log n)\ ⁇ 2} /n) 趋同率( ) 最差的 美元相趋同率( $O ( log n)\ ⁇ 2} 和 $ O( epsilon)-1} (log \ \ \ \ epslon =1} \\\\\\\\\\\\\\\\\\\\\\\\ 2} } 美元结合值( ) ) 美元) 。 我们用最差的 listalgalbilalityal) adalbilationalizalationalizalizal) 来显示Sqlationalizalizalizald, 和不甚高的Sqlationalvialdalviald 。 我们等同的正正正正正正正正变的 。 我们相向, 。 我们提供最差的 和最差的Salbilgalvialgalbalbildalgalbildalgalg 。 。 。 。 我们的Slation 。 。我们提供最差的 和最差的Sqralvialdaldaldalvialvialbalbal

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
已删除
将门创投
4+阅读 · 2018年6月4日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年11月29日
Arxiv
0+阅读 · 2021年11月26日
Arxiv
0+阅读 · 2021年11月25日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
相关VIP内容
专知会员服务
50+阅读 · 2020年12月14日
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
已删除
将门创投
4+阅读 · 2018年6月4日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员