In this work, a convergence lemma for function $f$ being finite compositions of analytic mappings and the maximum operator is proved. The lemma shows that the set of $\delta$-stationary points near an isolated local minimum point $x^*$ is shrinking to $x^*$ as $\delta\to 0$. It is a natural extension of the version for strongly convex $C^1$ functions. However, the correctness of the lemma is subtle. Analytic mappings are necessary for the lemma in the sense that replacing it with differentiable or $C^\infty$ mappings makes the lemma false. The proof is based on stratification theorems of semi-analytic sets by {\L}ojasiewicz. An extension of this proof presents a geometric characterization of the set of stationary points of $f$. Finally, a notion of stability on stationary points, called convergence stability, is proposed. It asks, under small numerical errors, whether a reasonable convergent optimization method started near a stationary point should eventually converge to the same stationary point. The concept of convergence stability becomes nontrivial qualitatively only when the objective function is both nonsmooth and nonconvex. Via the convergence lemma, an intuitive equivalent condition for convergence stability of $f$ is proved. These results together provide a new geometric perspective to study the problem of "where-to-converge" in nonsmooth nonconvex optimization.
翻译:在这项工作中, 函数的趋同 lemma 是 分析图和最大操作员的有限构成 。 lemma 显示, 在孤立的本地最低点附近 $x 美元 的一套 delta$ 固定点的集合点 正在缩缩缩为 $x 美元 美元 的 美元 美元 至 0 美元 。 这是 强烈的 convex $ C $ 1 函数版本的自然延伸 。 然而, lemma 的正确性是微妙的。 分析图是需要的, 因为以不同的或 $C infty$ 的映射代替它, 使得 lemmma 的 lemmma 固定点的集合点是虚假的 。 证据是以 \ L} ojasiewicz 的半分析值为根据的 。 这个证据的延伸显示了对坚固的固定点的描述。 最后, 在固定点上提出一个稳定的概念, 称为 趋同的 。 在小错误下, 合理的非趋同的精确的精度优化方法开始接近于非趋同的 的 的 。 当量 的 值 的 的 的 的 的 。 。 当质 的 的 的 的 的 的 值的 的 的 的 的 的 的 的 的 的 的 值的 值的 的 的 的 的 的, 的 的 的 的 的 的 的 的 的 的 的 的 和 的 的 的 的 等值 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 等同 的 的 的 的 的 的 的 等值 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 等值 的, 的 的 的