We present $\textit{Free-MESSAGE}^{p}$, the first zeroth-order algorithm for (weakly-)convex mean-semideviation-based risk-aware learning, which is also the first three-level zeroth-order compositional stochastic optimization algorithm whatsoever. Using a non-trivial extension of Nesterov's classical results on Gaussian smoothing, we develop the $\textit{Free-MESSAGE}^{p}$ algorithm from first principles, and show that it essentially solves a smoothed surrogate to the original problem, the former being a uniform approximation of the latter, in a useful, convenient sense. We then present a complete analysis of the $\textit{Free-MESSAGE}^{p}$ algorithm, which establishes convergence in a user-tunable neighborhood of the optimal solutions of the original problem for convex costs, as well as explicit convergence rates for convex, weakly convex, and strongly convex costs, and in a unified way. Orderwise, and for fixed problem parameters, our results demonstrate no sacrifice in convergence speed as compared to existing first-order methods, while striking a certain balance among the condition of the problem, its dimensionality, as well as the accuracy of the obtained results, naturally extending previous results in zeroth-order risk-neutral learning.
翻译:我们展示了 $\ textit{ Free- MESSAGE ⁇ p} $, 这是( 弱化的) convex 平均缩水风险意识学习的第一个零顺序算法, 也是第一个 3 级 零 级 构成 随机优化算法 。 使用 Nesterov 经典结果在高山平滑上的非三重扩展, 我们开发了 $\ text{ Free- MESSAGE ⁇ p} 的首项算法, 并显示它基本上解决了对最初问题的顺利替代, 前者是后者的一致, 一种有用和方便的近似。 然后, 我们对美元 零级 构成的零级 组合算法进行了全面分析, 从而在用户可以理解的先前解决方案中实现了趋同, 以及 明确的组合率, 并且以统一的方式解决了 。 秩序 和 固定 参数, 我们的结果显示, 在 零级 的 和 不变 的 的 率 中, 在 的 的 率 中 中,, 我们 的 的 的 以 的 的 度 度 的 的 率 率 率 、 、 、 的 以 的 的 的 、 以 的 的 的 以 以 的 以 以 的 以 的 的 的 的 的 的 的 的 率 的 的 的 以 以 的 的 的 的 率 以 以 的 的 的 的 以 速度 的 的 的 的 以 的 的 的 的 的 的 的 的 以 的 的 的 的 的 的 的 的 的 的 的 的 的 的 速度 以 的 的 的 以 的 的 的 以 的 的 的 的 的 的 以 的 的 的 的 的 的 的 的 的 的 的 的 以 以 的 的 的 的 的 以 的 的 的 的 的 的