会员服务
最优化 · ICML 2021 ·
2021 年 7 月 4 日
【ICML2021】双加速的快速间隔最大化
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

我们提出并分析了一种基于动量的梯度方法，用于训练具有指数尾损失(例如，指数或logistic损失)的线性分类器，它以O (1/t2)的速率最大化可分离数据的分类边缘。这与标准梯度下降的速率O(1/log(t))和标准化梯度下降的速率O(1/t)形成对比。这种基于动量的方法是通过最大边际问题的凸对偶，特别是通过将Nesterov加速度应用于这种对偶，从而在原函数中得到了一种简单而直观的方法。这种对偶观点也可以用来推导随机变量，通过对偶变量进行自适应非均匀抽样。

https://www.zhuanzhi.ai/paper/9fd848dc95d2b0a9a5da37dbbd79d4ed

成为VIP会员查看完整内容
https://www.zhuanzhi.ai/paper/9fd848dc95d2b0a9a5da37dbbd79d4ed
Fast Margin Maximization via Dual Acceleration
11

相关内容

最优化是应用数学的一个分支，主要指在一定条件限制下，选取某种研究方案使目标达到最优的一种方法。最优化问题在当今的军事、工程、管理等领域有着极其广泛的应用。
【ICML2021】张量分解的隐式正则化
专知会员服务
20+阅读 · 2021年8月24日
【ICML2021】低秩Sinkhorn 分解
专知会员服务
38+阅读 · 2021年8月20日
【ICML2021】分布式对抗训练中的基本权衡
专知会员服务
16+阅读 · 2021年8月6日
【ICML2021】动量残差神经网络
专知会员服务
30+阅读 · 2021年7月19日
【ICML2021】弹性图神经网络
专知会员服务
36+阅读 · 2021年7月17日
【ICML2021】贝叶斯神经网络的后验到底是什么样的?
专知会员服务
32+阅读 · 2021年5月18日
【ICML2021】利用最大化证据作为准则的预训练模型选择判据
专知会员服务
11+阅读 · 2021年5月16日
【ICML2021】全局思考，局部行动:高维分类和混合搜索空间上的贝叶斯优化
专知会员服务
27+阅读 · 2021年5月11日
【ICML2021】有向图网络
专知会员服务
81+阅读 · 2021年5月10日
【WWW2021】动态排序学习最大化边际公平性
专知会员服务
12+阅读 · 2021年3月13日
互信息及其在图表示学习的应用
互信息及其在图表示学习的应用
AINLP
3+阅读 · 2020年6月21日
详解常见的损失函数
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
什么是最大似然估计、最大后验估计以及贝叶斯参数估计
什么是最大似然估计、最大后验估计以及贝叶斯参数估计
数盟
16+阅读 · 2018年4月20日
入门 | 什么是最大似然估计、最大后验估计以及贝叶斯参数估计
入门 | 什么是最大似然估计、最大后验估计以及贝叶斯参数估计
机器之心
11+阅读 · 2018年4月15日
无问西东，只问哈希
无问西东，只问哈希
线性资本
3+阅读 · 2018年1月18日
AAAI 2018 | 南京大学提出用于聚类的最优间隔分布机
AAAI 2018 | 南京大学提出用于聚类的最优间隔分布机
机器之心
6+阅读 · 2018年1月9日
深度 | 结合Logistic回归构建最大熵马尔科夫模型
深度 | 结合Logistic回归构建最大熵马尔科夫模型
机器之心
4+阅读 · 2017年11月25日
干货 | 深度学习之损失函数与激活函数的选择
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
15+阅读 · 2017年9月18日
机器学习(16)之支持向量机原理(二)软间隔最大化
机器学习(16)之支持向量机原理(二)软间隔最大化
机器学习算法与Python学习
6+阅读 · 2017年9月8日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
9+阅读 · 2017年7月25日
Adaptive Uncertainty-Weighted ADMM for Distributed Optimization
Arxiv
0+阅读 · 2021年9月3日
A second order low-regularity integrator for the nonlinear Schrödinger equation
Arxiv
0+阅读 · 2021年9月2日
Non-Asymptotic Bounds for the $\ell_{\infty}$ Estimator in Linear Regression with Uniform Noise
Arxiv
0+阅读 · 2021年9月2日
Non-Binary Diameter Perfect Constant-Weight Codes
Arxiv
0+阅读 · 2021年9月1日
Fast Margin Maximization via Dual Acceleration
Arxiv
4+阅读 · 2021年7月1日
Frustratingly Simple Few-Shot Object Detection
Frustratingly Simple Few-Shot Object Detection
Arxiv
3+阅读 · 2020年3月16日
Manifold Approximation by Moving Least-Squares Projection (MMLS)
Manifold Approximation by Moving Least-Squares Projection (MMLS)
Arxiv
3+阅读 · 2019年3月7日
A XGBoost risk model via feature selection and Bayesian hyper-parameter optimization
Arxiv
5+阅读 · 2019年1月24日
To Cluster, or Not to Cluster: An Analysis of Clusterability Methods
To Cluster, or Not to Cluster: An Analysis of Clusterability Methods
Arxiv
4+阅读 · 2018年8月24日
Regularized Singular Value Decomposition and Application to Recommender System
Arxiv
6+阅读 · 2018年4月13日
VIP会员
相关主题
最优化
ICML 2021
相关VIP内容
【ICML2021】张量分解的隐式正则化
专知会员服务
20+阅读 · 2021年8月24日
【ICML2021】低秩Sinkhorn 分解
专知会员服务
38+阅读 · 2021年8月20日
【ICML2021】分布式对抗训练中的基本权衡
专知会员服务
16+阅读 · 2021年8月6日
【ICML2021】动量残差神经网络
专知会员服务
30+阅读 · 2021年7月19日
【ICML2021】弹性图神经网络
专知会员服务
36+阅读 · 2021年7月17日
【ICML2021】贝叶斯神经网络的后验到底是什么样的?
专知会员服务
32+阅读 · 2021年5月18日
【ICML2021】利用最大化证据作为准则的预训练模型选择判据
专知会员服务
11+阅读 · 2021年5月16日
【ICML2021】全局思考，局部行动:高维分类和混合搜索空间上的贝叶斯优化
专知会员服务
27+阅读 · 2021年5月11日
【ICML2021】有向图网络
专知会员服务
81+阅读 · 2021年5月10日
【WWW2021】动态排序学习最大化边际公平性
专知会员服务
12+阅读 · 2021年3月13日
热门VIP内容
相关资讯
互信息及其在图表示学习的应用
互信息及其在图表示学习的应用
AINLP
3+阅读 · 2020年6月21日
详解常见的损失函数
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
什么是最大似然估计、最大后验估计以及贝叶斯参数估计
什么是最大似然估计、最大后验估计以及贝叶斯参数估计
数盟
16+阅读 · 2018年4月20日
入门 | 什么是最大似然估计、最大后验估计以及贝叶斯参数估计
入门 | 什么是最大似然估计、最大后验估计以及贝叶斯参数估计
机器之心
11+阅读 · 2018年4月15日
无问西东，只问哈希
无问西东，只问哈希
线性资本
3+阅读 · 2018年1月18日
AAAI 2018 | 南京大学提出用于聚类的最优间隔分布机
AAAI 2018 | 南京大学提出用于聚类的最优间隔分布机
机器之心
6+阅读 · 2018年1月9日
深度 | 结合Logistic回归构建最大熵马尔科夫模型
深度 | 结合Logistic回归构建最大熵马尔科夫模型
机器之心
4+阅读 · 2017年11月25日
干货 | 深度学习之损失函数与激活函数的选择
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
15+阅读 · 2017年9月18日
机器学习(16)之支持向量机原理(二)软间隔最大化
机器学习(16)之支持向量机原理(二)软间隔最大化
机器学习算法与Python学习
6+阅读 · 2017年9月8日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
9+阅读 · 2017年7月25日
相关论文
Adaptive Uncertainty-Weighted ADMM for Distributed Optimization
Arxiv
0+阅读 · 2021年9月3日
A second order low-regularity integrator for the nonlinear Schrödinger equation
Arxiv
0+阅读 · 2021年9月2日
Non-Asymptotic Bounds for the $\ell_{\infty}$ Estimator in Linear Regression with Uniform Noise
Arxiv
0+阅读 · 2021年9月2日
Non-Binary Diameter Perfect Constant-Weight Codes
Arxiv
0+阅读 · 2021年9月1日
Fast Margin Maximization via Dual Acceleration
Arxiv
4+阅读 · 2021年7月1日
Frustratingly Simple Few-Shot Object Detection
Frustratingly Simple Few-Shot Object Detection
Arxiv
3+阅读 · 2020年3月16日
Manifold Approximation by Moving Least-Squares Projection (MMLS)
Manifold Approximation by Moving Least-Squares Projection (MMLS)
Arxiv
3+阅读 · 2019年3月7日
A XGBoost risk model via feature selection and Bayesian hyper-parameter optimization
Arxiv
5+阅读 · 2019年1月24日
To Cluster, or Not to Cluster: An Analysis of Clusterability Methods
To Cluster, or Not to Cluster: An Analysis of Clusterability Methods
Arxiv
4+阅读 · 2018年8月24日
Regularized Singular Value Decomposition and Application to Recommender System
Arxiv
6+阅读 · 2018年4月13日
微信扫码咨询专知VIP会员
Top