项目名称: 大规模机器学习问题的结构优化方法研究

项目编号: No.61273296

项目类型: 面上项目

立项/批准年度: 2013

项目学科: 自动化技术、计算机技术

项目作者: 陶卿

作者单位: 中国人民解放军陆军军官学院

项目金额: 83万元

中文摘要: 机器学习正面临着数据规模日益增长的严峻挑战,如何处理大规模甚至超大规模数据问题是当前统计学习亟需解决的关键性科学问题。大规模机器学习问题的训练样本集合往往具有冗余和稀疏的特点,机器学习优化问题的正则化项和损失函数也蕴含着特殊的结构含义,直接使用整个目标函数梯度的批处理黑箱方法不仅难以处理大规模问题,也无法满足机器学习对结构的要求。 目前,依靠机器学习自身特点驱动而迅速发展起来的坐标优化、在线和随机优化算法成为解决大规模问题的有效手段。 本项目主要研究充分利用训练数据结构和有效保证机器学习问题结构的大规模优化算法,特别是正则化损失函数优化问题的坐标优化、在线和随机优化算法,其中包括发展基于新优化原理的在线与随机算法、提出保证损失函数结构的在线及坐标优化算法和得到求解正则化非光滑损失的坐标优化算法等等

中文关键词: 机器学习;正则化损失函数问题;结构优化;随机优化;坐标下降

英文摘要: Machine learning is facing the great challenge arising from the endlessly increasing scale of data. How to cope with the large-scale even huge-scale data is a key problem in emerging area of statistical learning. Usually, there exist redundancy and sparsity in the training set of a large-scale problem, and there are structural implications in the regularizer and loss function of a learning problem. If we straightforward employ the gradient-type and black-box methods in batch settings, not only the large-scale problems can not be solved but also the structural information implied by the machine learning can not be exploited. Recently, the state-of-the-art scalable methods such as coordinate descent, online and stochastic algorithms, which is driven by the characteristics of machine learning, have become the dominant paradigm for large-scale problems. This project is devoted to the scalable optimization algorithms that can not only sufficiently exploit the structure of training sets but also effectively keep the structure of learning problems. In particular, we study the coordinate descent, online and stochastic algorithms for the minimization of regularized loss problems. The main content of this project includes the online and stochastic algorithms based on new optimization principles, the coordinate descent a

英文关键词: Machine Learning;Regularized Loss Problems;Structural Optimization;Stochastic Optimization;Coordinate Descent

成为VIP会员查看完整内容
0

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
39+阅读 · 2021年6月2日
专知会员服务
36+阅读 · 2021年5月30日
【干货书】机器学习优化,509页pdf
专知会员服务
143+阅读 · 2021年2月26日
专知会员服务
69+阅读 · 2020年12月7日
专知会员服务
43+阅读 · 2020年11月13日
【ICML2020】机器学习无参数在线优化,294页ppt
专知会员服务
53+阅读 · 2020年8月1日
专知会员服务
77+阅读 · 2020年6月20日
基于机器学习的自动化网络流量分析
CCF计算机安全专委会
4+阅读 · 2022年4月8日
周志华的《机器学习》西瓜书出全新视频课啦!
数据分析
15+阅读 · 2019年6月10日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
25+阅读 · 2018年12月13日
【机器学习】机器学习:未来十年研究热点
产业智能官
16+阅读 · 2018年11月4日
机器学习自动文本分类
AI前线
23+阅读 · 2018年2月4日
机器学习必备手册
机器学习研究会
17+阅读 · 2017年10月24日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2008年12月31日
Arxiv
1+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
10+阅读 · 2021年2月18日
Arxiv
26+阅读 · 2019年3月5日
Arxiv
27+阅读 · 2018年4月12日
小贴士
相关VIP内容
专知会员服务
39+阅读 · 2021年6月2日
专知会员服务
36+阅读 · 2021年5月30日
【干货书】机器学习优化,509页pdf
专知会员服务
143+阅读 · 2021年2月26日
专知会员服务
69+阅读 · 2020年12月7日
专知会员服务
43+阅读 · 2020年11月13日
【ICML2020】机器学习无参数在线优化,294页ppt
专知会员服务
53+阅读 · 2020年8月1日
专知会员服务
77+阅读 · 2020年6月20日
相关资讯
基于机器学习的自动化网络流量分析
CCF计算机安全专委会
4+阅读 · 2022年4月8日
周志华的《机器学习》西瓜书出全新视频课啦!
数据分析
15+阅读 · 2019年6月10日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
25+阅读 · 2018年12月13日
【机器学习】机器学习:未来十年研究热点
产业智能官
16+阅读 · 2018年11月4日
机器学习自动文本分类
AI前线
23+阅读 · 2018年2月4日
机器学习必备手册
机器学习研究会
17+阅读 · 2017年10月24日
相关基金
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员