项目名称: 大数据共性优化模型的高效算法研究

项目编号: No.61472297

项目类型: 面上项目

立项/批准年度: 2015

项目学科: 计算机科学学科

项目作者: 王宇平

作者单位: 西安电子科技大学

项目金额: 82万元

中文摘要: 大数据领域中的很多应用问题可以建成共同类型的优化模型:大规模复杂全局优化模型和超多目标优化模型。这些模型的本质特征是:大规模、复杂(大量局部最优解)、超多目标。已有算法具有如下缺陷:效率低、能力差(难以求出真正的全局最优解,易陷入局部最优解)、对超多目标优化模型难以求出在整个解空间分布均匀的代表解集。本项目对大数据领域各类应用问题经常出现的这些共性模型,研究将大规模问题转化为小规模问题的高效新技术,极大减小求解难度;研究消除大量局部最优解的技术,极大提高求解效率并降低求解难度;研究跳出局部最优解的新技术,保证算法能求出真正全局最优解,为解决大规模复杂全局优化问题提供新的途径。对超多目标优化模型,研究解之间优劣排序的新方法,克服用Pareto最优解概念排序导致最优解数目太多的缺陷;同时研究新的高效聚合函数法,使其能求出反映最优解整体分布的代表解集,克服已有算法难以求出分布好的最优解集的缺陷。

中文关键词: 大数据;共性优化模型;算法设计;超多目标优化;大规模优化

英文摘要: Many big data application problems can be modeled as some widely used common optimization models: the large-scale complex global optimization model and many-objective optimization model. The essential characteristics of these models are: large-scale, too complex (a huge number of local optimal solutions, nonlinear, nonconvex,etc.), and many objectives to be optimized. The shortcomings of the existing algorithms include: low efficiency (long execution time), low ability (very difficult to find global optimal solutions and easy to trap in local optimal solutions), and very difficult to find a representative set of uniformly distributed Pareto optimal solutions along whole Pareto front.In this project, for these common optimization models widely used and often appeared in various big data application problems, we shall focus our research on the following: design new techniques to transform large scale optimization problem into some small scale problems and thus greatly decrease the difficulty of problem solving; propose efficient methods which can eliminate a lot of local optimal solutions and thus greatly enhance the algorithm efficiency and reduce the difficulty of problem solving; design new methods to jump out from current local optimal solutions to other better ones and ensure the algorithm to find global optimal solution. As a result, the project will provide a new way to solve large scale complex global optimization models. For many objective optimization models, design new methods of sorting candidate solutions so as to overcome the drawback that Pareto optimal solution based sorting method will result in too many Pareto optimal solutions. Meanwhile, design new efficient scalarizing function methods so that it can find a representative set of Pareto optimal solutions which can reflect the whole distribution of Pareto front, and overcome the drawbacks that the existing algorithms can not find a representative set of well distributed solutions.

英文关键词: Big data;optimization model;algorithm design;many objective optimization;large scale optimization

成为VIP会员查看完整内容
1

相关内容

从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。
军事知识图谱构建技术
专知会员服务
112+阅读 · 2022年4月8日
【AAAI2022】基于对比学习的预训练语言模型剪枝压缩
专知会员服务
27+阅读 · 2022年1月24日
专知会员服务
11+阅读 · 2021年7月16日
专知会员服务
13+阅读 · 2021年6月26日
专知会员服务
19+阅读 · 2021年5月1日
专知会员服务
79+阅读 · 2020年12月11日
专知会员服务
78+阅读 · 2020年8月4日
专知会员服务
41+阅读 · 2020年7月29日
专知会员服务
77+阅读 · 2020年6月20日
基于Iceberg的大规模数据分析优化加速实践
哪款应用的算法推荐让你觉得很准?
ZEALER订阅号
0+阅读 · 2022年4月9日
Transformer性能优化:运算和显存
PaperWeekly
1+阅读 · 2022年3月29日
让你的模型acc更上一层楼:优化调参总结
极市平台
0+阅读 · 2021年11月18日
今日头条广告算法面经!
算法与数据结构
25+阅读 · 2019年5月29日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月20日
SkiQL: A Unified Schema Query Language
Arxiv
0+阅读 · 2022年4月19日
Arxiv
26+阅读 · 2019年3月5日
小贴士
相关VIP内容
军事知识图谱构建技术
专知会员服务
112+阅读 · 2022年4月8日
【AAAI2022】基于对比学习的预训练语言模型剪枝压缩
专知会员服务
27+阅读 · 2022年1月24日
专知会员服务
11+阅读 · 2021年7月16日
专知会员服务
13+阅读 · 2021年6月26日
专知会员服务
19+阅读 · 2021年5月1日
专知会员服务
79+阅读 · 2020年12月11日
专知会员服务
78+阅读 · 2020年8月4日
专知会员服务
41+阅读 · 2020年7月29日
专知会员服务
77+阅读 · 2020年6月20日
相关资讯
基于Iceberg的大规模数据分析优化加速实践
哪款应用的算法推荐让你觉得很准?
ZEALER订阅号
0+阅读 · 2022年4月9日
Transformer性能优化:运算和显存
PaperWeekly
1+阅读 · 2022年3月29日
让你的模型acc更上一层楼:优化调参总结
极市平台
0+阅读 · 2021年11月18日
今日头条广告算法面经!
算法与数据结构
25+阅读 · 2019年5月29日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员