项目名称: 面向多源大数据的鲁棒聚类模型与算法研究

项目编号: No.61502289

项目类型: 青年科学基金项目

立项/批准年度: 2016

项目学科: 自动化技术、计算机技术

项目作者: 杜亮

作者单位: 山西大学

项目金额: 21万元

中文摘要: 多源大数据的聚类分析是大数据研究面临的重要问题之一。由于数据规模大来源广,多源大数据聚类不得不面对数据中广泛存在复杂噪声。现有方法从不同角度进行多源聚类,如多视图聚类、聚类集成、多核聚类和多关系聚类。这些方法不能有效的处理多源复杂噪声。我们提出多源大数据鲁棒聚类方法系统性的处理多源复杂噪声带来的挑战,具体包括:1)在一个统一的框架中联合处理多源降噪和融合聚类两个相互依赖的子问题;2)利用融合聚类结果指导多源降噪,通过多源数据可靠性联合建模和多源噪声联合抽取两种策略刻画这些复杂噪声,并采用对应的噪声检测和噪声矫正两种鲁棒学习机制系统性的减轻多源复杂噪声的干扰;3)利用降噪后的数据进行一致性最大化学习,进而实现多源融合聚类;4)设计高效并易于在分布式计算平台部署的算法求解多源大数据鲁棒聚类模型;5)灵活调整该框架以处理不同类型的多源大数据。本项目的开展有助于提升对大数据内在价值的挖掘。

中文关键词: 鲁棒聚类;多视图聚类;聚类集成;多核聚类;多关系聚类

英文摘要: Cluster analysis of multi-source big data is an important issue in big data research. It has to face the big challenges arisen from multi-source noise with complex structures. Existing methods are developed from different perspectives, such as multi-view clustering, clustering ensemble, multi-kernel and multi-relational clustering. These methods can not effectively handle such noises. We propose a robust clustering framework to systematically address the challenges arisen from multi-source noise with complex structures. It is worthwhile to highlight several aspects of the proposed approach here: 1) The two key sub-problems, i.e. multi-source noise joint reduction and multi-source joint clustering, are integrated into a unified framework to well capture their interactions. 2) The multi-source joint clustering result is used to guide the process of multi-source noise joint reduction. The complex noise among multi-source data can be captured by either multi-source data reliability joint modeling or multi-source noise joint extraction. Thus, the adverse effect of multi-source noise can be systematically alleviated by the corresponding robust learning mechanism, i.e. error detection or error correction. 3) A better multi-source big data clustering can be expected by consensus maximization among noise reduced data. 4) To perform multi-source big data clustering in a distributed computing platform, an easy to deploy and efficient algorithm will also be developed. 5) The above multi-source robust clustering framework can be flexibly adapted for different scenarios. The mining of big data will be beneficial from the research on this project.

英文关键词: robust clustering;multi-view clustering;clustering ensemble;multiple kernel clustering;multi-relational clustering

成为VIP会员查看完整内容
3

相关内容

面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
专知会员服务
21+阅读 · 2021年9月27日
专知会员服务
17+阅读 · 2021年5月16日
专知会员服务
19+阅读 · 2021年5月4日
专知会员服务
21+阅读 · 2021年3月25日
专知会员服务
27+阅读 · 2021年2月17日
专知会员服务
41+阅读 · 2020年7月29日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
60+阅读 · 2020年5月25日
专知会员服务
123+阅读 · 2020年3月26日
AAAI 2022 | 面向图数据的对抗鲁棒性研究
专知
1+阅读 · 2022年1月4日
AAAI22 | 面向图数据的对抗鲁棒性研究
图与推荐
1+阅读 · 2021年12月28日
【博士论文】开放环境下的度量学习研究
专知
6+阅读 · 2021年12月4日
面向大数据处理框架的JVM优化技术综述
专知
0+阅读 · 2021年11月27日
【经典书】数据结构与算法,770页pdf
专知
2+阅读 · 2021年4月15日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
文本聚类:从非结构化数据快速获取见解
Datartisan数据工匠
15+阅读 · 2017年10月12日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
Arxiv
21+阅读 · 2020年10月11日
Knowledge Representation Learning: A Quantitative Review
Arxiv
15+阅读 · 2018年2月4日
小贴士
相关VIP内容
面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
专知会员服务
21+阅读 · 2021年9月27日
专知会员服务
17+阅读 · 2021年5月16日
专知会员服务
19+阅读 · 2021年5月4日
专知会员服务
21+阅读 · 2021年3月25日
专知会员服务
27+阅读 · 2021年2月17日
专知会员服务
41+阅读 · 2020年7月29日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
60+阅读 · 2020年5月25日
专知会员服务
123+阅读 · 2020年3月26日
相关资讯
AAAI 2022 | 面向图数据的对抗鲁棒性研究
专知
1+阅读 · 2022年1月4日
AAAI22 | 面向图数据的对抗鲁棒性研究
图与推荐
1+阅读 · 2021年12月28日
【博士论文】开放环境下的度量学习研究
专知
6+阅读 · 2021年12月4日
面向大数据处理框架的JVM优化技术综述
专知
0+阅读 · 2021年11月27日
【经典书】数据结构与算法,770页pdf
专知
2+阅读 · 2021年4月15日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
文本聚类:从非结构化数据快速获取见解
Datartisan数据工匠
15+阅读 · 2017年10月12日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员