成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
0
全国首发!周志华教授领衔撰写《大数据分析研究进展》
2022 年 11 月 4 日
新智元
新智元报道
编辑:好困
【新智元导读】
最近,周志华教授和业内多位不同领域的知名学者共同提出了「反绎学习」(abductive learning)范式、流数据在线学习动态遗憾率的最优下界等多个原创理论。并围绕可塑模型学习、可视数据表达和可用知识处理3个关键科学问题,详细论述了在大数据分析方面取得的最新研究进展。
大数据是推动创新型国家建设的重要战略资源,大数据对经济发展、社会治理、国家管理、人民生活都产生了重大影响。
然而,目前出版的关于大数据分析的图书大都是基于科普和基础理论的论述,没有涉及核心技术方法和应用平台。
由人工智能重要顶尖级学者周志华教授领衔,张敏灵、巫英才、瞿裕忠、姜育刚等业内知名学者共同编写《大数据分析研究进展》。
该书依托国家重点研发计划项目「大数据分析的基础理论和技术方法」的研究成果,论述作者在大数据分析的基础理论与技术方法方面的部分代表工作和取得的最新研究进展。
主要包括:
大数据机器学习理论与方法,大数据可视分析理论与方法,多源不确定数据挖掘方法与技术,自动深层化知识处理方法与技术,大数据分析平台、标准与应用示范等方面内容。
秉承科学严谨、专业权威的图书编写理念,不同领域的内容均由该领域知名学者撰写。
该书为机器学习、可视分析、知识处理、数据挖掘及相关领域的研究人员提供有益参考。
大数据分析
首先给出大数据分析框架(图1),从机器学习、可视分析、知识处理、数据挖掘四个关键内容详细论述大数据分析的基础理论与技术方法。
其中,机器学习和可视分析协同支撑,为数据挖掘和知识处理提供必要的支撑技术;数据挖掘和知识处理互促利用。四个方面的技术结合起来,共同加以应用,得到数据价值。
图1 大数据分析框架
作者在对整个大数据分析框架梳理后,经过长时间的思考,凝练出三个关键的科学问题:可塑模型学习、可视数据表达和可用知识处理。针对这三个科学问题,梳理出大数据分析研究思路和研究内容(图2)。
首先,整个任务包含数据层、知识层和价值层。数据层主要通过机器学习和可视分析支撑原始数据到知识信息的有效凝练,随后知识层通过利用知识处理和数据挖掘来实现领域知识到核心价值的有效转化。
从环境、模型、任务三者的角度,大数据环境提供了一个内因驱动,现实任务提供了
一个外需牵引,内外相结合确定最终需要得到的分析模型。
图2 大数据研究思路
本书围绕上述科学问题详细论述在大数据分析的基础理论与技术方法取得的最新研究进展:
在范式方面
,提出「反绎学习」(abductive learning)范式(图3),突破了「重推理轻学习」或「轻推理重学习」既有框架,使机器学习与知识推理能够循环互促,其性能优于深度神经网络,甚至超过了人类平均能力。
图3 反绎学习示意图
在理论方面
,详细阐述了流数据在线学习动态遗憾率的最优下界,建立了面向增强现实可视表达的虚实融合关系理论,发展了面向非独立同分布噪声的自适应误差建模理论、计算资源受约束条件下具备常数级迭代复杂度和线性收敛的随机优化理论。
在方法方面
,详细阐述了满足最优遗憾下界的在线学习方法、促进大数据沉浸式展现的渲染绘制与直观可视设计方法(图4)、基于可视分析的可解释机器学习,介绍了适用于数据低层表示的在线自适应多度量模型融合方法(图5)、面向不确定标记信息的主动迁移模型、面向多模态的自动知识表征学习方法(图6)、基于图谱存在性约束的复杂问题求解方法。
图4 沉浸式城市数据可视化模型下VR 与MR 环境
图5 自适应局部度量提升(LIFT)框架示意图
图6 多模态实体对齐(MMEA)模型
在平台系统方面
,介绍基于创新的大数据分析理论、方法与技术,助力科学技术研究的开源系统与工具,面向求解实际问题的标准化大数据分析平台以及相关的基准测试,形成了《信息技术 大数据 大数据系统基本要求》(GB/T 38664-2020)多项国家标准;针对特定行业与社会治理,构建效力社会经济发展的应用示范系统,具体给出两项应用示范:智慧法院深度知识挖掘及精准分案(图7);面向公共安全的视频目标关联与态势感知(图8)。
图7 基于反绎学习的盗窃案件预测模型框架
图8 基于背景分割的车辆再识别算法流程
作者简介
周志华
,南京大学计算机科学与技术系主任、南京大学计算机软件新技术国家重点实验室常务副主任、南京大学人工智能学院院长、机器学习与数据挖掘研究所(LAMDA)所长,校学术委员会委员。
周志华是 ACM、AAAI、AAAS、IEEE 和 IAPR Fellow,研究领域:人工智能、机器学习、数据挖掘。
曾获国家自然科学二等奖2项、中国计算机学会「王选奖」等。AI领域国际一流期刊和顶级会议发表论文200余篇,被引用4万余次,蝉联爱思唯尔高被引学者。
张敏灵
,东南大学教授,国家杰青。研究领域:机器学习、数据挖掘。
中国人工智能学会机器学习专委会秘书长、中国计算机学会人工智能与模式识别专委会常务委员、江苏省人工智能学会副理事长、《中国科学:信息科学》青年编委等。获CCF-IEEE CS青年科学家奖(2016)等。
巫英才
,浙江大学、国家级高层次人才,计算机辅助设计与图形学国家重点实验室长聘教授。
研究领域:
信息可视化、可视分析和人机交互。
分别在2009和2014年的可视化顶级权威会议(IEEE VIS)上获得最佳论文提名。主持科技部重点研发计划子课题、国家自然科学基金项目和浙江省杰出青年科学项目等科研项目。
瞿裕忠
,南京大学计算机软件新技术国家重点实验室 教授。中国计算机学会系统软件专业委员会委员和软件工程专业委员会委员。
研究领域:
万维网科学(Web Science)、语义万维网(Semantic Web)、计算机软件方法与技术。
瞿
裕忠教授
领衔做的语义网搜索系统被列为WCCC推荐的三个语义网搜索系统之一。
多次担
任国际语义万维网会议(ISWC)、欧洲语义万维网会议或扩展语义万维网会议(ESWC),以及亚洲语义万维网会议(ASWC)等会议的程序委员,担任中国语义万维网研讨会(CSWS2009)联合主席。
获 「新世纪优秀人才」、江苏省「六大人才高峰」和江苏省科技进步二等奖。
姜育刚
,复旦大学计算机科学技术学院院长,教授,教育部长江学者特聘教授,曾入选国家优青、青年长江学者、万人计划青年拔尖人才。研究领域:多媒体信息处理、计算机视觉、鲁棒可信人工智能,发表论文百余篇,被引万余次。
应用成果多次成功部署在国家关键地点的重要任务中。首届ACM中国新星奖和ACM SIGMM Rising Star Award得主。获2019年度上海市青年科技杰出贡献奖、2018年度上海市科技进步一等奖(排名第一)。
登录查看更多
点赞并收藏
0
暂时没有读者
11
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
大数据分析
关注
5471
大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V, 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。
人工智能内容生成(AIGC)报告,43页ppt
专知会员服务
203+阅读 · 2022年12月26日
医学影像数据全生命周期管理平台白皮书
专知会员服务
35+阅读 · 2022年8月18日
国家工信安全中心发布《智慧城市人工智能计算平台白皮书》
专知会员服务
56+阅读 · 2022年4月3日
最新!《智慧城市 智慧停车数据要求》国家标准征求意见稿发布,45页pdf
专知会员服务
19+阅读 · 2022年3月22日
百度&浙江大学:2022年中国人工智能人才培养报告 (附报告,91页pdf)
专知会员服务
115+阅读 · 2022年3月9日
56页pdf,农业科学院2022最新发布《2021中国农业科学院 科研信息化发展报告》
专知会员服务
27+阅读 · 2022年2月25日
金融人工智能研究报告(2022年),中国信通院
专知会员服务
123+阅读 · 2022年1月20日
浙江大学《知识图谱导论》课程
专知会员服务
192+阅读 · 2021年12月26日
全国首发!浙江发布《数字化改革术语定义》省级地方标准
专知会员服务
17+阅读 · 2021年7月10日
《国家新一代人工智能标准体系建设指南》的通知
专知会员服务
91+阅读 · 2020年8月7日
【动态】第二十期可视化与可视分析国际学术报告成功举办
中国图象图形学学会CSIG
1+阅读 · 2022年7月12日
【通知】关于举办全国高校人工智能师资培训班的通知
中国图象图形学学会CSIG
0+阅读 · 2022年7月4日
“全媒体多模态大模型研发计划”发布!打造全栈国产化媒体人工智能平台
中国科学院自动化研究所
0+阅读 · 2021年12月6日
【喜讯】CSIG常务理事、智能图形专委会主任周昆教授荣获2020年度国家自然科学奖二等奖
中国图象图形学学会CSIG
0+阅读 · 2021年11月4日
【喜讯】CSIG监事张道强教授荣获2020年度国家自然科学奖二等奖
中国图象图形学学会CSIG
0+阅读 · 2021年11月4日
聚焦“一带一路”,鹏城实验室举办多语言机器翻译国际大科学计划专题报告会并发布“丝路”多语言机器翻译平台
哈工大SCIR
1+阅读 · 2021年6月9日
首部全面、系统的联邦学习专著,杨强教授领衔撰写,《联邦学习》教你打破数据孤岛(赠书)
机器之心
14+阅读 · 2020年5月14日
国内第一部AI本科教育体系书籍出版!周志华等人著
大数据技术
29+阅读 · 2019年5月15日
CSIG-MV走进高校之中国图象图形学学会机器视觉与人工智能高端论坛成功举办
CSIG机器视觉专委会
0+阅读 · 2018年6月25日
CSIG-MV走进高校之 中国图象图形学学会机器视觉与情感计算高端论坛成功举办
CSIG机器视觉专委会
0+阅读 · 2017年11月19日
资助《数学进展》期刊
国家自然科学基金
3+阅读 · 2015年12月31日
《数学学报》期刊
国家自然科学基金
4+阅读 · 2015年12月31日
基于认知计算的大数据分析方法
国家自然科学基金
22+阅读 · 2014年12月31日
面向微博的实时事件深度挖掘研究
国家自然科学基金
1+阅读 · 2014年12月31日
面向军事情报的多媒体大数据分析与展示
国家自然科学基金
30+阅读 · 2014年12月31日
复杂时空知识的智能处理基础理论及应用研究
国家自然科学基金
1+阅读 · 2011年12月31日
《计算机研究与发展》学术期刊
国家自然科学基金
1+阅读 · 2011年12月31日
《软件学报》学术期刊
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金重大数据项目管理研究
国家自然科学基金
3+阅读 · 2011年3月31日
内容和结构化数据多维分析关键技术研究
国家自然科学基金
0+阅读 · 2010年12月31日
Explaining Imitation Learning through Frames
Arxiv
0+阅读 · 2023年1月3日
Adaptive Sampling for Discovery
Arxiv
0+阅读 · 2023年1月2日
Variance estimation for Sequential Monte Carlo Algorithms: a backward sampling approach
Arxiv
0+阅读 · 2023年1月2日
Learning Invariance from Generated Variance for Unsupervised Person Re-identification
Arxiv
0+阅读 · 2023年1月2日
Optimal Decision Making in High-Throughput Virtual Screening Pipelines
Arxiv
0+阅读 · 2022年12月30日
Gray--Wyner and Mutual Information Regions for Doubly Symmetric Binary Sources and Gaussian Sources
Arxiv
0+阅读 · 2022年12月30日
Deep R Programming
Arxiv
0+阅读 · 2022年12月29日
Lifelong Learning Metrics
Arxiv
48+阅读 · 2022年1月20日
Deep Learning-Based Human Pose Estimation: A Survey
Arxiv
27+阅读 · 2020年12月24日
Entity Context and Relational Paths for Knowledge Graph Completion
Arxiv
29+阅读 · 2020年2月17日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
大数据分析
大数据
数据分析
分析
周志华
基础理论
相关VIP内容
人工智能内容生成(AIGC)报告,43页ppt
专知会员服务
203+阅读 · 2022年12月26日
医学影像数据全生命周期管理平台白皮书
专知会员服务
35+阅读 · 2022年8月18日
国家工信安全中心发布《智慧城市人工智能计算平台白皮书》
专知会员服务
56+阅读 · 2022年4月3日
最新!《智慧城市 智慧停车数据要求》国家标准征求意见稿发布,45页pdf
专知会员服务
19+阅读 · 2022年3月22日
百度&浙江大学:2022年中国人工智能人才培养报告 (附报告,91页pdf)
专知会员服务
115+阅读 · 2022年3月9日
56页pdf,农业科学院2022最新发布《2021中国农业科学院 科研信息化发展报告》
专知会员服务
27+阅读 · 2022年2月25日
金融人工智能研究报告(2022年),中国信通院
专知会员服务
123+阅读 · 2022年1月20日
浙江大学《知识图谱导论》课程
专知会员服务
192+阅读 · 2021年12月26日
全国首发!浙江发布《数字化改革术语定义》省级地方标准
专知会员服务
17+阅读 · 2021年7月10日
《国家新一代人工智能标准体系建设指南》的通知
专知会员服务
91+阅读 · 2020年8月7日
热门VIP内容
开通专知VIP会员 享更多权益服务
OpenAI十二天总结与Agent新范式
【伯克利博士论文】高效深度学习推理的全栈方法
【AAAI2025】多层次最优传输用于语言模型中的通用跨标记器知识蒸馏
大规模语言模型增强推荐系统:分类、趋势、应用与未来
相关资讯
【动态】第二十期可视化与可视分析国际学术报告成功举办
中国图象图形学学会CSIG
1+阅读 · 2022年7月12日
【通知】关于举办全国高校人工智能师资培训班的通知
中国图象图形学学会CSIG
0+阅读 · 2022年7月4日
“全媒体多模态大模型研发计划”发布!打造全栈国产化媒体人工智能平台
中国科学院自动化研究所
0+阅读 · 2021年12月6日
【喜讯】CSIG常务理事、智能图形专委会主任周昆教授荣获2020年度国家自然科学奖二等奖
中国图象图形学学会CSIG
0+阅读 · 2021年11月4日
【喜讯】CSIG监事张道强教授荣获2020年度国家自然科学奖二等奖
中国图象图形学学会CSIG
0+阅读 · 2021年11月4日
聚焦“一带一路”,鹏城实验室举办多语言机器翻译国际大科学计划专题报告会并发布“丝路”多语言机器翻译平台
哈工大SCIR
1+阅读 · 2021年6月9日
首部全面、系统的联邦学习专著,杨强教授领衔撰写,《联邦学习》教你打破数据孤岛(赠书)
机器之心
14+阅读 · 2020年5月14日
国内第一部AI本科教育体系书籍出版!周志华等人著
大数据技术
29+阅读 · 2019年5月15日
CSIG-MV走进高校之中国图象图形学学会机器视觉与人工智能高端论坛成功举办
CSIG机器视觉专委会
0+阅读 · 2018年6月25日
CSIG-MV走进高校之 中国图象图形学学会机器视觉与情感计算高端论坛成功举办
CSIG机器视觉专委会
0+阅读 · 2017年11月19日
相关基金
资助《数学进展》期刊
国家自然科学基金
3+阅读 · 2015年12月31日
《数学学报》期刊
国家自然科学基金
4+阅读 · 2015年12月31日
基于认知计算的大数据分析方法
国家自然科学基金
22+阅读 · 2014年12月31日
面向微博的实时事件深度挖掘研究
国家自然科学基金
1+阅读 · 2014年12月31日
面向军事情报的多媒体大数据分析与展示
国家自然科学基金
30+阅读 · 2014年12月31日
复杂时空知识的智能处理基础理论及应用研究
国家自然科学基金
1+阅读 · 2011年12月31日
《计算机研究与发展》学术期刊
国家自然科学基金
1+阅读 · 2011年12月31日
《软件学报》学术期刊
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金重大数据项目管理研究
国家自然科学基金
3+阅读 · 2011年3月31日
内容和结构化数据多维分析关键技术研究
国家自然科学基金
0+阅读 · 2010年12月31日
相关论文
Explaining Imitation Learning through Frames
Arxiv
0+阅读 · 2023年1月3日
Adaptive Sampling for Discovery
Arxiv
0+阅读 · 2023年1月2日
Variance estimation for Sequential Monte Carlo Algorithms: a backward sampling approach
Arxiv
0+阅读 · 2023年1月2日
Learning Invariance from Generated Variance for Unsupervised Person Re-identification
Arxiv
0+阅读 · 2023年1月2日
Optimal Decision Making in High-Throughput Virtual Screening Pipelines
Arxiv
0+阅读 · 2022年12月30日
Gray--Wyner and Mutual Information Regions for Doubly Symmetric Binary Sources and Gaussian Sources
Arxiv
0+阅读 · 2022年12月30日
Deep R Programming
Arxiv
0+阅读 · 2022年12月29日
Lifelong Learning Metrics
Arxiv
48+阅读 · 2022年1月20日
Deep Learning-Based Human Pose Estimation: A Survey
Arxiv
27+阅读 · 2020年12月24日
Entity Context and Relational Paths for Knowledge Graph Completion
Arxiv
29+阅读 · 2020年2月17日
大家都在搜
自主可控
无人艇
大规模语言模型
CMU博士论文
俄乌战争
洛克菲勒
palantir
情感计算
笛卡尔
GANLab 将GA
Top
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top