【导读】现在搞AI研究写论文,其中论文里的框架图模型图很是考验你画图的能力,不费一番心思功夫,怎能画出一个入得Reviewer法眼的图,论文也不大好中,很是发愁。好消息来了,elvis介绍了有个ML visual的利器,提供一份103页的PPT模型图素材,你在上面可以直接使用画出你要的机器学习深度学习模型图,再也不用担心画图了!

ML Visuals是一个新的协作项目,通过使用更专业、更吸引人、更充分的图块来帮助机器学习社区改进科学传播。你可以在你的演讲或博客文章中自由使用视觉效果。使用任何视觉效果都不需要经过许可,但是如果你能提供设计师/作者(作者信息可以在幻灯片注释中找到),那就太好了。

地址: https://github.com/dair-ai/ml-visuals

怎么使用ML Visual?

下载这份MLvisual PPT,在上面的模板编辑你要的就行。

要添加您自己的自定义图形,只需添加一个新的幻灯片并重用任何基本的可视组件(请记住请求编辑权限)。您还可以创建自己的幻灯片副本,并自定义您喜欢的内容。我们鼓励作者/设计师在这里添加他们的视觉效果,并允许其他人重用它们。确保包括你的作者信息(在幻灯片的注释部分),这样其他人就可以在其他地方使用你的作品(如博客/演示文稿)。此外,提供一个简短的视觉描述,以帮助用户了解它是关于什么以及他们如何使用它。如果您需要“编辑”权限,请单击上面“仅查看”工具栏下的“请求编辑访问”选项,或者通过ellfae@gmail.com发送电子邮件给我。

从任何一张幻灯片上下载图片都很容易。只需点击文件→下载→(选择你的格式)。

如果你需要帮助定制一个数字或有可能对别人有价值的东西的想法,我们可以帮助。只要在这里打开一个问题,我们将尽我们最大的努力,以赶上视觉。谢谢。

在我们的Slack小组中,有任何关于这个项目的问题都可以问我们。

成为VIP会员查看完整内容
577

来源:中国信息通信研究院

人工智能技术是释放数字化叠加倍增效应、加快战略新兴产业发展、构筑综合竞争优势的必然选择。纵观全球,国内外人工智能相关不断强化,持续推动释放人工智能红利;以深度学习为代表的人工智能技术飞速发展,新技术开始探索落地应用;工程化能力不断增强,在医疗、制造、自动驾驶等领域的应用持续深入;可信人工智能技术引起社会广泛关注。人工智能治理受到全球高度关注,各国规制进程不断加速,基于可信人工智能的产业实践不断深入。

近日,中国信息通信研究院正式发布《人工智能白皮书(2022年)》,全面回顾了2021年以来全球人工智能在政策、技术、应用和治理等方面的最新动向,重点分析了人工智能所面临的新发展形势及其所处的新发展阶段,致力于全面梳理当前人工智能发展态势,为各界提供参考,共同推动人工智能持续健康发展。

白皮书核心观点

1、人工智能迈入新阶段,将由技术创新、工程实践、可信安全“三维”坐标来定义和牵引

第一个维度突出创新,围绕着算法和算力方面的创新仍会不断涌现。第二个维度突出工程,工程化能力逐渐成为人工智能大规模赋能千行百业的关键要素。第三个维度突出可信,发展负责任和可信的人工智能成为共识,将抽象的治理原则落实到人工智能全生命流程将成为重点。

2、人工智能技术创新仍是主旋律,新算法不断涌现

超大规模预训练模型推动技术效果不断提升,继续朝着规模更大、模态更多的方向发展;“生成式人工智能”技术不断成熟,未来听、说、读、写等能力将有机结合;知识计算成为推动人工智能从感知智能向认知智能转变的重要探索;人工智能与科学研究融合不断深入,开始“颠覆”传统研究范式。

3、人工智能工程化聚焦工具体系、开发流程、模型管理全生命流程的高效耦合

工具体系层面:体系化与开放化成为研发平台技术工具链的发展特点。 开发流程层面:工程化关注人工智能模型开发的生命流程,追求高效且标准化的持续生产、持续交付和持续部署,最终以最佳的模型进入应用层面产生商业价值。 模型管理层面:企业需要建设对模型生命周期的管理机制,对模型的版本历程、性能表现、属性、相关数据、衍生的模型档案等进行标准化的管理运维。

4、人工智能治理迈入软硬法协同和场景规制新阶段

人工智能治理实质化进程加速推进:各国人工智能治理侧重各有不同,但整体上呈现加速演进态势,即从初期构建以“软法”为导向的社会规范体系,开始推进以“硬法”为保障的风险防控体系。 典型场景化治理加速落地:各国纷纷注意到人工智能应用场景多样化和差异化给治理带来的复杂性,典型场景的治理成为各国的工作重点,特别聚焦于自动驾驶、智慧医疗和人脸识别等领域。

成为VIP会员查看完整内容
324

https://www.oreilly.com/library/view/natural-language-processing/9781098103231/

自2017年推出以来,Transformer已迅速成为在各种自然语言处理任务上实现最先进结果的主导架构。如果你是一名数据科学家或程序员,这本实用的书向你展示了如何使用基于python的深度学习库hugs Face transformer来训练和扩展这些大型模型。

Transformers 已经被用来编写真实的新闻故事,改进谷歌搜索查询,甚至创造出讲笑话的聊天机器人。在本指南中,作者Lewis Tunstall、Leandro von Werra和Thomas Wolf(拥抱Transformers 的创始人之一)使用亲身实践的方法来教你Transformers如何工作,以及如何将它们集成到应用程序中。你会很快学到他们能帮你解决的各种任务。

  • 为核心NLP任务构建、调试和优化Transformers模型,如文本分类、命名实体识别和回答问题

  • 学习如何使用Transformers进行跨语言迁移学习

  • 在真实世界中标签数据稀缺的场景中应用Transformers

  • 利用蒸馏、剪枝和量化等技术,使Transformers模型有效地用于部署

  • 从零开始训练Transformers ,学习如何扩展到多个GPU和分布式环境

本书的目标是让您能够构建自己的语言应用程序。为了达到这个目的,它关注于实际的用例,并且只在必要的时候深入研究理论。这本书的风格是动手操作,我们强烈建议您亲自运行代码示例来进行试验。本书涵盖了NLP中transformers的所有主要应用,每一章(除了少数例外)专门针对一个任务,结合一个实际的用例和数据集。每一章还介绍了一些额外的概念。以下是我们将涉及的任务和主题的一个高级概述:

第一章,你好Transformers,介绍了Transformers,并把它们放到了背景中。它还介绍了“Hugging Face”生态系统。

第二章文本分类,重点介绍了情感分析(一个常见的文本分类问题),并介绍了Trainer API。

第三章,Transformer剖析,更深入地介绍了Transformer架构,为接下来的章节做准备。

第四章,多语言命名实体识别,重点关注在多语言文本中识别实体的任务(一个令牌分类问题)。

第五章,文本生成,探讨了Transformers模型生成文本的能力,并介绍了解码策略和度量。

第六章,摘要,深入研究了文本摘要的复杂序列到序列任务,并探讨了该任务使用的度量。

第七章“问答”,重点介绍了基于综述的问答系统的构建,并介绍了利用Haystack进行检索的方法。

第八章《Transformers在生产中高效运行》,重点介绍了模型性能。我们将着眼于意图检测的任务(序列分类问题的一种类型),并探索知识蒸馏、量化和剪枝等技术。

第九章,处理很少或没有标签,着眼于在没有大量标签数据的情况下提高模型性能的方法。我们将构建一个GitHub问题标签和探索技术,如零样本分类和数据增强。

第十章,从头开始训练Transformer,向您展示了如何从头开始构建和训练一个自动完成Python源代码的模型。我们将研究数据集流和大规模培训,并构建我们自己的标记器。

第十一章,未来方向,探讨了Transformers面临的挑战和一些令人兴奋的新方向的研究,在这一领域将进入。

成为VIP会员查看完整内容
345

伴随全球数字化进程的加快,人工智能成为引领未来世界发展的关键技术。近年来,各国政府、科研教育机构、科技企业及专家学者纷纷加入到推动人工智能产业发展的进程中,人工智能技术与产业融合程度不断加深。

2022年,尚普研究院从全球视角出发,联合中科创星、智谱AI、紫荆数字经济研究院、中国风险投资有限公司、中电海康科创基金、容亿投资等6家机构于近日正式发布《2022年全球人工智能产业研究报告》。

《2022年全球人工智能产业研究报告》包括人工智能产业概况、人工智能底层基础、人工智能核心技术、人工智能应用领域、人工智能趋势展望五大篇章。对人工智能的发展历程、产业链、核心技术、应用领域及发展趋势等方面进行全面梳理,为政府部门、从业人员、教育工作者、社会公众更好了解人工智能的过去、现状及未来提供参考。以下为报告部分内容,

成为VIP会员查看完整内容
230

Transformers 正在成为许多神经网络架构的核心部分,被广泛应用于诸如NLP、语音识别、时间序列和计算机视觉等领域。Transformers 经历了许多改编和改造,从而产生了新的技术和方法。《Transformers 机器学习:深度探究》是第一本全面介绍Transformers的书。 https://www.routledge.com/Transformers-for-Machine-Learning-A-Deep-Dive/Kamath-Graham-Emara/p/book/9780367767341#

主要特点:

  • 一本全面的参考书,详细解释了与Transformers有关的每个算法和技术。
  • 全面覆盖60多个Transformers架构。
  • 一本理解如何在语音,文本,时间序列,和计算机视觉应用Transformers技术的书。
  • 每个架构的实用技巧和技巧,以及如何在现实世界中使用它。
  • 使用这些工具和库进行理论和实际现实分析的实践案例研究和代码片段,都可以在谷歌Colab中运行。

最先进的Transformers 架构的理论解释将吸引研究生和研究人员(学术界和工业界),因为它将为快速发展的领域的深入讨论提供一个单一的入口点。实践动手案例研究和代码将吸引本科生、从业者和专业人士,因为它允许快速实验并降低进入该领域的门槛。

第一章将从时间线、历史及其对学术界和工业界的影响向读者介绍Transformers。然后,我们将在分类的基础上,从理论、实践和应用的角度出发,完成本章的布局。这一章,然后进行全面的讨论,在实践方面,如资源,工具,书籍,和课程,将在其他章节。

第二章开始介绍序列到序列模型及其局限性。这一章然后一步一步地介绍了Transformers的各种构造块,如注意力、多头部注意力、位置编码、残差连接和编码器-解码器框架。所有这些功能单元都从理论和实践的角度进行了详细的论述,以便读者更全面地理解本课题。最后,通过一个真实世界的案例研究,展示了本章的操作方面。

BERT的出现彻底改变了自然语言处理(NLP)领域,并帮助在许多传统上具有挑战性的任务中达到接近人类水平的性能。第三章介绍了BERT架构的细节,以及如何对经典的nlp任务进行预训练和微调,如单对文本分类、双kentagging和问答。本章还讨论了BERTology的相关领域,研究了BERTology的内部工作原理以及如何处理和分析扩展信息。最后,这一章介绍了一些改进的架构以提高效率(例如,RoBERTa)和NLP应用的类型(例如,NLP用于tabulardata-TaBERT)。本章总结了使用BERT进行情感分类和话题建模应用的真实案例研究。

成为VIP会员查看完整内容
226

因果性是现在机器学习关注的焦点之一。伦敦大学学院和牛津大学的学者发布了《因果机器学习》综述,非常值得关注!

因果机器学习(CausalML)是将数据生成过程形式化为结构因果模型(SCM)的机器学习方法的总称。这使得人们可以对这一过程的变化的影响(即干预)和事后会发生什么(即反事实)进行推理。根据他们所解决的问题,我们将CausalML中的工作分为五组:(1)因果监督学习,(2) 因果生成模型,(3) 因果解释,(4) 因果公平,(5) 因果强化学习。对每一类方法进行了系统的比较,并指出了有待解决的问题。此外,我们回顾了特定模式在计算机视觉、自然语言处理和图形表示学习中的应用。最后,我们提供了因果基准的概述,并对这一新兴领域的状态进行了批判性的讨论,包括对未来工作的建议。

引言

机器学习(ML)技术今天擅长在独立和同分布(i.i.d)数据中寻找关联。一些基本原则,包括经验风险最小化、反向传播和架构设计中的归纳偏差,已经为解决计算机视觉、自然语言处理、图表示学习和强化学习等领域的问题带来了巨大的进步。然而,在将这些模型部署到现实环境中时,出现了新的挑战。这些挑战包括: (1) 当数据分布转移[1]时泛化性能大幅下降,(2) 生成模型[2]样本缺乏细粒度控制,(3) 有偏见的预测强化了某些子种群的不公平歧视[3,4],(4) 可解释性[5]的概念过于抽象和问题独立,(5)强化学习方法对真实世界问题[6]的不稳定转换。

许多工作认为,这些问题的部分原因在于现代ML系统缺乏因果形式主义[7,8,9,10,11]。随后,研究社区对因果机器学习(CausalML)的兴趣激增,这是利用关于被建模系统的因果知识的方法本调查涵盖了因果关系如何被用来解决开放式ML问题。简而言之,因果推理提供了一种语言,通过结构因果模型(SCMs)[12]将关于数据生成过程(DGP)的结构知识形式化。使用SCM,我们可以估计在对数据生成过程进行更改(称为干预)后,数据会发生什么变化。更进一步,它们还允许我们在事后模拟变化的后果,同时考虑实际发生的情况(称为反事实)。我们将在第2章中更详细地介绍这些概念,假设没有因果关系的先验知识。

尽管在设计各种类型的CausalML算法方面做了大量的工作,但仍然缺乏对其问题和方法论的明确分类。我们认为,部分原因在于CausalML通常涉及对大部分ML不熟悉的数据的假设,这些假设在不同的问题设置之间联系起来通常很棘手,这使得很难衡量进展和适用性。这些问题是本次综述的动机。

**1. 我们对完全独立的因果关系中的关键概念进行了简单的介绍(第2章)。**我们不假设对因果关系有任何先验知识。在整个过程中,我们给出了如何应用这些概念来帮助进一步的地面直觉的例子。

2. 我们将现有的CausalML工作分类为因果监督学习(第3章)、因果生成模型(第4章)、因果解释(第5章)、因果公平(第6章)、因果强化学习(第7章)。对于每个问题类,我们比较现有的方法,并指出未来工作的途径。

3.我们回顾了特定模式在计算机视觉、自然语言处理和图表示学习中的应用(第8章),以及因果基准(第9章)。

4. 我们讨论了好的、坏的和丑陋的:我们关于与非因果ML方法相比,因果ML可以给我们带来哪些好处的观点(好的),人们必须为这些方法付出什么代价(坏的),以及我们警告从业者要防范哪些风险(丑陋的)(第10章)

结论发现**

  • 因果推理(第二章),与统计或概率推理相反,允许我们对介入和反事实的估计进行推理。
  • 因果监督学习(第3章)通过学习不变特征或机制来改进预测泛化,两者都旨在消除模型对虚假关联的依赖。未来的工作应该研究学习不变性的目标基准测试、对抗鲁棒性的联系以及元学习,以及额外监督信号的潜在利用。
  • 因果生成模型(第4章)支持从介入的或反事实的分布中采样,自然地分别执行原则可控的生成或样本编辑任务。所有现有的方法都学习结构作业;一些人还从数据中推断出因果结构。对于不同的应用程序应该考虑什么层次的抽象,如何将分配学习扩展到更大的图,以及反事实生成的数据增强何时有效(何时无效),这些都有待探索。
  • 因果解释(第5章)解释模型预测,同时解释模型机制或数据生成过程的因果结构。方法可以分为特征归因(量化输入特征的因果影响)和对比解释(表示获得期望结果的改变实例)。到目前为止,还不清楚如何最好地统一这两类方法,扩大解释范围,使它们对分布转移具有鲁棒性,对攻击者安全和私有,以及如何规避不可避免的对追索敏感性的鲁棒性权衡。
  • 因果公平(第6章)为评估模型的公平性以及减轻潜在数据因果关系的有害差异的标准铺平了道路。该标准依赖于反事实或介入性分布。未来的工作应该阐明在标准预测设置之外的平等、公平、较弱的可观察性假设(例如隐藏的混淆)以及对社会类别的干预主义观点的有效性。
  • 因果强化学习(第7章)描述了考虑决策环境的显性因果结构的RL方法。我们将这些方法分为7类,并观察到它们比非因果方法的好处包括反发现(导致更好的泛化)、内在奖励和数据效率。开放的问题表明,一些形式主义可能是统一的,离线数据的反发现在离线RL部分很大程度上没有解决,而代理根据反事实做出的决定可能会提供进一步的好处。
  • 模态-应用:我们回顾了之前介绍的和模态特定原则如何提供机会来改善计算机视觉、自然语言处理和图形表示学习设置。
成为VIP会员查看完整内容
199

近年来,图神经网络(GNN)领域取得了令人难以置信的快速发展。图神经网络,也被称为图深度学习、图表示学习或几何深度学习,已经成为机器学习,尤其是深度学习中发展最快的研究课题之一。图论和深度学习交叉的这波研究浪潮也影响了其他科学领域,包括推荐系统、计算机视觉、自然语言处理、归纳逻辑编程、程序合成、软件挖掘、自动化规划、网络安全和智能交通。然而,随着该领域的迅速发展,获取全球范围内GNN发展的视角是极具挑战性的。因此,我们迫切需要弥合上述差距,并就这一快速增长但具有挑战性的主题提供全面的教程。

本教程将通过回顾和介绍图神经网络的基本概念和算法、图神经网络的新研究前沿以及图神经网络的广泛和新兴应用,涵盖图神经网络中广泛的主题。此外,通过我们最近出版的《图神经网络(GNN):基础、前沿和应用》一书,丰富的教程材料将包括和介绍,以帮助读者获得系统的理解,这是GNN研究人员和实践者阅读和学习的最全面的书籍之一。

Opening Remark (10 mins)

图神经网络基础 Foundations of Graph Neural Networks (50 mins)

Graph Neural Networks for Node Classification The Express Power of Graph Neural Networks The Interpretability of Graph Neural Networks

图神经网络前沿 Frontiers of Graph Neural Networks (50 mins)

Graph Generation and Transformation Dynamic Graph Neural Networks Graph Matching Graph Structure Learning

应用 Broad and Emerging Applications (50 mins)

GNNs in Predicting Protein Function and Interactions GNNs in Graph Neural Networks in Program Analysis GNNs in Natural Language Processing

结论 Conclusion (10 mins)

图神经网络书籍

近年来,**图神经网络(GNN)领域取得了快速和令人难以置信的进展。**图神经网络,又称图深度学习、图表示学习或几何深度学习,已成为机器学习特别是深度学习领域发展最快的研究课题之一。这波图论和深度学习交叉的研究浪潮也影响了其他科学领域,包括推荐系统、计算机视觉、自然语言处理、归纳逻辑编程、程序合成、软件挖掘、自动规划、网络安全和智能交通。

尽管图神经网络已经获得了极大的关注,但在将其应用到其他领域时,它仍然面临着许多挑战,从方法的理论理解到实际系统中的可扩展性和可解释性,从方法的可靠性到应用中的经验性能。然而,随着该领域的迅速发展,获得全球视野的gnn的发展已成为一项极具挑战性的工作。

因此,我们感到迫切需要弥补上述差距,并就这一快速发展但具有挑战性的主题出版一本全面的书,它可以造福广泛的读者,包括高级本科生和研究生、博士后研究人员、讲师和行业从业者。

这本书旨在涵盖图神经网络中广泛的主题,从基础到前沿,并从方法到应用。本书致力于介绍GNNs的基本概念和算法,GNNs的新研究前沿,以及GNNs的广泛和新兴应用。

书籍地址:

https://graph-neural-networks.github.io/index.html

领域大牛推荐

“第一本全面涵盖一个快速发展的研究领域——图神经网络(GNN)的书,由权威作者撰写!” 韩家炜 - 美国伊利诺伊大学香槟分校计算机系教授,IEEE和ACM院士

这本书提出了一个全面和及时的图表示学习综述。由这一领域最好的专家编辑撰写,这本书是想学习任何关于图神经网络的学生,研究人员和实践者的必读作品。”

沈向洋-计算机视觉和图形学研究的世界级专家,IEEE Fellow,ACM Fellow)美国工程院院士,英国皇家工程科学院的国际院士

“作为深度学习的新前沿,图神经网络在结合概率学习和符号推理、连接知识驱动和数据驱动范式、开启第三代人工智能发展方面提供了巨大的潜力。这本书提供了全面和深刻的GNN介绍,从基础到前沿,从算法到应用。对于任何想要进入这一令人兴奋的领域的科学家、工程师和学生来说,这都是宝贵的资源。”

张钹 - 中国科学院院士,清华大学教授

“图神经网络是机器学习最热门的领域之一,这本书是一个很棒的深度资源,涵盖了图表示学习的广泛主题和应用。” Jure Leskovec -斯坦福大学副教授

图神经网络是一种新兴的机器学习模型,已经在科学和工业领域掀起了一场风暴。是时候采取行动了!它的章节都是由该领域的许多专家精心撰写的。”

Petar Velickovic - DeepMind 高级研究科学家

**目录内容: **

本书主要分为3部分: Introduction, Foundations of Graph Neural Networks, 和 Frontiers of Graph Neural Networks.

第一部分:引言

第 1 章 表示学习 * 第 2 章 图表示学习 * 第 3 章 图神经网络

第二部分:基础

第 4 章 用于节点分类的图神经网络 * 第 5 章 图神经网络的表达能力 * 第 6 章 图神经网络:可扩展性 * 第 7 章 图神经网络中的可解释性 * 第 8 章 图神经网络:对抗鲁棒性

第三部分:前沿

第 9 章 图神经网络:图分类 * 第 10 章 图神经网络:链接预测 * 第 11 章 图神经网络:图生成 * 第 12 章 图神经网络:图变换 * 第 13 章 图神经网络:图匹配 * 第 14 章 图神经网络:图结构学习 * 第 15 章 动态图神经网络 * 第 16 章 异构图神经网络 * 第 17 章 图神经网络:AutoML * 第 18 章 图神经网络:自监督学习

第四部分:应用

第 19 章 现代推荐系统中的图神经网络 * 第 20 章 计算机视觉中的图神经网络 * 第 21 章 自然语言处理中的图神经网络 * 第 22 章 程序分析中的图神经网络 * 第 23 章 软件挖掘中的图神经网络 * 第 24 章 药物开发中基于 GNN 的生物医学知识图谱挖掘 * 第 25 章 预测蛋白质功能和相互作用的图神经网络 * 第 26 章 异常检测中的图神经网络 * 第 27 章 城市智能中的图神经网络

作者介绍

吴凌飞博士现任京东硅谷研发中心首席科学家。吴博士曾经是 IBM T. J. Watson Research Center 研究科学家和团队带头人。吴博士在 2016 年从威廉玛丽大学取得计算机博士学位。他的研究内容包括机器学习、表征学习和自然语言处理。 吴博士带领的 Graph4NLP (Deep Learning on Graphs for Natural Language Processing) 团队(12+ 研究科学家)致力于机器学习与文本数据挖掘领域的基础研究,并运用机器学习与文本数据挖掘方法解决实际问题。其学术成果先后发表在 NeurIPS, ICML, ICLR, ACL, EMNLP, KDD, AAAI, IJCAI 等国际顶级会议及期刊上,发表论文超过 80 多篇。代表作包括 IDGL, MGMN, Graph2Seq, GraphFlow。多项学术论文获得著名国际大会的最佳论文和最佳学术论文奖,包括 IEEE ICC 2019。 吴博士同时现任 IEEE 影响因子最高期刊之一 IEEE Transactions on Neural Networks and Learning Systems(TNNLS) 和 ACM SIGKDD 旗舰期刊 ACM Transactions on Knowledge Discovery from Data (TKDD) 的副主编。多次组织和担任国际顶级会议大会或者领域主席,如 AAAI, IJCAI, KDD, NeurIPS, ICLR, ICML, ACL, EMNLP。

崔鹏,清华大学计算机系长聘副教授。于 2010 年获得清华大学博士学位,研究兴趣包括因果正则机器学习(causally-regularized machine learning)、网络表示学习和社交动态建模。他在数据挖掘和多媒体领域知名会议和期刊上发表文章 100 多篇,近期研究获得 IEEE Multimedia Best Department Paper Award、ICDM 2015 最佳学生论文奖等多个奖项。2015 年,他获得 ACM 中国新星奖,2018 年获得 CCF-IEEE CS 青年科学家奖。目前,他是 ACM 和 CCF 杰出会员、IEEE 高级会员。

裴健在数据科学、大数据、数据挖掘和数据库系统等领域,是世界领先的研究学者,国际计算机协会(ACM)院士和国际电气电子工程师协会(IEEE)院士,擅长为数据密集型应用设计开发创新性的数据业务产品和高效的数据分析技术。因其在数据挖掘基础、方法和应用方面的杰出贡献,裴健曾获得数据科学领域技术成就最高奖 ACM SIGKDD Innovation Award(ACM SIGKDD 创新奖)和 IEEE ICDM Research Contributions Award(IEEE ICDM 研究贡献奖)。2018 年,裴健入职京东,任集团副总裁。此前,裴健教授还曾担任华为首席科学家。2019 年 9 月,裴健当选加拿大皇家学会院士。

赵亮现为埃默里大学担任计算机系助理教授,研究方向为数据挖掘、机器学习和优化。此前曾在乔治梅森大学信息科技学院和计算机学院担任助理教授。2016 年秋,赵亮获得弗吉尼亚理工大学的博士学位。此外,赵亮曾获 2020 年美国自然科学基金委员会杰出青年奖(NSF CAREER AWARD)、2019 年 Jeffress Trust Award、2017 年弗吉尼亚理工大学计算机学院杰出博士奖,并入选 2016 年微软评选出的数据挖掘领域 20 位学术新星。他还获得过 ICDM 2019 会议的最佳论文奖项。

成为VIP会员查看完整内容
193

https://nostarch.com/math-deep-learning

深度学习无处不在,这使得AI的强大驱动力成为更多STEM专业人士需要了解的东西。学习使用哪个库命令是一回事,但要真正理解这一原则,您需要掌握使之正确的数学概念。本书将为您提供概率论、统计学、线性代数和微分学等主题的工作知识,这些是使深度学习易于理解的基本数学知识,也是成功练习深度学习的关键。 这四个子领域中的每一个都与Python代码和实际操作的示例相关联,这些示例弥合了纯数学及其在深度学习中的应用之间的差距。章节建立在彼此的基础上,基本的主题,如贝叶斯定理,然后是更高级的概念,如使用向量、矩阵和函数的导数训练神经网络。在探索和实现深度学习算法时,您将最终使用所有这些数学知识,包括反向传播和梯度下降——这些基本算法使AI革命成为可能。 你将学习:

  • 概率规则,概率分布,贝叶斯概率
  • 使用统计数据来理解数据集和评估模型
  • 如何操作向量和矩阵,并利用它们在神经网络中移动数据
  • 如何用线性代数实现主成分分析和奇异值分解
  • 如何应用改进版本的梯度下降,如RMSprop, Adagrad和Adadelta
  • 一旦你通过AI编程的镜头理解了本书中呈现的核心数学概念,你就会有基础的知识来轻松跟随和使用深度学习。

目录内容:

Introduction Chapter 1: Setting the Stage Chapter 2: Probability Chapter 3: More Probability Chapter 4: Statistics Chapter 5: Linear Algebra Chapter 6: More Linear Algebra Chapter 7: Differential Calculus Chapter 8: Matrix Calculus Chapter 9: Data Flow in Neural Networks Chapter 10: Backpropagation Chapter 11: Gradient Descent Appendix: Going Further View the Copyright page

View the detailed Table of Contents

View the Index

成为VIP会员查看完整内容
179

从数据中的基于时间的模式构建预测模型。掌握统计模型,包括时间序列预测的新的深度学习方法。Python中的时间序列预测将教你从基于时间的数据构建强大的预测模型。你创建的每个模型都是相关的,有用的,并且很容易用Python实现。您将探索有趣的真实世界数据集,如谷歌的每日股票价格和美国的经济数据,快速从基础发展到使用深度学习工具(如TensorFlow)开发大规模模型。Python中的时间序列预测 Time Series Forecasting将教你应用时间序列预测并获得即时的、有意义的预测。您将学习时间序列预测的传统统计和新的深度学习模型,所有这些都用Python源代码充分说明。通过亲身参与预测航空旅行、药物处方量和强生公司(Johnson & Johnson)收入的项目来测试你的技能。学习本书后,您将准备好使用Python生态系统中的工具构建准确和有洞察力的预测模型。

https://www.manning.com/books/time-series-forecasting-in-python-book

时间序列预测 简短的内容

  • 第1章: 理解时间序列预测
  • 第2章: 对未来的天真预测
  • 第3章: 随机游走
  • 第4章:移动平均过程的建模
  • 第5章:自回归过程的建模
  • 第6章:复杂时间序列的建模
  • 第7章:非平稳时间序列的预测
  • 第8章:季节性解释
  • 第9章:在我们的模型中加入外部变量

成为VIP会员查看完整内容
203

数据作为数字经济和信息社会的核心资源,被认为是继土地、劳动力、资本、技术之后的又一个重要生产要素,其在企业数字化转型中发挥重要作用,并对国家治理能力、经济运行机制、社会生活方式等产生深刻影响。与此同时,数据安全的重要性愈发凸显。依法采取严密的监管措施,保障数据安全无虞,有利于为数字经济发展夯实安全基础,为国家安全和公共利益保驾护航。

今年以来,《中华人民共和国数据安全法》、《中华人民共和国个人隐私保护法》相继实施,个人隐私和产业机密数据保护日趋完善,在着重强调数据安全和个人信息保护的同时,完善了数据相关合规监管框架,为数据流通和使用进一步拓展了空间。

与此同时,以联邦学习技术为代表的隐私计算赛道产业生态逐渐丰富,互联网厂商、初创专精型厂商、人工智能厂商等各领域企业纷纷加入,在进一步加深技术研究的同时,相关垂直领域的行业应用也逐渐丰富,形成百花齐放的行业发展态势。

本报告在中国信息通信研究院前期对于联邦学习技术、产业的研究基础上,联合联邦学习产业链上下游企业,深入探讨联邦学习在政务、医疗、金融、广告、物流的应用价值,以期为数据应用价值的释放带来解读和参考。

成为VIP会员查看完整内容
217
登陆后查看更多精品内容
VIP会员
本周荟萃主题
区块链
区块链(Blockchain)是由节点参与的分布式数据库系统,它的特点是不可更改,不可伪造,也可以将其理解为账簿系统(ledger)。它是比特币的一个重要概念,完整比特币区块链的副本,记录了其代币(token)的每一笔交易。通过这些信息,我们可以找到每一个地址,在历史上任何一点所拥有的价值。
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。
计算机网络
计算机网络( Computer Networks )指将地理位置不同的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。
命名实体识别
命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
微信扫码咨询专知VIP会员