【导读】现在搞AI研究写论文,其中论文里的框架图模型图很是考验你画图的能力,不费一番心思功夫,怎能画出一个入得Reviewer法眼的图,论文也不大好中,很是发愁。好消息来了,elvis介绍了有个ML visual的利器,提供一份103页的PPT模型图素材,你在上面可以直接使用画出你要的机器学习深度学习模型图,再也不用担心画图了!

ML Visuals是一个新的协作项目,通过使用更专业、更吸引人、更充分的图块来帮助机器学习社区改进科学传播。你可以在你的演讲或博客文章中自由使用视觉效果。使用任何视觉效果都不需要经过许可,但是如果你能提供设计师/作者(作者信息可以在幻灯片注释中找到),那就太好了。

地址: https://github.com/dair-ai/ml-visuals

怎么使用ML Visual?

下载这份MLvisual PPT,在上面的模板编辑你要的就行。

要添加您自己的自定义图形,只需添加一个新的幻灯片并重用任何基本的可视组件(请记住请求编辑权限)。您还可以创建自己的幻灯片副本,并自定义您喜欢的内容。我们鼓励作者/设计师在这里添加他们的视觉效果,并允许其他人重用它们。确保包括你的作者信息(在幻灯片的注释部分),这样其他人就可以在其他地方使用你的作品(如博客/演示文稿)。此外,提供一个简短的视觉描述,以帮助用户了解它是关于什么以及他们如何使用它。如果您需要“编辑”权限,请单击上面“仅查看”工具栏下的“请求编辑访问”选项,或者通过ellfae@gmail.com发送电子邮件给我。

从任何一张幻灯片上下载图片都很容易。只需点击文件→下载→(选择你的格式)。

如果你需要帮助定制一个数字或有可能对别人有价值的东西的想法,我们可以帮助。只要在这里打开一个问题,我们将尽我们最大的努力,以赶上视觉。谢谢。

在我们的Slack小组中,有任何关于这个项目的问题都可以问我们。

成为VIP会员查看完整内容
449

https://www.oreilly.com/library/view/natural-language-processing/9781098103231/

自2017年推出以来,Transformer已迅速成为在各种自然语言处理任务上实现最先进结果的主导架构。如果你是一名数据科学家或程序员,这本实用的书向你展示了如何使用基于python的深度学习库hugs Face transformer来训练和扩展这些大型模型。

Transformers 已经被用来编写真实的新闻故事,改进谷歌搜索查询,甚至创造出讲笑话的聊天机器人。在本指南中,作者Lewis Tunstall、Leandro von Werra和Thomas Wolf(拥抱Transformers 的创始人之一)使用亲身实践的方法来教你Transformers如何工作,以及如何将它们集成到应用程序中。你会很快学到他们能帮你解决的各种任务。

  • 为核心NLP任务构建、调试和优化Transformers模型,如文本分类、命名实体识别和回答问题

  • 学习如何使用Transformers进行跨语言迁移学习

  • 在真实世界中标签数据稀缺的场景中应用Transformers

  • 利用蒸馏、剪枝和量化等技术,使Transformers模型有效地用于部署

  • 从零开始训练Transformers ,学习如何扩展到多个GPU和分布式环境

本书的目标是让您能够构建自己的语言应用程序。为了达到这个目的,它关注于实际的用例,并且只在必要的时候深入研究理论。这本书的风格是动手操作,我们强烈建议您亲自运行代码示例来进行试验。本书涵盖了NLP中transformers的所有主要应用,每一章(除了少数例外)专门针对一个任务,结合一个实际的用例和数据集。每一章还介绍了一些额外的概念。以下是我们将涉及的任务和主题的一个高级概述:

第一章,你好Transformers,介绍了Transformers,并把它们放到了背景中。它还介绍了“Hugging Face”生态系统。

第二章文本分类,重点介绍了情感分析(一个常见的文本分类问题),并介绍了Trainer API。

第三章,Transformer剖析,更深入地介绍了Transformer架构,为接下来的章节做准备。

第四章,多语言命名实体识别,重点关注在多语言文本中识别实体的任务(一个令牌分类问题)。

第五章,文本生成,探讨了Transformers模型生成文本的能力,并介绍了解码策略和度量。

第六章,摘要,深入研究了文本摘要的复杂序列到序列任务,并探讨了该任务使用的度量。

第七章“问答”,重点介绍了基于综述的问答系统的构建,并介绍了利用Haystack进行检索的方法。

第八章《Transformers在生产中高效运行》,重点介绍了模型性能。我们将着眼于意图检测的任务(序列分类问题的一种类型),并探索知识蒸馏、量化和剪枝等技术。

第九章,处理很少或没有标签,着眼于在没有大量标签数据的情况下提高模型性能的方法。我们将构建一个GitHub问题标签和探索技术,如零样本分类和数据增强。

第十章,从头开始训练Transformer,向您展示了如何从头开始构建和训练一个自动完成Python源代码的模型。我们将研究数据集流和大规模培训,并构建我们自己的标记器。

第十一章,未来方向,探讨了Transformers面临的挑战和一些令人兴奋的新方向的研究,在这一领域将进入。

成为VIP会员查看完整内容
294

来源:中国信息通信研究院

人工智能技术是释放数字化叠加倍增效应、加快战略新兴产业发展、构筑综合竞争优势的必然选择。纵观全球,国内外人工智能相关不断强化,持续推动释放人工智能红利;以深度学习为代表的人工智能技术飞速发展,新技术开始探索落地应用;工程化能力不断增强,在医疗、制造、自动驾驶等领域的应用持续深入;可信人工智能技术引起社会广泛关注。人工智能治理受到全球高度关注,各国规制进程不断加速,基于可信人工智能的产业实践不断深入。

近日,中国信息通信研究院正式发布《人工智能白皮书(2022年)》,全面回顾了2021年以来全球人工智能在政策、技术、应用和治理等方面的最新动向,重点分析了人工智能所面临的新发展形势及其所处的新发展阶段,致力于全面梳理当前人工智能发展态势,为各界提供参考,共同推动人工智能持续健康发展。

白皮书核心观点

1、人工智能迈入新阶段,将由技术创新、工程实践、可信安全“三维”坐标来定义和牵引

第一个维度突出创新,围绕着算法和算力方面的创新仍会不断涌现。第二个维度突出工程,工程化能力逐渐成为人工智能大规模赋能千行百业的关键要素。第三个维度突出可信,发展负责任和可信的人工智能成为共识,将抽象的治理原则落实到人工智能全生命流程将成为重点。

2、人工智能技术创新仍是主旋律,新算法不断涌现

超大规模预训练模型推动技术效果不断提升,继续朝着规模更大、模态更多的方向发展;“生成式人工智能”技术不断成熟,未来听、说、读、写等能力将有机结合;知识计算成为推动人工智能从感知智能向认知智能转变的重要探索;人工智能与科学研究融合不断深入,开始“颠覆”传统研究范式。

3、人工智能工程化聚焦工具体系、开发流程、模型管理全生命流程的高效耦合

工具体系层面:体系化与开放化成为研发平台技术工具链的发展特点。 开发流程层面:工程化关注人工智能模型开发的生命流程,追求高效且标准化的持续生产、持续交付和持续部署,最终以最佳的模型进入应用层面产生商业价值。 模型管理层面:企业需要建设对模型生命周期的管理机制,对模型的版本历程、性能表现、属性、相关数据、衍生的模型档案等进行标准化的管理运维。

4、人工智能治理迈入软硬法协同和场景规制新阶段

人工智能治理实质化进程加速推进:各国人工智能治理侧重各有不同,但整体上呈现加速演进态势,即从初期构建以“软法”为导向的社会规范体系,开始推进以“硬法”为保障的风险防控体系。 典型场景化治理加速落地:各国纷纷注意到人工智能应用场景多样化和差异化给治理带来的复杂性,典型场景的治理成为各国的工作重点,特别聚焦于自动驾驶、智慧医疗和人脸识别等领域。

成为VIP会员查看完整内容
227

Transformers 正在成为许多神经网络架构的核心部分,被广泛应用于诸如NLP、语音识别、时间序列和计算机视觉等领域。Transformers 经历了许多改编和改造,从而产生了新的技术和方法。《Transformers 机器学习:深度探究》是第一本全面介绍Transformers的书。 https://www.routledge.com/Transformers-for-Machine-Learning-A-Deep-Dive/Kamath-Graham-Emara/p/book/9780367767341#

主要特点:

  • 一本全面的参考书,详细解释了与Transformers有关的每个算法和技术。
  • 全面覆盖60多个Transformers架构。
  • 一本理解如何在语音,文本,时间序列,和计算机视觉应用Transformers技术的书。
  • 每个架构的实用技巧和技巧,以及如何在现实世界中使用它。
  • 使用这些工具和库进行理论和实际现实分析的实践案例研究和代码片段,都可以在谷歌Colab中运行。

最先进的Transformers 架构的理论解释将吸引研究生和研究人员(学术界和工业界),因为它将为快速发展的领域的深入讨论提供一个单一的入口点。实践动手案例研究和代码将吸引本科生、从业者和专业人士,因为它允许快速实验并降低进入该领域的门槛。

第一章将从时间线、历史及其对学术界和工业界的影响向读者介绍Transformers。然后,我们将在分类的基础上,从理论、实践和应用的角度出发,完成本章的布局。这一章,然后进行全面的讨论,在实践方面,如资源,工具,书籍,和课程,将在其他章节。

第二章开始介绍序列到序列模型及其局限性。这一章然后一步一步地介绍了Transformers的各种构造块,如注意力、多头部注意力、位置编码、残差连接和编码器-解码器框架。所有这些功能单元都从理论和实践的角度进行了详细的论述,以便读者更全面地理解本课题。最后,通过一个真实世界的案例研究,展示了本章的操作方面。

BERT的出现彻底改变了自然语言处理(NLP)领域,并帮助在许多传统上具有挑战性的任务中达到接近人类水平的性能。第三章介绍了BERT架构的细节,以及如何对经典的nlp任务进行预训练和微调,如单对文本分类、双kentagging和问答。本章还讨论了BERTology的相关领域,研究了BERTology的内部工作原理以及如何处理和分析扩展信息。最后,这一章介绍了一些改进的架构以提高效率(例如,RoBERTa)和NLP应用的类型(例如,NLP用于tabulardata-TaBERT)。本章总结了使用BERT进行情感分类和话题建模应用的真实案例研究。

成为VIP会员查看完整内容
173

数据作为数字经济和信息社会的核心资源,被认为是继土地、劳动力、资本、技术之后的又一个重要生产要素,其在企业数字化转型中发挥重要作用,并对国家治理能力、经济运行机制、社会生活方式等产生深刻影响。与此同时,数据安全的重要性愈发凸显。依法采取严密的监管措施,保障数据安全无虞,有利于为数字经济发展夯实安全基础,为国家安全和公共利益保驾护航。

今年以来,《中华人民共和国数据安全法》、《中华人民共和国个人隐私保护法》相继实施,个人隐私和产业机密数据保护日趋完善,在着重强调数据安全和个人信息保护的同时,完善了数据相关合规监管框架,为数据流通和使用进一步拓展了空间。

与此同时,以联邦学习技术为代表的隐私计算赛道产业生态逐渐丰富,互联网厂商、初创专精型厂商、人工智能厂商等各领域企业纷纷加入,在进一步加深技术研究的同时,相关垂直领域的行业应用也逐渐丰富,形成百花齐放的行业发展态势。

本报告在中国信息通信研究院前期对于联邦学习技术、产业的研究基础上,联合联邦学习产业链上下游企业,深入探讨联邦学习在政务、医疗、金融、广告、物流的应用价值,以期为数据应用价值的释放带来解读和参考。

成为VIP会员查看完整内容
178

这是由来自22个国家和72个机构/组织的80位专家撰写的《预测领域》的百科全书式概述。非常值得关注!

预测一直处于决策和规划的最前沿。围绕着未来的不确定性既令人兴奋,又具有挑战性,个人和组织都在寻求风险最小化和公用利益最大化。大量的预测应用需要一系列不同的预测方法来应对现实生活中的挑战。这篇文章提供了一个非系统的回顾理论和预测的实践。我们提供了一个广泛的理论、最先进的模型、方法、原则来准备,产生、组织和评估预测。然后,我们展示了这些理论概念是如何应用于各种现实生活的背景。

我们并不认为这篇综述是方法和应用的详尽列表。然而,我们希望我们的百科全书式的介绍将为过去几十年来所进行的丰富工作提供一个参考点,并为预测理论和实践的未来提供一些关键的见解。由于其百科全书的性质,预期的阅读模式是非线性的。我们提供交叉参考,让读者浏览各种主题。我们补充了由大量免费或开源软件实现和公开可用的数据库所涵盖的理论概念和应用。

https://www.zhuanzhi.ai/paper/869110de988c2d02edb200ddd53e1219

概述

自从早期人类通过观察天空来判断天气是否适合狩猎以来,天气预报已经取得了长足的进步,甚至自从猎人能够得到诸如“气温高达40度,有可能下雨”这样的预报以来。现在,猎人只要看一看智能手机,就能立即得到多个地点每小时的气温预报和降雨概率,以及显示未来几个小时天气预报模式的地图视频。管理人员、政府官员、投资者和其他决策者可以对日益复杂的情况作出定制的预测,为许多不同类型的重要决策提供信息。自De Gooijer和Hyndman(2006)发表优秀的综述文章以来的15年里,预测领域在理论和实践方面都取得了惊人的增长。因此,这篇综述既及时又广泛,既有高度理论性又非常实用

计算技术的快速发展使得分析更大更复杂的数据集成为可能,并激发了人们对分析和数据科学的兴趣。预测方法工具箱在规模和复杂性上都有所增长。计算机科学以神经网络和其他类型的机器学习等方法引领潮流,受到预测者和决策者的极大关注。其他方法,包括统计方法,如贝叶斯预测和复杂回归模型,也从计算的进步中获益。而且这些改进并不局限于那些基于计算技术的进步。例如,在“群体智慧”概念的推动下,关于判断预测的文献得到了相当大的扩展。

预测的结合或聚合并不是一个新的想法,但最近在预测界得到了越来越多的关注,并且表现得很好。例如,Spyros Makridakis举办的M4比赛中表现最好的参赛选手综合了多种方法的预测。目前已经开发了许多模型来预测COVID-19导致的死亡人数,将这些预测结合起来是有意义的,因为很难知道哪种模型最准确。它与贝叶斯的思想是一致的,因为它可以被视为更新,每个单独的预测添加到组合预测(也称为集合)提供一些新的信息。

尽管这些新进展令人兴奋,但像ARIMA和指数平滑等老方法仍然很有价值。指数平滑,连同其他简单的方法,是相当稳健的,不像更复杂的方法容易过度拟合。从这个意义上说,它们的有用之处不仅在于它们自身的优点,还在于它们是包括更复杂方法在内的整体的一部分。如果预测方法不同,预测误差不高度相关,那么组合预测更有价值。

天气条件使得天气预报员的工具箱更大、更复杂,也使得数据集更大、网格更密集,应用领域的模型也得到了改进。这种情况已经发生在大气模型上,这对制定更好的天气预报非常重要。关于顾客及其偏好的更详细的信息可以为经理开发出改进的顾客行为模型。反过来,能够快速处理所有这些信息的预测方法对于决策的目的是有价值的。这一过程引发了在互联网上收集信息的热潮。

风险是决策过程中一个重要的考虑因素,而概率预测可以量化这些风险。概率预测的理论工作已经活跃了一段时间,许多实践领域的决策者已经接受了概率预测的使用。在贝叶斯方法中,推理和预测在本质上是概率性的,概率预测也可以通过许多其他方式产生。

美国国家气象局从20世纪60年代开始向公众发布降水的概率。然而,概率的广泛应用和传播是本世纪以来才发展起来的。现在,概率预测越来越多地传达给公众,并作为决策的输入。Nate Silver的FiveThirtyEight.com的报告对选举、医学和科学、体育赛事、经济指标和许多其他领域给出了概率预测,通常会单独考虑多种预测模型,也会将它们组合在一起。

人们渴望确定性是很自然的。当降水概率预报最初广泛传播时,许多人对此非常怀疑,有些人指责预报员套期处理,说“别给我概率”。我想知道是否会下雨”。当然,点数预测通常与概率预测一起给出。当前对概率的频繁接触有助于公众更好地理解、欣赏并对它们感到更舒服。当前世界上COVID-19疫情、巨大火灾、大风暴、政治两极分化、国际冲突等的增加,应该有助于他们认识到我们生活在一个充满巨大不确定性的时代,量化这些不确定性的预测可能很重要。在可能的情况下,视觉效果会有所帮助,正如俗话所说,一张图片胜过千言万语。例如,在预测飓风的速度、严重程度和未来路径时,地图上的不确定性锥体,以及球队赢得比赛的概率的时间线,每次比赛后都会迅速更新。

简而言之,这是预测领域的一个激动人心的时代,所有新的理论发展和预测在实践中的应用。预测是如此普遍,以至于不可能在一篇文章中涵盖所有这些发展。本文设法涵盖了相当多的内容,而且种类繁多。对每种方法进行简短的介绍,由对理论主题或实践领域“接近实际”的专家来做,可以很好地提供预测理论和实践的最新状况。

预测理论

预测理论的前提是,当前和过去的知识可以用来预测未来。特别是对于时间序列,人们相信可以在历史值中识别模式,并在预测未来值的过程中成功地实现它们。然而,人们并不指望能准确预测期货价格。相反,在预测未来时间段内单个时间序列的许多选项中,有期望值(称为点预测)、预测区间、百分位数和整个预测分布。这组结果集合起来可以被认为是“预测”。预测过程中还有许多其他潜在的结果。目标可能是预测一个事件,如设备故障,时间序列可能只在预测过程中发挥很小的作用。当预测程序与要在实践中解决的问题有关时,它们是最好的。理论可以通过理解问题的本质特征来发展。反过来,理论的结果可以导致实践的改进。

预测实践

预测的目的是在面对不确定性时改进决策。为了实现这一目标,预测应该提供最可能发生的事情的无偏猜测(预测点),以及不确定性的度量,如预测间隔(PI)。这些资料将有助于作出适当的决定和采取适当的行动。预测应该是一项客观、冷静的工作,它是建立在事实、合理的推理和合理的方法之上的。但由于预测是在社会环境中产生的,它们受到组织政治和个人议程的影响。因此,预测往往反映的是愿望,而不是不偏不倚的推测。****

成为VIP会员查看完整内容
184

https://nostarch.com/math-deep-learning

深度学习无处不在,这使得AI的强大驱动力成为更多STEM专业人士需要了解的东西。学习使用哪个库命令是一回事,但要真正理解这一原则,您需要掌握使之正确的数学概念。本书将为您提供概率论、统计学、线性代数和微分学等主题的工作知识,这些是使深度学习易于理解的基本数学知识,也是成功练习深度学习的关键。 这四个子领域中的每一个都与Python代码和实际操作的示例相关联,这些示例弥合了纯数学及其在深度学习中的应用之间的差距。章节建立在彼此的基础上,基本的主题,如贝叶斯定理,然后是更高级的概念,如使用向量、矩阵和函数的导数训练神经网络。在探索和实现深度学习算法时,您将最终使用所有这些数学知识,包括反向传播和梯度下降——这些基本算法使AI革命成为可能。 你将学习:

  • 概率规则,概率分布,贝叶斯概率
  • 使用统计数据来理解数据集和评估模型
  • 如何操作向量和矩阵,并利用它们在神经网络中移动数据
  • 如何用线性代数实现主成分分析和奇异值分解
  • 如何应用改进版本的梯度下降,如RMSprop, Adagrad和Adadelta
  • 一旦你通过AI编程的镜头理解了本书中呈现的核心数学概念,你就会有基础的知识来轻松跟随和使用深度学习。

目录内容:

Introduction Chapter 1: Setting the Stage Chapter 2: Probability Chapter 3: More Probability Chapter 4: Statistics Chapter 5: Linear Algebra Chapter 6: More Linear Algebra Chapter 7: Differential Calculus Chapter 8: Matrix Calculus Chapter 9: Data Flow in Neural Networks Chapter 10: Backpropagation Chapter 11: Gradient Descent Appendix: Going Further View the Copyright page

View the detailed Table of Contents

View the Index

成为VIP会员查看完整内容
143

从数据中的基于时间的模式构建预测模型。掌握统计模型,包括时间序列预测的新的深度学习方法。Python中的时间序列预测将教你从基于时间的数据构建强大的预测模型。你创建的每个模型都是相关的,有用的,并且很容易用Python实现。您将探索有趣的真实世界数据集,如谷歌的每日股票价格和美国的经济数据,快速从基础发展到使用深度学习工具(如TensorFlow)开发大规模模型。Python中的时间序列预测 Time Series Forecasting将教你应用时间序列预测并获得即时的、有意义的预测。您将学习时间序列预测的传统统计和新的深度学习模型,所有这些都用Python源代码充分说明。通过亲身参与预测航空旅行、药物处方量和强生公司(Johnson & Johnson)收入的项目来测试你的技能。学习本书后,您将准备好使用Python生态系统中的工具构建准确和有洞察力的预测模型。

https://www.manning.com/books/time-series-forecasting-in-python-book

时间序列预测 简短的内容

  • 第1章: 理解时间序列预测
  • 第2章: 对未来的天真预测
  • 第3章: 随机游走
  • 第4章:移动平均过程的建模
  • 第5章:自回归过程的建模
  • 第6章:复杂时间序列的建模
  • 第7章:非平稳时间序列的预测
  • 第8章:季节性解释
  • 第9章:在我们的模型中加入外部变量

成为VIP会员查看完整内容
160

因果性是现在机器学习关注的焦点之一。伦敦大学学院和牛津大学的学者发布了《因果机器学习》综述,非常值得关注!

因果机器学习(CausalML)是将数据生成过程形式化为结构因果模型(SCM)的机器学习方法的总称。这使得人们可以对这一过程的变化的影响(即干预)和事后会发生什么(即反事实)进行推理。根据他们所解决的问题,我们将CausalML中的工作分为五组:(1)因果监督学习,(2) 因果生成模型,(3) 因果解释,(4) 因果公平,(5) 因果强化学习。对每一类方法进行了系统的比较,并指出了有待解决的问题。此外,我们回顾了特定模式在计算机视觉、自然语言处理和图形表示学习中的应用。最后,我们提供了因果基准的概述,并对这一新兴领域的状态进行了批判性的讨论,包括对未来工作的建议。

引言

机器学习(ML)技术今天擅长在独立和同分布(i.i.d)数据中寻找关联。一些基本原则,包括经验风险最小化、反向传播和架构设计中的归纳偏差,已经为解决计算机视觉、自然语言处理、图表示学习和强化学习等领域的问题带来了巨大的进步。然而,在将这些模型部署到现实环境中时,出现了新的挑战。这些挑战包括: (1) 当数据分布转移[1]时泛化性能大幅下降,(2) 生成模型[2]样本缺乏细粒度控制,(3) 有偏见的预测强化了某些子种群的不公平歧视[3,4],(4) 可解释性[5]的概念过于抽象和问题独立,(5)强化学习方法对真实世界问题[6]的不稳定转换。

许多工作认为,这些问题的部分原因在于现代ML系统缺乏因果形式主义[7,8,9,10,11]。随后,研究社区对因果机器学习(CausalML)的兴趣激增,这是利用关于被建模系统的因果知识的方法本调查涵盖了因果关系如何被用来解决开放式ML问题。简而言之,因果推理提供了一种语言,通过结构因果模型(SCMs)[12]将关于数据生成过程(DGP)的结构知识形式化。使用SCM,我们可以估计在对数据生成过程进行更改(称为干预)后,数据会发生什么变化。更进一步,它们还允许我们在事后模拟变化的后果,同时考虑实际发生的情况(称为反事实)。我们将在第2章中更详细地介绍这些概念,假设没有因果关系的先验知识。

尽管在设计各种类型的CausalML算法方面做了大量的工作,但仍然缺乏对其问题和方法论的明确分类。我们认为,部分原因在于CausalML通常涉及对大部分ML不熟悉的数据的假设,这些假设在不同的问题设置之间联系起来通常很棘手,这使得很难衡量进展和适用性。这些问题是本次综述的动机。

**1. 我们对完全独立的因果关系中的关键概念进行了简单的介绍(第2章)。**我们不假设对因果关系有任何先验知识。在整个过程中,我们给出了如何应用这些概念来帮助进一步的地面直觉的例子。

2. 我们将现有的CausalML工作分类为因果监督学习(第3章)、因果生成模型(第4章)、因果解释(第5章)、因果公平(第6章)、因果强化学习(第7章)。对于每个问题类,我们比较现有的方法,并指出未来工作的途径。

3.我们回顾了特定模式在计算机视觉、自然语言处理和图表示学习中的应用(第8章),以及因果基准(第9章)。

4. 我们讨论了好的、坏的和丑陋的:我们关于与非因果ML方法相比,因果ML可以给我们带来哪些好处的观点(好的),人们必须为这些方法付出什么代价(坏的),以及我们警告从业者要防范哪些风险(丑陋的)(第10章)

结论发现**

  • 因果推理(第二章),与统计或概率推理相反,允许我们对介入和反事实的估计进行推理。
  • 因果监督学习(第3章)通过学习不变特征或机制来改进预测泛化,两者都旨在消除模型对虚假关联的依赖。未来的工作应该研究学习不变性的目标基准测试、对抗鲁棒性的联系以及元学习,以及额外监督信号的潜在利用。
  • 因果生成模型(第4章)支持从介入的或反事实的分布中采样,自然地分别执行原则可控的生成或样本编辑任务。所有现有的方法都学习结构作业;一些人还从数据中推断出因果结构。对于不同的应用程序应该考虑什么层次的抽象,如何将分配学习扩展到更大的图,以及反事实生成的数据增强何时有效(何时无效),这些都有待探索。
  • 因果解释(第5章)解释模型预测,同时解释模型机制或数据生成过程的因果结构。方法可以分为特征归因(量化输入特征的因果影响)和对比解释(表示获得期望结果的改变实例)。到目前为止,还不清楚如何最好地统一这两类方法,扩大解释范围,使它们对分布转移具有鲁棒性,对攻击者安全和私有,以及如何规避不可避免的对追索敏感性的鲁棒性权衡。
  • 因果公平(第6章)为评估模型的公平性以及减轻潜在数据因果关系的有害差异的标准铺平了道路。该标准依赖于反事实或介入性分布。未来的工作应该阐明在标准预测设置之外的平等、公平、较弱的可观察性假设(例如隐藏的混淆)以及对社会类别的干预主义观点的有效性。
  • 因果强化学习(第7章)描述了考虑决策环境的显性因果结构的RL方法。我们将这些方法分为7类,并观察到它们比非因果方法的好处包括反发现(导致更好的泛化)、内在奖励和数据效率。开放的问题表明,一些形式主义可能是统一的,离线数据的反发现在离线RL部分很大程度上没有解决,而代理根据反事实做出的决定可能会提供进一步的好处。
  • 模态-应用:我们回顾了之前介绍的和模态特定原则如何提供机会来改善计算机视觉、自然语言处理和图形表示学习设置。
成为VIP会员查看完整内容
144

【导读】做科研既非高不可攀也并非容易。来自德国图宾根大学Dr.-Ing. Andreas Geiger的《Scientific Reading, Writing and Presenting》的报告,细致讲述了做科研的要使用的工具和关键事项,非常值得查看!

https://uni-tuebingen.de/fakultaeten/mathematisch-naturwissenschaftliche-fakultaet/fachbereiche/informatik/lehrstuehle/autonomous-vision/seminars/autonomous-vision/

科研阅读,写作与报告 Scientific Reading, Writing and Presenting

目录内容:

  • 引言
  • 文献搜索
  • 读论文
  • 写论文与评审
  • 科研报告

目标:

以某一主题的1-2篇论文为起点:

  • 深入理解科学主题
  • 高效搜索、浏览和阅读相关学术文献
  • 在书面报告中,用自己的话清楚地总结主题
  • 向不熟悉这个话题的听众清楚地陈述这个话题
  • 向其他团队提供反馈(书面评审,现场讨论)
  • 把研究论文放在更大的背景下(讨论前期和后续工作)
  • 练习批判性思维,发现优点和问题

文献搜索

如何查找相关文献

使用在线工具: 在过去的几年里,专门的工具出现了 他们通常把论文结构成图表 相似度是根据语言模型或共被引/引用计数计算的 它们提供了将文件储存在个人收藏中以备日后使用的功能 一些网站还会了解用户的偏好,以获得更好的搜索结果 导航图并不容易,但这些工具可以帮助获得初步概览 例子:Connected Papers, Research Rabbit

一篇论文值得读么

一般来说,在阅读之前很难说,你必须投入时间,这是一项艰苦的工作,但你不能深入阅读所有的论文,我阅读摘要,我看会议/期刊的影响力,我顶级会议是有选择性的和有 录取率不低于25% 视觉: CVPR、ICCV、ECCV、TPAMI、IJCV 机器学习: NeurIPS、ICML、ICLR、AAAI、JMLR 排名:https://research.com/

如何组织论文?

重要的是要储存相关的文件,这样它们就很容易找到 引文和参考文献管理软件可以帮助你做到这一点 它们还允许向论文添加评论,并将论文存储为pdf格式 您也可以直接将存储的书目导入到您的Latex论文中 例如:JabRef(离线)或Mendeley, Zotero(离线/在线) 有些工具可以从网络检索书目信息 然而,始终如一地引用是很重要的 建议:从同一个来源获取信息,例如https://dblp.org/

论文阅读

如何阅读论文?

使用pdf注释工具,例如: Okular, Adobe Acrobat,… 突出重要的段落 添加评论,做笔记 标记重要段落 (设计选择、模型、结果) 记下你所理解的 记下你不明白的地方 用你自己的话总结 在阅读的时候做这个,否则你会忘记

科研写作与评审

科研报告

成为VIP会员查看完整内容
164
登陆后查看更多精品内容
VIP会员
本周荟萃主题
区块链
区块链(Blockchain)是由节点参与的分布式数据库系统,它的特点是不可更改,不可伪造,也可以将其理解为账簿系统(ledger)。它是比特币的一个重要概念,完整比特币区块链的副本,记录了其代币(token)的每一笔交易。通过这些信息,我们可以找到每一个地址,在历史上任何一点所拥有的价值。
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。
计算机网络
计算机网络( Computer Networks )指将地理位置不同的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。
命名实体识别
命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
微信扫码咨询专知VIP会员