https://www.worldscientific.com/page/pressroom/2018-07-31-01

这本书提供了一个机器学习和数据挖掘领域的数学分析。典型的计算机科学数学课程的数学分析部分省略了这些非常重要的思想和技术,这些思想和技术对于机器学习的专门领域是不可缺少的,以优化为中心,如支持向量机,神经网络,各种类型的回归,特征选择和聚类。本书适用于研究者和研究生,他们将从书中讨论的这些应用领域获益。

数学分析可以被松散地描述为数学的一个领域,其主要对象是研究函数及其关于极限的行为。术语“函数”指的是实参数实函数的广义集合,包括函数、运算符、测度等。在数学分析中,有几个发展良好的领域对机器学习产生了特殊的兴趣:拓扑(具有不同的风格:点集拓扑、组合拓扑和代数拓扑),赋范和内积空间的泛函分析(包括巴拿赫和希尔伯特空间),凸分析,优化,等等。此外,像测量和集成理论这样的学科在统计学中发挥着至关重要的作用,这是机器学习的另一个支柱,在计算机科学家的教育中缺乏。我们的目标是为缩小这一差距做出贡献,这是对研究感兴趣的人的一个严重障碍。机器学习和数据挖掘文献非常广泛,包括各种各样的方法,从非正式的到复杂的数学展示。然而,接近研究主题所需要的必要的数学背景通常以一种简洁和无动机的方式呈现,或者干脆就不存在。本卷机器学习的通常介绍,并提供(通过其应用章节,讨论优化,迭代算法,神经网络,回归,和支持向量机)的数学方面的研究。

成为VIP会员查看完整内容
0
63
自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

VLDB会议全称International Conference on Very Large Date Bases,是数据库领域的顶级学术会议和另外两大数据库会议SIGMOD、ICD共同构成了数据库领域的三大顶级会议。本教程讲述知识图谱相关主题。

通用知识库(KBs)是一些数据驱动应用的重要组件。从可用的网络资源实际构建的这些KBs远未完成,这在管理和使用方面提出了一系列挑战。在本教程中,我们将讨论如何表示、提取和推断DBs和KBs中的完整性、召回和否定。我们首先介绍了部分封闭世界语义下知识表示和查询的逻辑基础。(ii)我们展示了如何在KBs和文本中识别召回信息,以及(iii)如何通过统计模式估计召回信息。(iv)我们展示了如何识别有趣的否定陈述,以及(v)如何在比较概念中定位召回。

像Wikidata[32]、DBpedia[2]或Yago[30]这样的网络规模知识库(KBs)被用于从问答到个人助理的各种应用中。它们从网络资源中构建而成,专注于代表积极的知识,即真实的陈述。它们不存储否定语句。它们也是不完整的,也就是说,它们不包含感兴趣领域的所有真实陈述。这意味着,如果一条语句不在知识库中,我们就不知道它在现实世界中是假的,还是只是不存在。

这给KBs的管理和应用带来了重大挑战: 首先,知识库管理人员可能想知道知识库在哪里不完整,以便他们可以优先完成工作。这尤其适用于像NELL[4]这样的KBs,他们想要自动补全。其次,KB应用程序需要知道哪里的数据是不完整的,以便向最终用户发出质量问题的提示。例如,如果KB中恰好没有东京,那么查询“日本最大的城市”可能返回错误的答案。类似地,在企业设置中用于问答的知识库需要知道某个问题何时超出了它的知识[22]。这尤其适用于布尔问题,如“空客制造了这架飞机吗”,在这种情况下,“不”可能仅仅来自丢失的信息。最后,对于总结关于一个实体的显著信息的要求,一个全面的回答还应该包含不适用的显著事实。

传统上,知识库的构建和保存主要集中在出处和准确性方面[23,33]。然而,近年来,描述回忆和负面知识的形式主义日趋成熟[1,5,18],估计召回的统计和基于文本的方法也在兴起[3,7,12 - 14,17,24,29]和推导负面陈述[1,13]。将这些方法系统化,并使它们能够被普通数据库用户访问,是本教程的主题。本教程对理论和实践都有兴趣。它将向听众介绍完整性评估和否定方面的最新进展,并向他们提供一整套方法,以便更好地代表和评估特定数据集的召回。

成为VIP会员查看完整内容
0
50

“一图胜千言”

为图像处理课程设计(IP)旨在研究生和大四本科生,在任何领域的工程,这本书从第一章概述如何安装摄像头成像雷达的核磁共振成像和猫形态图像,然后继续覆盖广泛的图像处理主题。IP主题包括:图像插值、放大、缩略图和锐化、边缘检测、噪声滤波、模糊图像的去模糊、监督和非监督学习、图像分割等。

成为VIP会员查看完整内容
0
46

随着机器学习黑盒越来越多地部署在医疗保健和刑事司法等领域,人们越来越重视构建工具和技术,以事后方式解释这些黑盒。这些解释正被领域专家用来诊断系统性错误和黑盒的潜在偏见。然而,最近的研究揭示了流行的事后解释技术的弱点。在本教程中,我将简要概述事后解释方法,特别强调特征归因方法,如LIME和SHAP。然后,我将讨论最近的研究,这些研究表明,这些方法是脆弱的,不稳定的,并容易受到各种对抗性攻击。最后,我将提出两种解决方案,以解决这些方法的一些漏洞:(I)一个基于对抗性训练的通用框架,旨在使事后解释更稳定,更鲁棒,以应对底层数据的变化,(ii) 贝叶斯框架,捕获与事后解释相关的不确定性,从而允许我们生成满足用户指定的置信水平的可靠解释。总的来说,本教程将提供可解释机器学习这一新兴领域的最新技术的概述。

https://www.chilconference.org/tutorial_T04.html

成为VIP会员查看完整内容
0
41

数据科学概率导论

这本书是大学概率论的入门教材。它有一个使命: 阐明我们在科学和工程中使用的概率工具的动机、直觉和含义。从超过五年的课程教学中,我提炼出了我认为是概率方法的核心。我把这本书放在数据科学的背景下,以强调数据(计算)和概率(理论)在我们这个时代的不可分离性。

地址: https://probability4datascience.com/index.html

概率论是电子工程和计算机科学中最有趣的学科之一。它将我们喜爱的工程原理与现实联系起来,这是一个充满不确定性的世界。然而,因为概率是一门非常成熟的学科,单是本科生的课本就可能在图书馆的书架上摆满好几排书。当文学如此丰富时,挑战就变成了一个人如何在深入细节的同时洞察到洞察力。例如,你们中的许多人以前使用过正态随机变量,但你们是否想过“钟形”是从哪里来的?每一门概率课都会教你抛硬币,但是“抛硬币”在今天的机器学习中有什么用呢?数据科学家使用泊松随机变量来模拟互联网流量,但是这个漂亮的泊松方程是从哪里来的呢?这本书的目的是填补这些知识的差距,这是所有数据科学学生必不可少的。

这就引出了本书的三个目标。(i) 动机: 在数学定义、定理、方程的海洋中,为什么我们要把时间花在这个主题上,而不是其他的? (ii) 直觉: 当进行推导时,在这些方程之外是否有几何解释或物理学?(iii) 言外之意: 当我们学习了一个话题后,我们可以解决哪些新问题?本书的目标读者是电子工程和计算机科学专业的本科生三、四年级和一年级研究生。先决条件是标准的本科线性代数和微积分,除了需要傅里叶变换的特征函数部分。一门信号与系统的本科课程就足够了,即使是在学习这本书的同时选修。

这本书的篇幅适合两学期的课程。教师被鼓励使用最适合他们的课程的章节集。例如,基本概率课程可以使用第1-5章作为主干。关于样本统计的第6章适合希望获得概率收敛理论见解的学生。关于回归的第七章和关于估计的第八章最适合学习机器学习和信号处理的学生。第9章讨论了对现代数据分析至关重要的置信区间和假设检验。第10章介绍了随机过程。我的随机过程方法更适合于信息处理和通信系统,这通常与电气工程专业的学生更相关。

本书特色:

涵盖范围广,从经典的概率论到现代数据分析技术 概念的几何和图形解释 与MATLAB / Python紧密集成 机器学习的实际应用

目录内容

Chapter 1 Mathematical Background Chapter 2 Probability Chapter 3 Discrete Random Variables Chapter 4 Continuous Random Variables Chapter 5 Joint Distributions Chapter 6 Sample Statistics Chapter 7 Regression Chapter 8 Estimation Chapter 9 Confidence and Hypothesis Chapter 10 Random Processes

成为VIP会员查看完整内容
0
41

这本书的目的是全面概述在算法的数学分析中使用的主要技术。涵盖的材料从经典的数学主题,包括离散数学,基本的真实分析,和组合学,以及从经典的计算机科学主题,包括算法和数据结构。重点是“平均情况”或“概率”分析,但也涵盖了“最坏情况”或“复杂性”分析所需的基本数学工具。我们假设读者对计算机科学和实际分析的基本概念有一定的熟悉。简而言之,读者应该既能写程序,又能证明定理。否则,这本书是自成一体的。

这本书是用来作为算法分析高级课程的教科书。它也可以用于计算机科学家的离散数学课程,因为它涵盖了离散数学的基本技术,以及组合学和重要的离散结构的基本性质,在计算机科学学生熟悉的背景下。传统的做法是在这类课程中有更广泛的覆盖面,但许多教师可能会发现,这里的方法是一种有用的方式,可以让学生参与到大量的材料中。这本书也可以用来向数学和应用数学的学生介绍与算法和数据结构相关的计算机科学原理。

尽管有大量关于算法数学分析的文献,但该领域的学生和研究人员尚未直接获得广泛使用的方法和模型的基本信息。本书旨在解决这种情况,汇集了大量的材料,旨在为读者提供该领域的挑战的欣赏和学习正在开发的先进工具以应对这些挑战所需的背景知识。补充的论文从文献,这本书可以作为基础的介绍性研究生课程的算法分析,或作为一个参考或基础的研究人员在数学或计算机科学谁想要获得这个领域的文献自学。

成为VIP会员查看完整内容
0
38

演化、信息和复杂性的数学分析涉及到演化、信息和复杂性的分析。系统或过程的时间演化是科学中的一个中心问题,本文涵盖了广泛的问题,包括扩散过程,神经网络,量子理论和宇宙学。汇集了数学、信息理论、物理和其他科学技术领域的广泛研究,这个新标题提供了对书中涉及的各个研究领域的基本和容易理解的介绍。

我们的书突出了我们学校的一些科学成就,因此有它的名字数学分析的演化,信息和复杂性。为了向读者介绍这门学科,我们从信息理论、神经信息学和数学物理等科学和技术的不同部分及时地介绍了一些基本的、易于理解的主题。书中的每一篇文章都是由一个团队编写的,其中至少代表了两个不同的学科。就这样,数学家和物理学家合作写了一章,物理学家和电气工程师合作,等等。此外,我们还设置了一个规则,即每一个资深科学家都有一个研究生在研究这篇文章。我们希望这一规则能够带来容易理解的贡献。《演化、信息与复杂性的数学分析》不仅代表了我校的规划,成为了本书的标题,也成为了我校组织的指导原则。事实上,我们选择了“演化”、“信息”和“复杂性”这三大支柱作为本书三部分的标题。对于每一个主题,我们都确定了一到两个主题,如表0.1所示。

成为VIP会员查看完整内容
0
36

该系列课程由DeepMind研究人员教授,与伦敦大学学院(UCL)合作创建,为学生提供现代强化学习的全面介绍。

本课程包括13个讲座,该系列涵盖了基础的强化学习和规划的序列决策问题,在进入更高级的主题和现代深度RL算法之前。它让学生详细了解各种主题,包括马尔可夫决策过程,基于样本的学习算法(如(双)Q-learning, SARSA),深度强化学习,等等。它还探索了更高级的主题,如非策略学习、多步骤更新和资格跟踪,以及在实现深度强化学习算法(如彩虹DQN)时的概念和实际考虑。

DeepMind研究科学家和工程师Hado van Hasselt, Diana Borsa和Matteo Hessel领导了一份针对硕士以上学生的关于RL和深度RL的13部分独立介绍。

第1讲: 强化学习的介绍

研究科学家Hado van Hasselt介绍了强化学习课程,并解释了强化学习与人工智能的关系。

第二讲: 探索与控制

研究科学家哈多·范·哈塞尔特(Hado van Hasselt)探讨了为什么学习主体同时平衡探索和利用已获得的知识很重要。

第三讲: MDPs与动态规划

研究科学家Diana Borsa解释了如何用动态规划解决MDPs,以提取准确的预测和良好的控制策略。

第4讲: 动态规划算法的理论基础

研究科学家Diana Borsa将动态规划算法作为收缩映射进行研究,观察它们何时以及如何收敛到正确的解。

第五讲:无模型预测

研究科学家Hado van Hasselt对无模型预测及其与蒙特卡罗和时域差分算法的关系进行了更深入的研究。

第6讲:无模型控制

研究科学家Hado van Hasselt研究了策略改进的预测算法,从而产生了可以从抽样经验中学习良好行为策略的算法。

第7讲:函数近似

研究科学家Hado van Hasselt解释了如何将深度学习与强化学习相结合,以实现“深度强化学习”。

第8讲: 规划与模型

研究工程师Matteo Hessel解释了如何学习和使用模型,包括像Dyna和蒙特卡罗树搜索(MCTS)这样的算法。

第9讲: 策略梯度和Actor-Critic方法

研究科学家Hado van Hasselt涵盖了可以直接学习策略的策略算法和结合价值预测以更有效学习的Actor-Critic算法。

第10讲: 近似动态规划

研究科学家Diana Borsa介绍了近似动态规划,探讨了我们可以从理论上说的近似算法的性能。

第11讲: 多步骤和间歇策略

研究科学家Hado van Hasselt讨论了多步和离线策略算法,包括各种减少方差的技术。

第12讲: 深度强化学习#1

研究工程师Matteo Hessel讨论了深度RL的实际考虑和算法,包括如何使用自区分(即Jax)实现这些。

第13讲: 深度强化学习#2

研究工程师Matteo Hessel介绍了作为辅助任务的一般值函数和GVFs,并解释了如何处理算法中的可扩展问题。

成为VIP会员查看完整内容
0
32

我们将考虑流行的神经序列处理模型(如RNN和Transformer)与形式化模型(如自动机及其变体)之间的关系。特别地,我们将讨论几种RNN的提取方法,以及通过自动机变体来理解的各种RNN体系结构之间的差异。然后我们将考虑更现代的Transformer。特别是,我们将展示它如何(不!)与现有的正式类相关,并以编程语言的形式提出另一种抽象。

https://icgi2020.lis-lab.fr/speakers/#Guillaume

成为VIP会员查看完整内容
0
34

摘要

科学研究的一个基本目标是了解因果关系。然而,尽管因果关系在生命和社会科学中发挥着关键作用,但在自然语言处理(NLP)中却没有同等的重要性,后者传统上更重视预测任务。随着因果推理和语言处理融合的跨学科研究的兴起,这种区别正开始消失。然而,关于NLP中因果关系的研究仍然分散在各个领域,没有统一的定义、基准数据集和对剩余挑战的清晰表述。在这项综述中,我们巩固了跨学术领域的研究,并将其置于更广阔的NLP景观中。我们介绍了估计因果效应的统计挑战,包括文本作为结果、治疗或解决混淆的手段的设置。此外,我们还探讨了因果推理的潜在用途,以改善NLP模型的性能、鲁棒性、公平性和可解释性。因此,我们为计算语言学界提供了一个统一的因果推理概述。

引言

许多科学领域对将融入文本为数据越来越感兴趣(例如,Roberts et al., 2014; Pryzant et al., 2017; Zhang et al., 2020a)。自然语言处理(NLP)研究人员可能不熟悉这些领域的一个关键特性,是强调因果推理,通常用于评估策略干预。例如,在推荐一种新的药物治疗之前,临床医生想知道这种药物对疾病进展的因果关系。因果推理涉及到一个通过干预创造的反事实世界的问题:如果我们给病人用药,他们的疾病进展会如何?正如我们下面所解释的,在观察数据中,因果关系并不等同于服用药物的患者与其观察到的疾病进展之间的相关性。现在有大量关于使用传统(非文本)数据集进行有效推理的技术的文献(例如,Morgan and Winship, 2015),但将这些技术应用于自然语言数据提出了新的和基本的挑战。

相反,在经典的NLP应用中,目标只是做出准确的预测:任何统计相关性通常都被认为是可接受的,不管潜在的因果关系是什么。然而,随着NLP系统越来越多地部署在具有挑战性和高风险的场景中,我们不能依赖通常的假设,即训练和测试数据是相同分布的,我们可能不会满足于无法解释的黑箱预测器。对于这两个问题,因果关系提供了一条有希望的前进道路: 数据生成过程中因果结构的领域知识可以提示归纳偏差,导致更鲁棒的预测器,而预测器本身的因果视图可以提供关于其内部工作的新见解。

这篇调查论文的核心主张是,探究因果关系和NLP之间的联系,有可能推进社会科学和NLP研究者的目标。我们将因果关系和自然语言处理的交集分为两个不同的领域: 从文本中估计因果效应,以及使用因果形式主义使自然语言处理方法更可靠。我们将用两个例子来说明这种区别。

NLP帮助因果关系。文本数据的因果推理涉及几个不同于典型因果推理设置的挑战:文本是高维的,需要复杂的建模来衡量语义上有意义的因素,如主题,并需要仔细思考,以形式化因果问题对应的干预。从主题模型到上下文嵌入,自然语言处理在建模语言方面的发展为从文本中提取所需信息以估计因果效应提供了有前景的方法。然而,我们需要新的假设,以确保使用NLP方法导致有效的因果推理。我们将在第3节讨论从文本中估计因果效应的现有研究,并强调这些挑战和机遇。

因果关系可以帮助NLP。为了解决NLP方法带来的稳健性和可解释性挑战,我们需要新的标准来学习超越利用相关性的模型。例如,我们希望预测器对于我们对文本所做的某些更改是不变的,例如在保持ground truth标签不变的情况下更改格式。利用因果关系来发展新的准则,为建立可靠的、可解释的自然语言处理方法提供服务,这是相当有希望的。与文本因果推理的研究领域相比,因果关系和NLP研究的这一领域较少被理解,尽管最近的经验成功很好地推动了这一领域的研究。在第4节中,我们涵盖了现有的研究,并回顾了使用因果关系来改进自然语言处理的挑战和机遇。

该论文调研了文本数据在因果推理中的作用(Egami et al., 2018; Keith et al., 2020)。在本文中,我们采取了一个更广泛的视角,将因果关系和自然语言处理的交集分为两个截然不同的研究线,即估计因果效应和因果驱动的自然语言处理方法。在阅读了本文之后,我们设想读者将对以下内容有一个广泛的理解:

  • 使用文本数据和NLP方法所特有的统计和因果挑战;
  • 在评估文本效果和应用因果关系来
  • 改进NLP方法方面的开放问题。
成为VIP会员查看完整内容
0
30

学习方法的跨学科框架——包括统计学、神经网络和模糊逻辑,本书提供了从数据中学习依赖的原则和方法的统一处理。它建立了一个通用的概念框架,其中可以应用统计学、神经网络和模糊逻辑的各种学习方法,这表明了一些基本原则是当今在统计学、工程学和计算机科学中提出的大多数新方法的基础。书中有一百多幅插图、案例分析和实例,使其成为一本非常有价值的书。

第一部分:概念和理论(第1-4章)。

在第一章的介绍和动机的基础上,我们在第二章给出了归纳学习问题的形式化描述,并介绍了从数据中学习的主要概念和问题。特别地,它描述了一个叫做归纳原理的重要概念。第3章描述了统计中采用的规则化(或惩罚)框架。第四章介绍了Vapnik的统计学习理论(SLT),为有限数据预测学习提供了理论基础。SLT,又名VC理论,对于理解在神经网络、统计和模式识别中开发的各种学习方法,以及开发新的方法,如支持向量机(在第9章中描述)和非归纳学习设置(在第10章中描述)非常重要。

第二部分构造性学习方法(第5-8章)。

这部分描述了回归、分类和密度近似问题的学习方法。目的是展示源于统计、神经网络和信号处理的方法的概念相似性,并讨论它们的相对优势和局限性。只要有可能,我们将构造学习方法与第一部分的概念框架联系起来。第5章描述了各种方法中常用的非线性优化策略。第6章描述了密度近似的方法,包括统计、神经网络和信号处理技术用于数据约简和降维。第7章提供了统计和神经网络回归方法的描述。第8章描述了分类方法。

第三部分: 基于VC的学习方法(第9章和第10章)。

在这里,我们描述了源自VC理论的构造性学习方法。这包括用于几个归纳学习问题的支持向量机(或基于边际的方法)(在第9章)和各种非归纳学习公式(在第10章描述)。

成为VIP会员查看完整内容
0
29

报告简介

中国人工智能基础层行业发展研究报告为艾瑞咨询集团自主研究发布的行业报告。本报告对中国人工智能基础层行业进行研究分析,详细梳理了人工智能基础层的概念界定、组成部分、供给需求、市场规模、行业发展趋势与建议等。旨在将向市场提供更多的参考依据与行业洞察,为人工智能供给和需求企业提供一定的支持和帮助,为有关投资机构提供参考。

目录 一、人工智能基础层概念界定 1.1 定义:基础层概念与应用层相对应,涵盖支撑人工智能开发所用的资源与平台 1.2 人工智能基础层的进阶之路 二、人工智能基础层需求篇 2.1 人工智能基础层初步成型是产业链成熟的主要标志 2.2 基础层解决人工智能生产力稀缺的问题 三、人工智能基础层供给篇 3.1 人工智能基础层群像 3.2 主要基础层组成部分分析 四、典型人工智能基础层企业案例 4.1 商汤科技 4.2 第四范式 4.3 爱数智慧 五、人工智能基础层行业发展趋势与建议 5.1 趋势一:一站式基础层资源平台 5.2 趋势二:基础层全栈自主可控展望

成为VIP会员查看完整内容
0
29

VLDB会议全称International Conference on Very Large Date Bases,是数据库领域的顶级学术会议和另外两大数据库会议SIGMOD、ICD共同构成了数据库领域的三大顶级会议。本教程讲述数据增强机器学习相关主题。

近年来,我们看到了新的数据增强(DA)技术的发展,用于创建基于机器学习的解决方案所需的额外训练数据。在本教程中,我们将全面概述由数据管理社区开发的用于数据准备和数据集成的技术。除了调查利用规则、转换和外部知识创建额外训练数据的特定任务DA操作符之外,我们还探索了高级DA技术,如插值、条件生成和DA策略学习。最后,我们描述了数据挖掘与其他机器学习范式(如主动学习、预训练和弱监督学习)之间的联系。我们希望这一讨论能够为高质量数据集创建的整体数据增强框架的未来研究方向提供启示。

https://vldb.org/2021/?program-schedule-tutorials

成为VIP会员查看完整内容
0
28

目标检测是计算机视觉领域中最基础且最重要的任务之一,是行为识别与人机交互等高层视觉任务的基础.随着深度学习技术的发展,目标检测模型的准确率和效率得到了大幅提升.与传统的目标检测算法相比,深度学习利用强大的分层特征提取和学习能力使得目标检测算法性能取得了突破性进展.与此同时,大规模数据集的出现及显卡计算能力的极大提高也促成了这一领域的蓬勃发展.本文对基于深度学习的目标检测现有研究成果进行了详细综述.首先回顾传统目标检测算法及其存在的问题,其次总结深度学习下区域提案和单阶段基准检测模型.之后从特征图、上下文模型、边框优化、区域提案、类别不平衡处理、训练策略、弱监督学习和无监督学习这八个角度分类总结当前主流的目标检测模型,最后对目标检测算法中待解决的问题和未来研究方向做出展望.

目标检测是计算机视觉领域中最基础且最具挑战性的任务之一,其包含物体分类和定位[1].与此同时,目标检测作为图像理解和计算机视觉的基石,它为实例分割、图像捕获、视频跟踪等任务提供了强有力的特征分类基础,因此探索高效实时的目标检测模型是近年来研究的热点.

传统的目标检测方法包括预处理、区域提案、特征提取、特征选择、特征分类和后处理六个阶段.大多数检测模型关注于物体特征的提取和区域分类算法的选择,在PASCAL VOC数据集[2]上的检测准确率以较小步幅增长.Deformable Part‑based Model(DPM)[3] 算法三次在PASCAL VOC目标检测竞赛上获得冠军,是传统目标检测方法的巅峰之作.然而在2008年至2012年期间,目标检测模型在PASCAL VOC数据集上的检测准确率逐渐达到瓶颈.传统方法的弊端也展现出来,主要包括:(1)算法在区域提案生成阶段产生大量冗余的候选框且正负样本失衡;(2)特征提取器如HOG[4]、SIFT[5]等未能充分捕捉图像的高级语义特征和上下文内容;(3)传统检测算法分阶段进行,整体缺乏一种全局优化策略.

最近,深度学习经历了一段前所未有的发展热浪,AlexNet[6]在图像分类任务中的优异表现让人们重新燃起研究卷积神经网络的兴趣.相比于传统算法,深度学习利用自动学习数据中的特征表达和学习能力加速了目标检测的发展,在检测速度和准确率方面均有显著提升.正是由于目标检测技术的快速发展,如今其已广泛应用于智能视频监控、机器人视觉、基于内容的图像检索、自动驾驶[7,8]等领域.

本文首先介绍目标检测数据集及其评估指标,之后总结基于深度学习的目标检测基准模型,再从特征图、上下文模型、边框优化、区域提案、类别不平衡处理、训练策略、弱监督学习和无监督学习这八个方面归纳总结当前主流的目标检测模型,最后讨论目标检测技术的未来发展趋势与总结全文.

成为VIP会员查看完整内容
0
28

看看我们最具影响力的一些科学期刊,比如《新英格兰医学杂志》和《美国医学协会杂志》。在这些期刊或其他高影响因子期刊上发表文章,可能会导致临床实践和政策的重大变化。这些高影响力的出版物有什么共同点? 除了有一个伟大的想法和一个执行良好的研究,他们也有一个清晰和引人注目的叙述,使研究对他们的观众容易理解。有无数重要的科学发现从未意识到它们的潜在影响,因为它们被埋没在写得很差的手稿中。

写一个清晰和引人注目的手稿的重要性不仅仅适用于顶级出版物。即使你是一个经验丰富的作家和研究人员,你的大部分工作也不会出现在这些杂志上。但是你仍然应该以同样的清晰和专注来写作,因为这将增加你的作品的影响力,无论它在哪里出版。你的研究的影响受限于你有效地交流研究结果和工作影响的能力。

也许严肃对待写作最重要的原因不仅仅是手稿。成为一个更有效的作家将教会你如何将复杂的想法表达成有逻辑性和清晰的叙述。这种技能对于学术研究人员经常遇到的其他职责是必要的: 公开演讲、论文写作或机构领导职位。我们指出,写作技能对整体职业发展的可转移性,以帮助你证明为成为一名有效的沟通者所需要的时间是合理的。

本章的其余部分分为两部分。首先,我们概述了科学手稿中应该包含的关键内容的结构。它借鉴了Gil Welch的开创性工作——“为提交医学期刊准备手稿:书面记录”[1]——随着时间的推移,我们已经采用并定制了它。其次,我们提供一些实用的建议,如何提高你的写作过程。这些教训直接来自我们作为作者的学习曲线,我们作为同行评议者的观察,以及与学员一起工作的经验。

论文结构

论文一般包含一下结构:

  • 摘要
  • 介绍
  • 方法
  • 结果
  • 讨论
  • 表和数据

在每个章节中应该包含的细节上,各刊物有所不同。在每本杂志的网站上,你都可以找到“作者说明”,详细说明任何偏离这种格式的地方。下面我们将分别讨论每一节。

摘要 Abstract

什么是摘要? 论文摘要部分是研究文章的摘要(通常不超过300字)。它通常遵循与文章相同的格式(即介绍、方法、结果和结论),但采用缩写形式。

虽然你的主要手稿可能包括多个发现,摘要只有空间集中在一个或两个关键发现。因此,你应该花时间思考哪个是最重要的。花点时间确保你的介绍、方法、结果和结论在摘要中是一致的。例如,你的论文可能会检查多种结果(如并发症、死亡率、成本),但你只打算抽象地关注死亡率和成本。你的介绍、方法、结果和结论都应该针对这两个结果。如果你在摘要中陈述研究了三种结果,但在摘要的结果中只报告了两种,读者会感到非常困惑。

摘要三角色

摘要从你开始写作、提交到发表,有三个不同的角色 (图9.1)。

  1. 写作时: 改进你的研究问题。

  2. 一旦提交:说服编辑这篇论文同行评审的价值。

3.发表后:阅读文章剩余部分指引。

引言 Introduction

引言的目的是为问题提供背景,创造一个知识缺口,并预排你的研究计划。我们觉得用三个不同的段落更有效地做到这一点(图9.2)。

第1段: 给出问题的背景

引言的第一段应该让读者关注主题。它需要让读者快速了解为什么这个主题是重要的。例如,如果你的论文是在评估一项联邦支付政策,你就需要帮助读者快速理解为什么要制定这项政策,以及现在什么是重要的。

第二段: 创造一个知识缺口

第二段需要通过在已知和未知之间创造一个知识缺口沟来引起读者的好奇心。你不应该在这里总结关于这个主题的所有文献,但要强调与你的研究问题有关的紧张或不确定的领域。你在这段中引入的知识缺口应该与你的研究将解决的结果直接相关。

第三段: 预览你的工作计划

引言的第三段应该预览你的工作计划,也就是说,简要说明你将如何弥补在前一段讨论的知识差距。保存方法部分的详细信息,但只需说明将要使用的数据库和结果。同样,结果应该与你刚刚创造的知识差距直接一致。如果你写了前两段正确的动机为什么主题是重要的,突出了有知识差距的领域,那么这段应该是容易写的。

方法

方法部分应该解释研究是如何进行的。对于不同的研究设计(如随机对照试验、调查数据、定性访谈等),在这里需要报道什么有不同的约定。我们建议查看您的目标期刊和/或您的导师以前的文章,以了解这一节是如何组织的。对于许多论文,方法部分将包括以下小节:

数据源——您使用了什么数据?(例如,医疗保险索赔)

患者群体,你研究的是谁?(例如,所有接受结直肠癌手术的患者)

结果——你衡量的是什么?(例如,30天并发症,再入院)

统计分析——你用了什么方法?(如多变量logistic回归)

结果

结果部分详细说明了分析的结果。这应该在多段报告,以描述病人的特征开始。如果适用,下一段应描述被比较群体的医院特征。

讨论

讨论部分是您将前面三个部分(介绍、方法和结果)联系在一起并将它们放入主题的更广泛的上下文中的机会。在这一节中,我们通常使用5段方法,包括4个组件(图9.3)。

成为VIP会员查看完整内容
0
29

本书在建构型理论(CTT)的形式结构中发展了信息概念的哲学和逻辑解释,以一种与信息哲学的多种当代观点并行的方式。在此概念框架的基础上,提出了逻辑推导的解析性问题并提出了解决方案。

本文首先介绍了CTT的正式结构,特别关注了类型理论中被当前研究者忽视的一些主题。这个处理是特别为有哲学背景的逻辑学家制定的,但不忽略所有的技术和形式性质的完整制定。分析性的问题通过一个历史和理论导向的形式化被引入,从康德和博尔扎诺开始,随着它的发展,直到信息概念的引入,扩展了在当代Hintikka辩论中引入的一些研究线。信息的语义方法被重新考虑在一个建设性的方法认识论,导致知识系统的理论分析。这允许基于CTT的形式化的某些典型操作和Kripke模型的形式化属性的形式结构的表示,其中信息和知识的概念被定义为认识论上的不同。这些定义涉及到建构性认识论的扩展,为由验证的概念和相关的意义理论所决定的极其开放的问题提供了新的材料。

信息与知识为知识过程的建构性解释提供了一个有趣的新视角,表明了这种方法对认知问题的逻辑建模的可靠性,并从一个更重要的当代哲学视角提出了一个统一的框架。

https://www.springer.com/gp/book/9781402061691

成为VIP会员查看完整内容
0
26

这本最新的教科书是向数学、计算机科学、工程、统计学、经济学或商业研究的新学生介绍概率论和信息理论的一个极好的方式。它只需要基本的微积分知识,首先建立一个清晰和系统的基础: 通过对布尔代数度量的简化讨论,特别关注概率的概念。这些理论思想随后被应用到实际领域,如统计推断、随机游走、统计力学和通信建模。主题涵盖了离散和连续随机变量,熵和互信息,最大熵方法,中心极限定理和编码和信息传输,并为这个新版本添加了关于马尔可夫链和它们的熵的材料。大量的例子和练习包括说明如何使用理论在广泛的应用,与详细的解决方案,大多数练习可在网上找到。

https://www.cambridge.org/core/books/probability-and-information/26E513C2D4C7B8B0709FBAF95A233959#fndtn-information

成为VIP会员查看完整内容
0
28

本文档包含了物理模拟环境中与深度学习相关的所有内容的实用和全面的介绍。尽可能多地,所有主题都以Jupyter形式提供了实际操作的代码示例,以便快速入门。除了标准的监督学习数据,我们将着眼于物理损失约束,更紧密耦合的学习算法与可微分模拟,以及强化学习和不确定性建模。我们生活在一个激动人心的时代: 这些方法有巨大的潜力从根本上改变计算机模拟所能达到的效果。

在本文中,我们将介绍将物理模型引入深度学习的不同方法,即基于物理的深度学习(PBDL)方法。为了增加集成的紧密性,将引入这些算法变体,并将讨论不同方法的优缺点。重要的是要知道每种不同的技术在哪些场景中特别有用。

成为VIP会员查看完整内容
0
27

摘要

深度学习(Deep Learning, DL)是当前计算机视觉领域应用最广泛的工具。它精确解决复杂问题的能力被用于视觉研究,以学习各种任务的深度神经模型,包括安全关键应用。然而,现在我们知道,DL很容易受到对抗性攻击,这些攻击可以通过在图像和视频中引入视觉上难以察觉的扰动来操纵它的预测。自2013年~[1]发现这一现象以来,引起了机器智能多个子领域研究人员的极大关注。在[2]中,我们回顾了计算机视觉社区在深度学习的对抗性攻击(及其防御)方面所做的贡献,直到2018年到来。这些贡献中有许多启发了这一领域的新方向,自见证了第一代方法以来,这一领域已显著成熟。因此,作为[2]的后续成果,本文献综述主要关注自2018年以来该领域的进展。为了确保文章的真实性,我们主要考虑计算机视觉和机器学习研究的权威文献。除了全面的文献综述外,本文还为非专家提供了该领域技术术语的简明定义。最后,本文在文献综述和[2]的基础上,讨论了该方向面临的挑战和未来的展望。

https://www.zhuanzhi.ai/paper/884c8b91ceec8cdcd9d3d0cc7bd2cf85

引言

深度学习(DL)[3]是一种数据驱动技术,可以在大数据集上精确建模复杂的数学函数。它最近为科学家在机器智能应用方面提供了许多突破。从DNA[4]的突变分析到脑回路[5]的重建和细胞数据[6]的探索; 目前,深度学习方法正在推进我们对许多前沿科学问题的知识。因此,机器智能的多个当代子领域迅速采用这种技术作为“工具”来解决长期存在的问题也就不足为奇了。随着语音识别[7]和自然语言处理[8],计算机视觉是目前严重依赖深度学习的子领域之一。

计算机视觉中深度学习的兴起是由Krizhevsky等人在2012年的开创性工作触发的,他们报告了使用卷积神经网络(CNN)[11]在硬图像识别任务[10]上的记录性能改善。自[9]以来,计算机视觉社区对深度学习研究做出了重大贡献,这导致了越来越强大的神经网络[12]、[13]、[14],可以在其架构中处理大量层——建立了“深度”学习的本质。计算机视觉领域的进步也使深度学习能够解决人工智能(AI)的复杂问题。例如,现代人工智能的一个最高成就,即tabula-rasa learning[15],很大程度上要归功于源于计算机视觉领域的残差学习[12]。

由于深度学习[15]的(明显)超人类能力,基于计算机视觉的人工智能被认为已经达到部署在安全和安保关键系统所需的成熟度。汽车自动驾驶[18],ATM的面部识别[19]和移动设备的面部识别技术[20]都是一些早期的真实世界的例子,描绘了现代社会对计算机视觉解决方案的发展信念。随着高度活跃的基于深度学习的视觉研究,自动驾驶汽车[21],人脸识别[22],[23],机器人[24]和监控系统[25]等,我们可以预见,深度学习在关键安全计算机视觉应用中的无处不在。然而,由于深度学习[1]的对抗漏洞的意外发现,人们对这种前景产生了严重的担忧。

Szegedy等人[1]发现,深度神经网络预测可以在极低量级输入扰动下被操纵。对于图像而言,这些扰动可以限制在人类视觉系统的不可感知范围内,但它们可以完全改变深度视觉模型的输出预测(见图1)。最初,这些操纵信号是在图像分类任务[1]中发现的。然而,它们的存在现在已被公认为各种主流计算机视觉问题,如语义分割[27],[28];目标检测[29],[30];目标跟踪[31],[32]。文献强调了对抗式干扰的许多特征,这使它们对作为实用技术的深度学习构成了真正的威胁。例如,可以反复观察到,受攻击的模型通常对操纵图像[2],[17]的错误预测具有很高的置信度。同样的微扰常常可以欺骗多个模型[33],[34]。文献也见证了预先计算的扰动,称为普遍扰动,可以添加到“任何”图像,以高概率[35],[36]欺骗给定模型。这些事实对关键安全应用有着深远的影响,特别是当人们普遍认为深度学习解决方案具有超越人类能力[15],[37]的预测能力时。

由于其重要性,对抗性攻击(及其防御)的话题在过去五年中受到了研究团体的相当大的关注。在[2]中,我们调研了这个方向的贡献,直到2018年到来。这些工作中的大多数可以被视为第一代技术,探索核心算法和技术,以欺骗深度学习或防御它的对抗性攻击。其中一些算法激发了后续方法的灵感,进一步改进和适应核心攻击和防御技术。这些第二代方法也被发现更多地关注其他视觉任务,而不仅仅是分类问题,这是这一方向早期贡献的主要兴趣主题。

自2018年以来,该研究方向的论文发表数量不断增加(见图2-a,b)。当然,这些出版物也包括文献综述的实例,如[38],[39],[40],[41],[42]。我们在这里提供的文献综述在许多方面不同于现有的综述。这篇文章的独特之处在于它是2的继承。随后的调研,如[41],通常紧跟[2];或者针对特定问题在[2]上建立[42]。近年来,这一方向在计算机视觉领域已经显著成熟。通过构建[2]和后续文献的见解,我们能够为这一快速发展的研究方向提供更精确的技术术语定义。这也导致了本文所回顾的文献的更连贯的结构,为此我们提供了基于研究团体当前对术语的理解的简明讨论。此外,我们关注出现在著名的计算机视觉和机器学习研究出版刊物的论文。专注于领先的贡献使我们能够为计算机视觉和机器学习研究人员提供一个更清晰的方向展望。更不用说,本文回顾了这个快速发展领域的最新贡献,以提供迄今为止在这个方向上最全面的回顾。

本文的其余部分组织如下。在第二节中,我们提供了本文其余部分中使用的技术术语的定义。在第三节中,我们阐述了对抗性攻击这一更广泛的问题。第一代攻击将在第四节中讨论,接下来是第五节中关注分类问题的最近的攻击。我们在第六节中关注分类问题之外的最近的攻击,在第七节中关注针对物理世界的量身定制的攻击。更多侧重于存在对抗性例子的理论方面的贡献将在第九节中讨论。最近的防御方法是第十部分的主题。文章对第十一部分的文献趋势进行了反思,并对这一研究方向的前景和未来方向进行了讨论。最后,我们在第十二节结束。

成为VIP会员查看完整内容
0
27

近年来,为顺应新一轮科技革命和产业变革发展趋势,国家提出加快新型基础设施建设并做出一系列决策部署,同时首次将“新基建”写入政府工作报告。新型基础设施更侧重于以信息网络为基础,综合集成新一代信息技术,围绕数据的感知、传输、存储、计算、处理和安全等环节,所形成的基础设施体系对于经济社会数字化发展至关重要,亦有利于加快推动形成国内大循环为主体,国内国际双循环互相促进的新发展格局。因此,“新基建”甫一出场,便引起了社会各界的广泛关注。

中国信息通信研究院作为工业和信息化部直属科研事业单位,在新基建所涉及的5G、人工智能、工业互联网、物联网、数据中心、信息网络等诸多领域拥有长期的研究和丰厚的积淀,在其重大战略、规划、政策、标准和测试认证等方面,为我国信息通信产业的发展提供了有力支撑。为响应国家加快新型基础设施建设的号召,中国信通院聚焦新基建发展中的核心关键问题,依托网络及信息安全、基础设施及产业数据两大优势,聚焦5G、工业互联网、数据中心、新型技术四大核心领域,深耕交通、医疗、金融、能源等融合领域,强化规划咨询、标准研制、试验平台、认证服务、检测评测、应用示范等服务,已经形成了新基建全业务链综合服务能力,迭代更新《新基建产品手册(第四版)》(以下简称《产品手册》)。

成为VIP会员查看完整内容
0
27
登录查看的更多。 返回顶部
本周荟萃主题
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。
命名实体识别
命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
新闻
新闻,是指报纸、电台、电视台、互联网等媒体经常使用的记录与传播信息的 [2] 一种文体,是反映时代的一种文体。新闻概念有广义与狭义之分。广义上:除了发表于报刊、广播、互联网、电视上的评论与专文外的常用文本都属于新闻,包括消息、通讯、特写、速写(有的将速写纳入特写之列)等等; [3] 狭义上:消息是用概括的叙述方式,以较简明扼要的文字,迅速及时地报道附近新近发生的、有价值的事实,使一定人群了解。新闻一般包括标题、导语、主体、背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法以叙述为主兼或有议论、描写、评论等。新闻是包含海量资讯的新闻服务平台,真实反映每时每刻的重要事件。您可以搜索新闻事件、热点话题、人物动态、产品资讯等,快速了解它们的最新进展。
图灵奖
图灵奖(A.M. Turing Award,又译“杜林奖”),由 美国计算机协会(ACM)于1966年设立,又叫“A.M. 图灵奖”,专门奖励那些对计算机事业作出重要贡献的个人。其名称取自计算机科学的先驱、英国科学家 阿兰·麦席森·图灵
Top