随着数据驱动的机器学习研究的发展,各种各样的预测问题得到了解决。探索如何利用机器学习,特别是深度学习方法来分析医疗数据已经变得至关重要。现有方法的一个主要局限性是专注于网格数据; 然而,生理记录的结构通常是不规则的和无序的,这使得很难把它们作为一个矩阵来概念化。因此,图神经网络通过利用生物系统中的隐式信息,利用边缘连接的交互节点吸引了大量的关注,这些边的权重可以是时间关联或解剖连接。在本综述中,我们全面回顾了不同类型的图架构及其在医疗保健中的应用。我们以系统的方式概述了这些方法,并按照它们的应用领域组织起来,包括功能连接、解剖结构和基于电的分析。我们还概述了现有技术的局限性,并讨论了未来研究的潜在方向。

https://www.zhuanzhi.ai/paper/93391ccf2368809646650183224eee1c

引言

医学诊断是指一个人可以确定哪种疾病或状况可以解释病人的症状的过程。疾病诊断所需的信息来自患者的病史和各种医学测试,这些测试通过诊断成像数据获取患者的功能和解剖结构,如功能磁共振成像(fMRI)、磁共振成像(MRI)、计算机断层扫描(CT)、超声(美国)和X射线; 其他诊断工具包括脑电图(EEG)。然而,考虑到通常耗时的诊断过程容易产生主观解释和观察者间的变异,临床专家已经开始从计算机辅助干预中获益。自动化在医疗保健服务和医生有限的情况下也有好处。自动化正在努力提高医疗保健系统的质量和降低成本[1]。通过将特征工程任务合并到学习任务[2]中,深度学习提供了一个解决这些需求的有效途径。有几篇综述论文分析了传统机器学习和深度学习方法在医学异常和解剖结构检测和分割、运动障碍和序列数据分析、计算机辅助检测和计算机辅助诊断方面的好处。

图网络属于一个新兴领域,它也在许多技术领域产生了巨大的影响。来自化学、生物学、遗传学和医疗保健等学科的许多信息并不适合基于矢量的表示,而是需要复杂的数据结构。图本质上捕获实体之间的关系,因此在这些应用中可能非常有用,可以对变量之间的关系信息进行编码。例如,在医疗保健领域,可以通过在医生的决策过程[7]中将疾病或症状与主题关联起来,或为乳腺癌分析[8]建立RNA序列模型来构建知识图谱。因此,特别将图神经网络(GNN)推广为非结构(无序)和结构(有序)场景。然而,尽管基于图的表示在医学领域的使用越来越普遍,但与传统的深度学习方法相比,此类方法仍然稀缺,而且它们解决许多具有挑战性的医学问题的潜力尚未完全实现。

关于GNNs的深度学习领域迅速增长,其受欢迎程度也反映在最近对图形表示及其应用的大量综述中。现有综述全面概述了非欧氏数据深度学习、图深度学习框架和现有技术的分类[9],[14];或者介绍包括生物学和信号处理领域[15]-[18]的一般应用。尽管一些论文使用深度学习技术概述了医学图像分析,并引入了GNN的概念来评估神经疾病[19],据我们所知,目前还没有系统介绍和讨论GNN在非结构化医学数据中的当前应用。

在本文中,我们致力于提供一个多图神经网络(GNN)模型在医疗诊断和分析方面的全面回顾。我们试图解释为什么GNN在这个领域值得研究的根本原因,并强调了新兴的医疗分析挑战,GNN可以很好地解决。图神经网络在医学信号处理和分析中的应用尚处于起步阶段。在本文中,我们提出了一项综述,将图神经网络应用于医疗诊断任务,并提出了该领域的最新方法和趋势的现状。

  1. 我们确定了传统深度学习在应用于医学信号分析时面临的一些挑战,并强调了了图神经网络在克服这些挑战方面的贡献。

  2. 我们介绍并讨论了为医疗诊断提出的各种图框架及其具体应用。我们涵盖使用图网络与深度学习技术相结合的生物医学成像应用的工作。

  3. 我们总结了当前基于图的深度学习所面临的挑战,并基于目前观察到的趋势和局限性提出了医学健康领域未来的发展方向。

成为VIP会员查看完整内容
0
33

相关内容

图像配准是医学影像处理与智能分析领域中的重要环节和关键技术.传统的图像配准算法由于复杂性较高、计算代价较大等问题,无法实现配准的实时性要求.随着深度学习方法的发展,基于学习的图像配准方法也取得显著效果.文中系统总结基于深度学习的医学图像配准方法.具体地,将方法归为3类:监督学习,无监督学习和对偶监督/弱监督学习.在此基础上,分析和讨论各自优缺点.进一步,着重讨论近年来提出的正则化方法,特别是基于微分同胚表示的正则和基于多尺度的正则.最后,根据当前医学图像配准方法的发展趋势,展望基于深度学习的医学图像配准方法.

http://manu46.magtech.com.cn/Jweb_prai/CN/abstract/abstract12159.shtml

成为VIP会员查看完整内容
0
10

随着表示学习在提供强大的预测和数据洞察方面取得的显著成功,我们见证了表示学习技术在建模、分析和网络学习方面的快速扩展。生物医学网络是相互作用系统的通用描述,从蛋白质相互作用到疾病网络,一直到医疗保健系统和科学知识。

在本综述论文中,我们提出了一项观察,即长期存在的网络生物学和医学原理(在机器学习研究中经常未被提及)可以为表示学习提供概念基础,解释其目前的成功和局限,并为未来的发展提供信息。我们整合了一系列算法方法,其核心是利用拓扑特征将网络嵌入紧凑的向量空间。我们还提供了可能从算法创新中获益最多的生物医学领域的分类。

表示学习技术在识别复杂特征背后的因果变异、解开单细胞行为及其对健康的影响、用安全有效的药物诊断和治疗疾病等方面正变得至关重要。

https://arxiv.org/abs/2104.04883

引言

网络,或称图表,在生物学和医学中非常普遍,从分子相互作用图到一个人疾病之间的依赖关系,一直到包括社会和健康相互作用的人群。根据网络中编码的信息类型,两个实体之间“交互”的含义可能不同。例如,蛋白质-蛋白质相互作用(PPI)网络中的边缘可以表明实验中测量到的物理相互作用,如酵母双杂交筛选和质谱分析(例如,[148,197]);调节网络中的边缘可以指示通过动态单细胞表达测量的基因之间的因果相互作用(例如,[174]);电子健康记录(EHR)网络中的边缘可以表明在医疗本体中发现的层次关系(例如,[182,190])。从分子到医疗保健系统,网络已经成为代表、学习和推理生物医学系统的主要范式。

生物医学网络上表示学习的案例。捕捉生物医学系统中的交互作用会带来令人困惑的复杂程度,只有通过整体和集成系统的观点才能完全理解[17,28,164]。为此,网络生物学和医学在过去二十年中已经确定了一系列管理生物医学网络的组织原则(例如,[16,86,106,262])。这些原则将网络结构与分子表型、生物学作用、疾病和健康联系起来。我们认为,长期存在的原则——虽然在机器学习研究中经常未被提及——提供了概念基础,可以解释表示学习在生物医学网络建模中的成功(和局限性),并为该领域的未来发展提供信息。特别是,当对网络中边缘的解释取决于上下文时,相互作用的实体往往比非相互作用的实体更相似。例如,疾病本体的结构是这样的:通过边缘连接的疾病术语往往比不连接的疾病术语更相似。在PPI网络中,相互作用的蛋白质突变常常导致类似的疾病。相反,与同一疾病有关的蛋白质之间相互作用的倾向增加。在细胞网络中,与特定表型相关的成分往往聚集在同一网络邻居。

表示学习实现网络生物学和医学的关键原理。我们假设表示学习可以实现网络生物学和医学的关键原则。这个假设的一个推论是表示学习可以很好地适用于生物医学网络的分析、学习和推理。表示学习的核心是向量空间嵌入的概念。其思想是学习如何将网络中的节点(或更大的图结构)表示为低维空间中的点,该空间的几何结构经过优化,以反映节点之间的交互结构。表示学习通过指定(深度的、非线性的)转换函数,将节点映射到紧凑的向量空间(称为嵌入)中的点,从而形式化了这一思想。这些函数被优化以嵌入输入图,以便在学习空间中执行代数运算反映图的拓扑结构。节点被映射到嵌入点,这样具有相似网络邻域的节点被紧密地嵌入到嵌入空间中。值得注意的是,嵌入空间对于理解生物医学网络(例如,PPI网络)的意义在于空间中点的邻近性(例如,蛋白质嵌入之间的距离)自然地反映了这些点所代表的实体的相似性(例如,蛋白质表型的相似性),提示嵌入可被认为是网络生物医学关键原理的可微表现。

算法范式(图1)。网络科学和图论技术促进了生物医学的发现,从揭示疾病之间的关系[91,135,159,200]到药物再利用[41,42,96]。进一步的算法创新,如随机游走[40,229,242]、核函数[83]和网络传播[214],也在从网络中捕获结构和邻域信息以生成下游预测的嵌入信息方面发挥了关键作用。特征工程是生物医学网络上机器学习的另一个常用范例,包括但不限于硬编码网络特征(例如,高阶结构、网络主题、度计数和共同邻居统计),并将工程特征向量输入预测模型。这种策略虽然强大,但并不能充分利用网络信息,也不能推广到新的网络类型和数据集[255]。

近年来,图表示学习方法已成为生物医学网络深度学习的主要范式。然而,对图的深度学习具有挑战性,因为图包含复杂的拓扑结构,没有固定的节点排序和参考点,它们由许多不同类型的实体(节点)和各种类型的相互关系(边)组成。传统的深度学习方法无法考虑生物医学网络的本质——多样性的结构特性和丰富的交互作用。这是因为经典的深度模型主要是为固定大小的网格(例如,图像和表格数据集)设计的,或者是为文本和序列优化的。因此,它们在计算机视觉、自然语言处理、语音和机器人技术方面取得了非凡的成就。就像对图像和序列的深度学习彻底改变了图像分析和自然语言处理领域一样,图表示学习也将改变生物学和医学中复杂系统的研究。

我们的重点是表示学习,特别是流形学习[27]、图变压器网络[250]、微分几何深度学习[25]、拓扑数据分析(TDA)[34,224]和图神经网络(GNN)[125]。图2描述了这次评审的结构和组织。我们首先提供流行的图学习范式的技术说明,并描述其在加速生物医学研究的关键影响。在图表示学习的每个当前应用领域(图4),我们展示了图表示学习的潜在方向,可以通过四个独特的前瞻性研究,每个研究至少解决以下图机器学习的关键预测任务之一:节点、边缘、子图和图级预测、连续嵌入和生成。

成为VIP会员查看完整内容
0
31

利用深度学习方法对医学影像数据进行处理分析,极大地促进了精准医疗和个性化医疗的快速发展。深度学习在医学图像领域的应用较为广泛,具有多病种、多模态、多组学和多功能的特点。为便于对深度学习在医学图像处理领域的应用进行更深入有效的探索,本文系统综述了相关研究进展。首先,从深度学习在影像基因组学中的应用出发,理清了深度学习在医学影像领域应用的一般思路和现状,将医学影像领域分为智能诊断、疗效评估和预测预后等3个模块,并对模块内的各病种进行总结,展示了深度学习各算法的优缺点及面临的问题和挑战。其次,对深度学习中出现的新思路、新方法以及对传统方法的改进进行了阐述。最后,总结了该领域现阶段面临的问题,并对未来的研究方向做出了展望。基于深度学习的医学图像智能处理与分析虽然取得了一些有价值的研究成果,但还需要根据临床的实际需求,将深度学习与经典的机器学习算法及无创并且高效的多组学数据结合起来,对深度学习的理论和方法进行深入研究。

http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210206&flag=1

成为VIP会员查看完整内容
0
22

新型冠状病毒肺炎(novel coronavirus pneumonia,COVID-19)具有高传染性和高致病性,对人们的公共安全造成了严重威胁,从而备受全球关注。因此,对COVID-19进行快速且准确地检测和诊断变得至关重要。目前传统的检测诊断方法主要包括核酸检测和医学影像的人工诊断。但是,核酸检测存在耗时较长、需要专用的测试盒等缺点,而医学影像的人工诊断则存在过于依赖专业知识、分析耗时较长和难以发现隐匿病变等缺点。同时,随着X射线(X-ray)和计算机断层扫描(CT)数据集的相继提出,科研人员在此基础上构建了基于深度学习的COVID-19检测诊断模型,这些模型有效地辅助了医学专家对COVID-19的高效诊断治疗。对现有基于深度学习的COVID-19检测诊断方法进行了系统性的深入调研和分析。首先,全面调研了目前主流的用于COVID-19检测诊断的影像数据集以及相关评价指标;接着,对基于深度学习的新冠肺炎检测诊断方法从模型任务(单任务:分类任务或者分割任务、多任务:分割任务和分类任务)和影像数据类型(CT、X-ray)两个不同角度进行了详细介绍,在此基础上对模型性能进行了比较分析,并从六个不同维度进行总结;随后,介绍了用于抗击COVID-19的现有应用系统。最后,对该领域的未来发展趋势进行了探讨分析。

成为VIP会员查看完整内容
0
19

在优化和决策过程中,不确定性量化(UQ)在减少不确定性方面起着至关重要的作用。它可以应用于解决科学和工程中的各种实际应用。贝叶斯逼近和集成学习技术是目前文献中使用最广泛的两种UQ方法。在这方面,研究者们提出了不同的UQ方法,并在计算机视觉(如自动驾驶汽车和目标检测)、图像处理(如图像恢复)、医学图像分析(如医学图像分类和分割)、自然语言处理(如文本分类、社交媒体文本和再犯风险评分)、生物信息学得到广泛应用。本研究综述了UQ方法在深度学习中的最新进展。此外,我们还研究了这些方法在强化学习(RL)中的应用。然后,我们概述了UQ方法的几个重要应用。最后,我们简要地强调了UQ方法面临的基本研究挑战,并讨论了该领域的未来研究方向。

https://arxiv.org/abs/2011.06225

摘要:

在日常情景中,我们处理很多领域的不确定性,从投资机会和医疗诊断到体育比赛和天气预报,目的是根据收集的观察和不确定的领域知识进行决策。现在,我们可以依靠使用机器和深度学习技术开发的模型来量化不确定性来完成统计推断[1]。在人工智能(AI)系统使用[2]之前,对其效能进行评估是非常重要的。这种模型的预测具有不确定性,除了存在不确定性的归纳假设外,还容易出现噪声和错误的模型推断。因此,在任何基于人工智能的系统中,以一种值得信赖的方式表示不确定性是非常可取的。通过有效地处理不确定性,这样的自动化系统应该能够准确地执行。不确定性因素在人工智能中扮演着重要的角色

不确定性的来源是当测试和训练数据不匹配,由于类重叠或由于数据[6]中存在噪声而产生的不确定性。估计知识的不确定性要比数据的不确定性困难得多,数据的不确定性自然是通过极大似然训练来度量的。预测中的不确定性来源对于解决不确定性估计问题[7]至关重要。不确定性有两个主要来源,在概念上称为aleatoric和epistemic不确定性8

数据中的不可约不确定性导致预测中的不确定性是一种可选不确定性(也称为数据不确定性)。这种类型的不确定性不是模型的属性,而是数据分布的固有属性;因此它是不可约的。不确定性的另一种类型是认知不确定性(也称为知识不确定性),它是由于知识和数据的不足而产生的。人们可以定义模型来回答基于模型预测中的不同人类问题。在数据丰富的情况下,有大量的数据收集,但它可能是信息差的[10]。在这种情况下,可以使用基于人工智能的方法定义有效的模型,表征数据特征。通常这些数据是不完整的,有噪声的,不一致的和多模态的[1]。

不确定性量化(UQ)是当今许多关键决策的基础。没有UQ的预测通常是不可靠和不准确的。为了理解深度学习(DL)[11],[12]过程生命周期,我们需要理解UQ在DL中的作用。DL模型首先收集可用于决策过程的最全面和潜在相关的数据集。DL场景的设计是为了满足某些性能目标,以便在使用标记数据训练模型之后选择最合适的DL架构。迭代训练过程优化不同的学习参数,这些参数将被“调整”,直到网络提供令人满意的性能水平。

在涉及的步骤中,有几个不确定因素需要加以量化。很明显的不确定性这些步骤如下:(i)选择和训练数据的集合,(ii)训练数据的完整性和准确性,(3)理解DL(或传统机器学习)模型与性能范围及其局限性,和(iv)不确定性对应基于操作数据的性能模型[13]。数据驱动的方法,如与UQ相关的DL提出了至少四组重叠的挑战:(1)缺乏理论,(2)缺乏临时模型,(3)对不完美数据的敏感性,以及(4)计算费用。为了缓解这些挑战,有时会采用模型变异性研究和敏感性分析等特殊解决方案。不确定性估计和量化在数字学习和传统机器学习中得到了广泛的研究。在下面,我们提供一些最近的研究的简要总结,这些研究检验了处理不确定性的各种方法的有效性。

图2给出了三种不同不确定度模型[9](MC dropout, Boostrap模型和GMM模型)的示意图比较。此外,不确定性感知模型(BNN)与OoD分类器的两种图形表示如图3所示。

在大数据时代,ML和DL,智能使用不同的原始数据有巨大的潜力,造福于广泛的领域。然而,UQ在不同的ML和DL方法可以显著提高其结果的可靠性。Ning等人总结并分类了不确定性下数据驱动优化范式的主要贡献。可以看出,本文只回顾了数据驱动的优化。在另一项研究中,Kabir等人[16]回顾了基于神经网络的UQ。作者关注概率预测和预测区间(pi),因为它们是UQ文献中最广泛使用的技术之一。

我们注意到,从2010年到2020年(6月底),在各个领域(如计算机视觉、图像处理、医学图像分析、信号处理、自然语言处理等)发表了超过2500篇关于AI中UQ的论文。与以往UQ领域的文献综述不同,本研究回顾了最近发表的使用不同方法定量AI (ML和DL)不确定性的文章。另外,我们很想知道UQ如何影响真实案例,解决AI中的不确定性有助于获得可靠的结果。与此同时,在现有的研究方法中寻找重要的谈话是一种很好的方式,为未来的研究指明方向。在这方面,本文将为ML和DL中UQ的未来研究人员提供更多的建议。我们调查了UQ领域应用于ML和DL方法的最新研究。因此,我们总结了ML和DL中UQ的一些现有研究。值得一提的是,本研究的主要目的并不是比较提出的不同UQ方法的性能,因为这些方法是针对不同的数据和特定的任务引入的。由于这个原因,我们认为比较所有方法的性能超出了本研究的范围。因此,本研究主要关注DL、ML和强化学习(RL)等重要领域。因此,本研究的主要贡献如下:

  • 据我们所知,这是第一篇关于ML和DL方法中使用的UQ方法的全面综述论文,值得该领域的研究人员使用。
  • 对新提出的UQ方法进行了全面调研。
  • 此外,UQ方法的重要应用的主要类别也进行了介绍
  • 指出了UQ方法的主要研究空白。
  • 最后,讨论了很少确定的未来发展方向。
成为VIP会员查看完整内容
0
53

近年来, 随着海量数据的涌现, 可以表示对象之间复杂关系的图结构数据越来越受到重视并给已有的算法带来了极大的挑战. 图神经网络作为可以揭示深层拓扑信息的模型, 已开始广泛应用于诸多领域,如通信、生命科学和经济金融等. 本文对近几年来提出的图神经网络模型和应用进行综述, 主要分为以下几类:基于空间方法的图神经网络模型、基于谱方法的图神经网络模型和基于生成方法的图神经网络模型等,并提出可供未来进一步研究的问题.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

图是对对象及其相互关系的一种简洁抽象的直观数学表达. 具有相互关系的数据—图结构数据在众多领域普遍存在, 并得到广泛应用. 随着大量数据的涌现, 传统的图算法在解决一些深层次的重要问题, 如节点分类和链路预测等方面有很大的局限性. 图神经网络模型考虑了输入数据的规模、异质性和深层拓扑信息等, 在挖掘深层次有效拓扑信息、 提取数据的关键复杂特征和 实现对海量数据的快速处理等方面, 例如, 预测化学分子的特性 [1]、文本的关系提取 [2,3]、图形图像的结构推理 [4,5]、社交网络的链路预测和节点聚类 [6]、缺失信息的网络补全 [7]和药物的相互作用预测 [8], 显示了令人信服的可靠性能.

图神经网络的概念最早于 2005 年由 Gori 等 [9]提出, 他借鉴神经网络领域的研究成果, 设计了一种用于处理图结构数据的模型. 2009 年, Scarselli 等 [10]对此模型进行了详细阐述. 此后, 陆续有关于图神经网络的新模型及应用研究被提出. 近年来, 随着对图结构数据研究兴趣的不断增加, 图神经网络研究论文数量呈现出快速上涨的趋势, 图神经网络的研究方向和应用领域都得到了很大的拓展.

目前已有一些文献对图神经网络进行了综述. 文献 [11]对图结构数据和流形数据领域的深度学习方法进行了综述, 侧重于将所述各种方法置于一个称为几何深度学习的统一框架之内; 文献[12]将图神经网络方法分为三类: 半监督学习、无监督学习和最新进展, 并根据发展历史对各种方法进行介绍、分析和对比; 文献[13]介绍了图神经网络原始模型、变体和一般框架, 并将图神经网络的应用划分为结构场景、非结构场景和其他场景; 文献[14]提出了一种新的图神经网络分类方法, 重点介绍了图卷积网络, 并总结了图神经网络方法在不同学习任务中的开源代码和基准.

本文将对图神经网络模型的理论及应用进行综述, 并讨论未来的方向和挑战性问题. 与其他综述文献的不同之处在于, 我们给出新的分类标准, 并且介绍图神经网络丰富的应用成果. 本文具体结构如下: 首先介绍三类主要的图神经网络模型, 分别是基于空间方法的图神经网络、基于谱方法的图神经网络和基于生成方法的图神经网络等; 然后介绍模型在节点分类、链路预测和图生成等方面的应用; 最后提出未来的研究方向.

成为VIP会员查看完整内容
图神经网络.pdf
0
179

【导读】辞九迎零,我们迎来2020,到下一个十年。在2019年机器学习领域继续快速发展,元学习、迁移学习、小样本学习、深度学习理论等取得很多进展。在此,专知小编整理这一年这些研究热点主题的综述进展,共十篇,了解当下,方能向前。

1、A guide to deep learning in healthcare(医疗深度学习技术指南)

斯坦福&谷歌Jeff Dean最新Nature论文:医疗深度学习技术指南(29页综述)

Google 斯坦福 Nature Medicine

作者:Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean

摘要:我们介绍了医疗保健的深度学习技术,重点讨论了计算机视觉、自然语言处理、强化学习和广义方法的深度学习。我们将描述这些计算技术如何影响医学的几个关键领域,并探讨如何构建端到端系统。我们对计算机视觉的讨论主要集中在医学成像上,我们描述了自然语言处理在电子健康记录数据等领域的应用。同样,在机器人辅助手术的背景下讨论了强化学习,并综述了基因组学的广义深度学习方法。

网址:

https://www.nature.com/articles/s41591-018-0316-z

2、Multimodal Machine Learning: A Survey and Taxonomy(多模态机器学习)

人工智能顶刊TPAMI2019最新《多模态机器学习综述》

CMU TPAMI

作者:Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency

摘要:我们对世界的体验是多模态的 - 我们看到物体,听到声音,感觉质地,闻到异味和味道。情态是指某种事物发生或经历的方式,并且当研究问题包括多种这样的形式时,研究问题被描述为多模式。为了使人工智能在理解我们周围的世界方面取得进展,它需要能够将这种多模态信号一起解释。多模态机器学习旨在构建可以处理和关联来自多种模态的信息的模型。这是一个充满活力的多学科领域,具有越来越重要的意义和非凡的潜力。本文不是关注特定的多模态应用,而是研究多模态机器学习本身的最新进展。我们超越了典型的早期和晚期融合分类,并确定了多模式机器学习所面临的更广泛的挑战,即:表示,翻译,对齐,融合和共同学习。这种新的分类法将使研究人员能够更好地了解该领域的状况,并确定未来研究的方向。

网址:

http://www.zhuanzhi.ai/paper/2236c08ef0cd1bc87cae0f14cfbb9915

https://ieeexplore.ieee.org/document/8269806

3、Few-shot Learning: A Survey(小样本学习)

《小样本学习(Few-shot learning)》最新41页综述论文,来自港科大和第四范式

香港科大 第四范式

作者:Yaqing Wang,Quanming Yao

摘要:“机器会思考吗”和“机器能做人类做的事情吗”是推动人工智能发展的任务。尽管最近的人工智能在许多数据密集型应用中取得了成功,但它仍然缺乏从有限的数据示例学习和对新任务的快速泛化的能力。为了解决这个问题,我们必须求助于机器学习,它支持人工智能的科学研究。特别地,在这种情况下,有一个机器学习问题称为小样本学习(Few-Shot Learning,FSL)。该方法利用先验知识,可以快速地推广到有限监督经验的新任务中,通过推广和类比,模拟人类从少数例子中获取知识的能力。它被视为真正人工智能,是一种减少繁重的数据收集和计算成本高昂的培训的方法,也是罕见案例学习有效方式。随着FSL研究的广泛开展,我们对其进行了全面的综述。我们首先给出了FSL的正式定义。然后指出了FSL的核心问题,将问题从“如何解决FSL”转变为“如何处理核心问题”。因此,从FSL诞生到最近发表的作品都被归为一个统一的类别,并对不同类别的优缺点进行了深入的讨论。最后,我们从问题设置、技术、应用和理论等方面展望了FSL未来可能的发展方向,希望为初学者和有经验的研究者提供一些见解。

网址:

https://www.zhuanzhi.ai/paper/c7a2464c0865b9602a4103fb44659858

4、meta Learning: A Survey(元学习)

元学习(Meta-Learning) 综述及五篇顶会论文推荐

作者:Joaquin Vanschoren

摘要:元学习,或学习学习,是一门系统地观察不同机器学习方法如何在广泛的学习任务中执行的科学,然后从这种经验或元数据中学习,以比其他方法更快的速度学习新任务。这不仅极大地加快和改进了机器学习管道或神经体系结构的设计,还允许我们用以数据驱动方式学习的新方法取代手工设计的算法。在本文中,我们将概述这一迷人且不断发展的领域的最新进展。

网址:

http://www.zhuanzhi.ai/paper/dd60eaffea966331e199fa531bae7044

5、A Comprehensive Survey on Transfer Learning(迁移学习)

中科院发布最新迁移学习综述论文,带你全面了解40种迁移学习方法

作者:Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

摘要:迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域上的学习表现。这样,可以减少对大量目标域数据的依赖,以构建目标学习者。由于其广泛的应用前景,迁移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本文试图将已有的迁移学习研究进行梳理使其系统化,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的文章不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。还简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20种有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即Amazon Reviews,Reuters-21578和Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。。

网址:

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications(多模态智能论文综述:表示学习,信息融合与应用) 【IEEE Fellow何晓东&邓力】多模态智能论文综述:表示学习,信息融合与应用,259篇文献带你了解AI热点技术

京东

作者:Chao Zhang,Zichao Yang,Xiaodong He,Li Deng

【摘要】自2010年以来,深度学习已经使语音识别、图像识别和自然语言处理发生了革命性的变化,每种方法在输入信号中都只涉及一种模态。然而,人工智能的许多应用涉及到多种模态。因此,研究跨多种模态的建模和学习的更困难和更复杂的问题具有广泛的意义。本文对多模态智能的模型和学习方法进行了技术综述。视觉与自然语言的结合已成为计算机视觉和自然语言处理研究的一个重要领域。本文从学习多模态表示、多模态信号在不同层次上的融合以及多模态应用三个新角度对多模态深度学习的最新研究成果进行了综合分析。在多模态表示学习中,我们回顾了嵌入的关键概念,将多模态信号统一到同一个向量空间中,从而实现了多模态信号的交叉处理。我们还回顾了许多类型的嵌入的性质,构造和学习的一般下游任务。在多模态融合方面,本文着重介绍了用于集成单模态信号表示的特殊结构。在应用方面,涵盖了当前文献中广泛关注的选定领域,包括标题生成、文本到图像生成和可视化问题回答。我们相信这项综述可促进未来多模态智能的研究。

网址:

https://arxiv.org/abs/1911.03977

https://www.zhuanzhi.ai/paper/efe8f986342d215a8179d447624801ee

7、Object Detection in 20 Years: A Survey(目标检测)

密歇根大学40页《20年目标检测综述》最新论文,带你全面了解目标检测方法

作者:Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye

摘要:目标检测作为计算机视觉中最基本、最具挑战性的问题之一,近年来受到了广泛的关注。它在过去二十年的发展可以说是计算机视觉历史的缩影。如果我们把今天的目标检测看作是深度学习力量下的一种技术美学,那么让时光倒流20年,我们将见证冷兵器时代的智慧。本文从目标检测技术发展的角度,对近四分之一世纪(20世纪90年代至2019年)的400余篇论文进行了广泛的回顾。本文涵盖了许多主题,包括历史上的里程碑检测器、检测数据集、度量、检测系统的基本构建模块、加速技术以及最新的检测方法。本文还综述了行人检测、人脸检测、文本检测等重要的检测应用,并对其面临的挑战以及近年来的技术进步进行了深入分析。

网址:

https://arxiv.org/abs/1905.05055

https://www.zhuanzhi.ai/paper/4d9c0fdcc5a0a2b796e44e214fc9cb02

8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications(中文知识图谱)

作者:Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang

摘要:随着智能技术的不断发展,作为人工智能支柱的知识图谱以其强大的知识表示和推理能力受到了学术界和产业界的广泛关注。近年来,知识图谱在语义搜索、问答、知识管理等领域得到了广泛的应用。构建中文知识图谱的技术也在迅速发展,不同的中文知识图谱以支持不同的应用。同时,我国在知识图谱开发方面积累的经验对非英语知识图谱的开发也有很好的借鉴意义。本文旨在介绍中文知识图谱的构建技术及其应用,然后介绍了典型的中文知识图谱,此外我们介绍了构建中文知识图谱的技术细节,并介绍了了中文知识图谱的几种应用。

网址:

https://www.mdpi.com/2071-1050/10/9/3245

9、Advances and Open Problems in Federated Learning(联邦学习)

【重磅】联邦学习FL进展与开放问题万字综述论文,58位学者25家机构联合出品,105页pdf438篇文献

摘要:联邦学习(FL)是一种机器学习设置,在这种设置中,许多客户(例如移动设备或整个组织)在中央服务器(例如服务提供商)的协调下协作地训练模型,同时保持训练数据分散。FL体现了集中数据收集和最小化的原则,可以减轻由于传统的、集中的机器学习和数据科学方法所带来的许多系统隐私风险和成本。在FL研究爆炸性增长的推动下,本文讨论了近年来的进展,并提出了大量的开放问题和挑战。

网址:

https://arxiv.org/abs/1912.04977

10、Optimization for deep learning: theory and algorithms(深度学习优化理论算法)

【2019年末硬货】深度学习的最优化:理论和算法综述论文,60页pdf257篇文献

摘要:什么时候以及为什么能够成功地训练神经网络?本文概述了神经网络的优化算法和训练理论。首先,我们讨论了梯度爆炸/消失问题和更一般的不期望谱问题,然后讨论了实际的解决方案,包括仔细的初始化和归一化方法。其次,我们回顾了用于训练神经网络的一般优化方法,如SGD、自适应梯度方法和分布式方法,以及这些算法的现有理论结果。第三,我们回顾了现有的关于神经网络训练的全局问题的研究,包括局部极值的结果、模式连接、彩票假设和无限宽度分析。

网址:

https://www.zhuanzhi.ai/paper/2a5e7596942977067240c946ecd4bd47

成为VIP会员查看完整内容
0
199

简介: 近年来,生命科学和数据科学已经融合。机器人技术和自动化技术的进步使化学家和生物学家能够生成大量数据。与20年前的整个职业生涯相比,如今的科学家每天能够产生更多的数据。快速生成数据的能力也带来了许多新的科学挑战。我们不再处于可以通过将数据加载到电子表格中并制作几个图表来对其进行处理的时代。为了从这些数据集中提取科学知识,我们必须能够识别和提取非显而易见的关系。近年来,作为识别数据模式和关系的强大工具而出现的一种技术是深度学习,它是一类算法,它彻底改变了解决诸如图像分析,语言翻译和语音识别等问题的方法。深度学习算法擅长识别和利用大型数据集中的模式。由于这些原因,深度学习在生命科学学科中具有广泛的应用。本书概述了深度学习如何应用于遗传学,药物发现和医学诊断等多个领域。我们描述的许多示例都附带有代码示例,这些示例为方法提供了实用的介绍,并为读者提供了以后进行研究和探索的起点。

该书中代码地址:https://github.com/deepchem/DeepLearningLifeSciences

目录:

  • 生命科学
  • 深度学习介绍
  • 机器学习与深化
  • 分子与机器学习
  • 生物机器学习
  • 基因组学与深度学习
  • 显微学与机器学习
  • 医药学与深度学习
  • 生成模型
  • 深度模型的解释
  • 预测模型
  • 展望
成为VIP会员查看完整内容
0
49
小贴士
相关论文
Non Gaussian Denoising Diffusion Models
Eliya Nachmani,Robin San Roman,Lior Wolf
0+阅读 · 6月14日
Reid Pryzant,Dallas Card,Dan Jurafsky,Victor Veitch,Dhanya Sridhar
0+阅读 · 6月14日
Victor-Alexandru Darvariu,Stephen Hailes,Mirco Musolesi
0+阅读 · 6月12日
Zachary Nado,Neil Band,Mark Collier,Josip Djolonga,Michael W. Dusenberry,Sebastian Farquhar,Angelos Filos,Marton Havasi,Rodolphe Jenatton,Ghassen Jerfel,Jeremiah Liu,Zelda Mariet,Jeremy Nixon,Shreyas Padhy,Jie Ren,Tim G. J. Rudner,Yeming Wen,Florian Wenzel,Kevin Murphy,D. Sculley,Balaji Lakshminarayanan,Jasper Snoek,Yarin Gal,Dustin Tran
0+阅读 · 6月7日
Feng Xia,Ke Sun,Shuo Yu,Abdul Aziz,Liangtian Wan,Shirui Pan,Huan Liu
23+阅读 · 5月3日
Wentao Xu,Weiqing Liu,Chang Xu,Jiang Bian,Jian Yin,Tie-Yan Liu
9+阅读 · 2月19日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
11+阅读 · 2019年6月25日
Ziwei Zhang,Peng Cui,Wenwu Zhu
39+阅读 · 2018年12月11日
Vinicius Zambaldi,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,David Reichert,Timothy Lillicrap,Edward Lockhart,Murray Shanahan,Victoria Langston,Razvan Pascanu,Matthew Botvinick,Oriol Vinyals,Peter Battaglia
4+阅读 · 2018年6月5日
Top