1、题目: Advances and Open Problems in Federated Learning

简介: 联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。最近来自斯坦福、CMU、Google等25家机构58位学者共同发表了关于联邦学习最新进展与开放问题的综述论文《Advances and Open Problems in Federated Learning》,共105页pdf调研了438篇文献,讲解了最新联邦学习进展,并提出大量开放型问题。

2、题目: Deep learning for time series classification: a review

简介: 时间序列分类(Time Series Classification, TSC )是数据挖掘中的一个重要而富有挑战性的问题。随着时间序列数据可用性的提高,已经提出了数百种TSC算法。在这些方法中,只有少数考虑使用深度神经网络来完成这项任务。这令人惊讶,因为在过去几年里,深度学习得到了非常成功的应用。DNNs的确已经彻底改变了计算机视觉领域,特别是随着新型更深层次的结构的出现,如残差和卷积神经网络。除了图像,文本和音频等连续数据也可以用DNNs处理,以达到文档分类和语音识别的最新性能。在本文中,本文通过对TSC最新DNN架构的实证研究,研究了TSC深度学习算法的最新性能。在TSC的DNNs统一分类场景下,本文概述了各种时间序列领域最成功的深度学习应用。本文还为TSC社区提供了一个开源的深度学习框架,实现了本文所对比的各种方法,并在单变量TSC基准( UCR archive)和12个多变量时间序列数据集上对它们进行了评估。通过在97个时间序列数据集上训练8730个深度学习模型,本文提出了迄今为止针对TSC的DNNs的最详尽的研究。

3、 题目: Optimization for deep learning: theory and algorithms

简介: 本文概述了用于训练神经网络的优化算法和理论。 首先,我们讨论梯度爆炸/消失的问题以及不希望有的频谱的更一般性的问题,然后讨论实用的解决方案,包括仔细的初始化和归一化方法。 其次,我们回顾了用于训练神经网络的通用优化方法,例如SGD,自适应梯度法和分布式方法,以及这些算法的现有理论结果。 第三,我们回顾了有关神经网络训练的全球性问题的现有研究,包括不良局部极小值,模式连通性,彩票假说和无限宽度分析的结果。

4、题目: Optimization for deep learning: theory and algorithms

简介: 本文概述了用于训练神经网络的优化算法和理论。 首先,我们讨论梯度爆炸/消失的问题以及不希望有的频谱的一般性的问题,然后讨论解决方案,包括初始化和归一化方法。 其次,我们回顾了用于训练神经网络的通用优化方法,例如SGD,自适应梯度法和分布式方法,以及这些算法的现有理论结果。 第三,我们回顾了有关神经网络训练的现有研究。

5、题目: Normalizing Flows for Probabilistic Modeling and Inference

简介: 归一化流提供了一种定义表达概率分布的通用机制,只需要指定基本分布和一系列双射变换。 最近有许多关于标准化流的工作,从提高其表达能力到扩展其应用。 我们认为该领域已经成熟,需要一个统一的观点。 在这篇综述中,我们试图通过概率建模和推理的视角描述流量来提供这样的观点。 我们特别强调流程设计的基本原理,并讨论诸如表达能力和计算权衡等基本主题。 通过将流量与更一般的概率转换相关联,我们还扩大了flow的概念框架。 最后,我们总结了在诸如生成模型,近似推理和监督学习等任务中使用归一化流提供了一种定义表达概率分布的通用机制,只需要指定(通常是简单的)基本分布和一系列双射变换。 最近有许多关于标准化流的工作,从提高其表达能力到扩展其应用。 我们认为该领域已经成熟,需要一个统一的观点。 在这篇综述中,我们试图通过概率建模和推理的视角描述流量来提供这样的观点。 我们特别强调流程设计的基本原理,并讨论诸如表达能力和计算权衡等基本主题。 通过将流量与更一般的概率转换相关联,我们还扩大了流量的概念框架。 最后,我们总结了在诸如生成模型,近似推理和监督学习等任务中使用流。

6、题目: Fantastic Generalization Measures and Where to Find Them

简介: 近年来,深度网络的普遍性引起了人们极大的兴趣,从而产生了许多从理论和经验出发推动复杂性的措施。 但是,大多数提出此类措施的论文只研究了一小部分模型,而这些实验得出的结论在其他情况下是否仍然有效的问题尚待解决。 我们提出了深度网络泛化的第一个大规模研究。 我们研究了从理论界和实证研究中采取的40多种复杂性度量。 通过系统地改变常用的超参数,我们训练了10,000多个卷积网络。 为了揭示每个度量与泛化之间的潜在因果关系,我们分析了实验,并显示了有希望进行进一步研究的度量。

7、题目: Neural Style Transfer: A Review

简介: Gatys等人的开创性工作通过分离和重新组合图像内容和样式,展示了卷积神经网络(CNN)在创建艺术图像中的作用。使用CNN渲染不同样式的内容图像的过程称为神经样式传输(NST)。从那时起,NST成为学术文献和工业应用中的一个热门话题。它正受到越来越多的关注,并且提出了多种方法来改进或扩展原始的NST算法。在本文中,我们旨在全面概述NST的最新进展。我们首先提出一种NST领域中当前算法的分类法。然后,我们提出几种评估方法,并定性和定量地比较不同的NST算法。审查结束时讨论了NST的各种应用和未解决的问题,以供将来研究。

成为VIP会员查看完整内容
0
62

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

智能视频监控(IVS)是当前计算机视觉和机器学习领域的一个活跃研究领域,为监控操作员和取证视频调查者提供了有用的工具。人的再识别(PReID)是IVS中最关键的问题之一,它包括识别一个人是否已经通过网络中的摄像机被观察到。PReID的解决方案有无数的应用,包括检索显示感兴趣的个体的视频序列,甚至在多个摄像机视图上进行行人跟踪。文献中已经提出了不同的技术来提高PReID的性能,最近研究人员利用了深度神经网络(DNNs),因为它在类似的视觉问题上具有令人信服的性能,而且在测试时执行速度也很快。鉴于再识别解决方案的重要性和广泛的应用范围,我们的目标是讨论在该领域开展的工作,并提出一项最先进的DNN模型用于这项任务的调查。我们提供了每个模型的描述以及它们在一组基准数据集上的评估。最后,我们对这些模型进行了详细的比较,并讨论了它们的局限性,为今后的研究提供了指导。

成为VIP会员查看完整内容
0
57

【简介】自然语言处理(NLP)能够帮助智能型机器更好地理解人类的语言,实现基于语言的人机交流。目前随着计算能力的发展和大量语言数据的出现,推动了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域取得了显著的进步,数据驱动策略的应用已经非常的普遍。本综述对NLP领域中所应用的深度学习进行了分类和讨论。它涵盖了NLP的核心任务和应用领域,并对深度学习方法如何推进这些领域的发展进行了细致的描述。最后我们进一步分析和比较了不同的方法和目前最先进的模型。

原文连接:https://arxiv.org/abs/2003.01200

介绍

自然语言处理(NLP)是计算机科学的一个分支,能够为自然语言和计算机之间提高沟通的桥梁。它帮助机器理解、处理和分析人类语言。NLP通过深入地理解数据的上下文,使得数据变得更有意义,这反过来又促进了文本分析和数据挖掘。NLP通过人类的通信结构和通信模式来实现这一点。这篇综述涵盖了深度学习在NLP领域中所扮演的新角色以及各种应用。我们的研究主要集中在架构上,很少讨论具体的应用程序。另一方面,本文描述了将深度学习应用于NLP问题中时所面临的挑战、机遇以及效果评估方式。

章节目录

section 2: 在理论层面介绍了NLP和人工智能,并将深度学习视为解决现实问题的一种方法。

section 3:讨论理解NLP所必需的基本概念,包括各种表示法、模型框架和机器学习中的示例性问题。

section 4:总结了应用在NLP领域中的基准数据集。

section 5:重点介绍一些已经被证明在NLP任务中有显著效果的深度学习方法。

section 6:进行总结,同时解决了一些开放的问题和有希望改善的领域。

成为VIP会员查看完整内容
0
75

题目: Time Series Data Augmentation for Deep Learning: A Survey

摘要:

近年来,深度学习在许多时间序列分析任务中表现优异。深度神经网络的优越性能很大程度上依赖于大量的训练数据来避免过拟合。然而,许多实际时间序列应用的标记数据可能会受到限制,如医学时间序列的分类和AIOps中的异常检测。数据扩充是提高训练数据规模和质量的有效途径,是深度学习模型在时间序列数据上成功应用的关键。本文系统地综述了时间序列的各种数据扩充方法。我们为这些方法提出了一个分类,然后通过强调它们的优点和局限性为这些方法提供了一个结构化的审查。并对时间序列异常检测、分类和预测等不同任务的数据扩充方法进行了实证比较。最后,我们讨论并强调未来的研究方向,包括时频域的数据扩充、扩充组合、不平衡类的数据扩充与加权。

成为VIP会员查看完整内容
0
89

题目: A Survey of Deep Learning Techniques for Neural Machine Translation

摘要: 近年来,随着深度学习技术的发展,自然语言处理(NLP)得到了很大的发展。在机器翻译领域,出现了一种新的方法——神经机器翻译(NMT),引起了学术界和工业界的广泛关注。然而,在过去的几年里提出的大量的研究,很少有人研究这一新技术趋势的发展过程。本文回顾了神经机器翻译的起源和主要发展历程,描述了神经机器翻译的重要分支,划分了不同的研究方向,并讨论了未来该领域的一些研究趋势。

成为VIP会员查看完整内容
0
73

题目: A Survey on Distributed Machine Learning

简介: 在过去十年中,对人工智能的需求已显着增长,并且这种增长得益于机器学习技术的进步以及利用硬件加速的能力,但是,为了提高预测质量并在复杂的应用程序中提供可行的机器学习解决方案,需要大量的训练数据。尽管小型机器学习模型可以使用一定数量的数据进行训练,但用于训练较大模型(例如神经网络)的输入与参数数量成指数增长。由于处理训练数据的需求已经超过了计算机器的计算能力的增长,因此急需在多个机器之间分配机器学习工作量,并将集中式的精力分配到分配的系统上。这些分布式系统提出了新的挑战,最重要的是训练过程的科学并行化和相关模型的创建。本文通过概述传统的(集中的)机器学习方法,探讨了分布式机器学习的挑战和机遇,从而对当前的最新技术进行了广泛的概述,并对现有的技术进行研究。

成为VIP会员查看完整内容
0
80

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。最近来自斯坦福、CMU、Google等25家机构58位学者共同发表了关于联邦学习最新进展与开放问题的综述论文《Advances and Open Problems in Federated Learning》,共105页pdf调研了438篇文献,讲解了最新联邦学习进展,并提出大量开放型问题。

摘要

联邦学习(FL)是一种机器学习设置,在这种设置中,许多客户(例如移动设备或整个组织)在中央服务器(例如服务提供商)的协调下协作地训练模型,同时保持训练数据分散。FL体现了集中数据收集和最小化的原则,可以减轻由于传统的、集中的机器学习和数据科学方法所带来的许多系统隐私风险和成本。在FL研究爆炸性增长的推动下,本文讨论了近年来的进展,并提出了大量的开放问题和挑战。

目录

1 介绍

  • 1.1 跨设备联邦学习设置
  • 1.1.1 联邦学习中模型的生命周期
  • 1.1.2 典型的联邦训练过程
  • 1.2 联邦学习研究
  • 1.3 组织
  1. 放宽核心联邦学习假设:应用到新兴的设置和场景
  • 2.1 完全分散/点对点分布式学习
  • 2.2 跨竖井联邦学习
  • 2.3 分离学习
  1. 提高效率和效果
  • 3.1 联邦学习中的非iid数据
  • 3.2 联邦学习优化算法
  • 3.3 多任务学习、个性化和元学习
  • 3.4 为联邦学习调整ML工作流
  • 3.5 通信与压缩
  • 3.6 适用于更多类型的机器学习问题和模型

4 .保护用户数据的隐私

  • 4.1 深入研究参与者、威胁模型和隐私
  • 4.2 工具与技术
  • 4.3 对外部恶意行为者的保护
  • 4.4 对抗服务器的保护
  • 4.5 用户感知
  1. 对攻击和失败的健壮性
  • 5.1 模型性能的对抗性攻击
  • 5.2 非恶意失效模式
  • 5.3 探索隐私和健壮性之间的张力
  1. 确保公平,消除偏见
  • 6.1 训练数据的偏差
  • 6.2不访问敏感属性的公平性
  • 6.3公平、隐私和健壮性
  • 6.4利用联合来改善模型多样性
  • 6.5联邦公平:新的机遇和挑战

7 结束语

  • 用于联邦学习的软件和数据集
成为VIP会员查看完整内容
0
116

Attention模型目前已经成为神经网络中的一个重要概念,注意力模型(AM)自机器翻译任务【Bahdanau et al 2014】首次引入进来,现在已经成为主流的神经网络概念。这一模型在研究社区中非常受欢迎,适用领域非常广泛,包括自然语言处理、统计学习、语音和计算机视觉方面的应用。本篇综述提供了关于注意力模型的全面概述,并且提供了一种将现有注意力模型进行有效分类的分类法,调查了用于不同网络结构的注意力模型,并显示了注意力机制如何提高模型的可解释性,最后,讨论了一些受到注意力模型较大影响的应用问题。

成为VIP会员查看完整内容
An Attentive Survey of Attention Models.pdf
0
190

题目: Deep Learning in Video Multi-Object Tracking: A Survey

简介: 多对象跟踪(MOT)的问题在于遵循序列中不同对象(通常是视频)的轨迹。 近年来,随着深度学习的兴起,提供解决此问题的算法得益于深度模型的表示能力。 本文对采用深度学习模型解决单摄像机视频中的MOT任务的作品进行了全面的调查。 确定了MOT算法的四个主要步骤,并对这些阶段的每个阶段如何使用深度学习进行了深入的回顾。 还提供了对三个MOTChallenge数据集上提出的作品的完整实验比较,确定了表现最好的方法之间的许多相似之处,并提出了一些可能的未来研究方向。

成为VIP会员查看完整内容
DEEP LEARNING IN VIDEO MULTI-OBJECT TRACKING.pdf
0
34
小贴士
相关VIP内容
专知会员服务
180+阅读 · 2020年6月16日
专知会员服务
57+阅读 · 2020年5月5日
专知会员服务
75+阅读 · 2020年3月12日
机器翻译深度学习最新综述
专知会员服务
73+阅读 · 2020年2月20日
专知会员服务
210+阅读 · 2020年1月1日
注意力机制模型最新综述
专知会员服务
190+阅读 · 2019年10月20日
相关资讯
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
46+阅读 · 2020年7月2日
A Survey on Edge Intelligence
Dianlei Xu,Tong Li,Yong Li,Xiang Su,Sasu Tarkoma,Pan Hui
30+阅读 · 2020年3月26日
Hyper-Parameter Optimization: A Review of Algorithms and Applications
Tong Yu,Hong Zhu
12+阅读 · 2020年3月12日
Image Segmentation Using Deep Learning: A Survey
Shervin Minaee,Yuri Boykov,Fatih Porikli,Antonio Plaza,Nasser Kehtarnavaz,Demetri Terzopoulos
32+阅读 · 2020年1月15日
Mamdouh Farouk
6+阅读 · 2019年10月6日
AutoML: A Survey of the State-of-the-Art
Xin He,Kaiyong Zhao,Xiaowen Chu
42+阅读 · 2019年8月14日
Tuomas Haarnoja,Aurick Zhou,Sehoon Ha,Jie Tan,George Tucker,Sergey Levine
6+阅读 · 2018年12月26日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Joaquin Vanschoren
116+阅读 · 2018年10月8日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Top