1、周志华教授:关于深度学习的一点思考

作者:周志华

摘要:深度学习已被广泛应用到涉及图像、视频、语音等的诸多任务中并取得巨大成功。如 果我们问“深度学习是什么?”很可能会得到这样的回答:“深度学习就是深度神经网 络”。至少在目前,当“深度学习”作为一个术语时几乎就是“深度神经网络”的同义词, 而当它指向一个技术领域时则如 SIAM News 头版文章所称[1],是“机器学习中使用深度 神经网络的子领域”。关于深度学习有很多问题还不清楚。例如深度神经网络为什么要“深”?它成功背 后的关键因素是什么?深度学习只能是深度神经网络吗?本文将分享一些我们关于深度 学习的粗浅思考。

网址: https://mp.weixin.qq.com/s/yKzMxJ2pwwLYSO8ry0sJIQ

2、Attention Mechanisms in Computer Vision: A Survey(注意力机制)

清华&南开最新「视觉注意力机制Attention」综述论文,带你全面了解六大类注意力机制方法

作者: Meng-Hao Guo, Tian-Xing Xu, Jiang-Jiang Liu, Zheng-Ning Liu, Peng-Tao Jiang, Tai-Jiang Mu, Song-Hai Zhang, Ralph R. Martin, Ming-Ming Cheng, Shi-Min Hu

摘要:人类可以自然有效地在复杂的场景中找到显著区域。在这种观察的推动下,注意力机制被引入到计算机视觉中,目的是模仿人类视觉系统的这方面。这种注意力机制可以看作是一个基于输入图像特征的动态权值调整过程。注意力机制在图像分类、目标检测、语义分割、视频理解、图像生成、三维视觉、多模态任务和自监督学习等视觉任务中取得了巨大的成功。本文综述了计算机视觉中的各种注意力机制,并对其进行了分类,如通道注意力、空间注意力、时间注意力和分支注意力; 相关的存储库https://github.com/MenghaoGuo/Awesome-Vision-Attentions专门用于收集相关的工作。本文还提出了注意机力制研究的未来方向。

网址: https://www.zhuanzhi.ai/paper/2329d809f32ca0840bd93429d1cef0fe

3、Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges(几何深度学习)

重磅!《几何深度学习》新书发布,帝国理工/DeepMind等图ML大牛共同撰写,160页pdf阐述几何DL基础原理和统一框架

几何深度学习是一种从对称性和不变性的角度对大量ML问题进行几何统一的尝试。这些原理不仅奠定了卷积神经网络的突破性性能和最近成功的图神经网络的基础,而且也提供了一种原则性的方法来构建新型的问题特定的归纳偏差。

在本文中,我们做了一个适度的尝试,将Erlangen项目的思维模式应用到深度学习领域,最终目标是获得该领域的系统化和“连接点”。我们将这种几何化尝试称为“几何深度学习”,并忠实于Felix Klein的精神,提出从对称性和不变性的原则推导出不同的归纳偏差和网络架构。特别地,我们将重点放在一类用于分析非结构集、网格、图和流形的神经网络上,并表明它们可以被统一地理解为对应这些域的结构和对称性的方法。

我们相信这篇文章将吸引深度学习研究人员、实践者和爱好者的广泛受众。新手可以用它来概述和介绍几何深度学习。经验丰富的深度学习专家可能会发现从基本原理推导熟悉架构的新方法,也许还会发现一些令人惊讶的联系。实践者可以获得如何解决各自领域问题的新见解。

https://geometricdeeplearning.com/

网址:

https://www.zhuanzhi.ai/paper/1f6bbac326bd8b7c0c8554acaa169012

4、A Survey of Transformers(Transformer综述论文)

复旦大学邱锡鹏教授等「Transformers全面综述」论文

作者:Tianyang Lin,Yuxin Wang,Xiangyang Liu,Xipeng Qiu

摘要:Transformers 在自然语言处理、计算机视觉和音频处理等许多人工智能领域都取得了巨大的成功。因此,自然会引起学术界和工业界研究人员的极大兴趣。到目前为止,各种各样的Transformer变种(即X-formers)已经被提出,但是,关于这些Transformer器变种的系统和全面的文献综述仍然缺乏。在这项综述中,我们提供了一个全面的Transformer综述。我们首先简单介绍了普通的Transformer,然后提出了一个x-former的新分类。接下来,我们将从三个方面介绍不同的x -former架构修改,预训练和应用。最后,展望了未来的研究方向。

网址: https://www.zhuanzhi.ai/paper/f03a47eb6ddb5d23c07f51662f3220a0

5、Model Complexity of Deep Learning: A Survey(深度学习模型复杂性)

裴健等发布首篇「深度学习模型复杂性」综述论文,44页pdf阐述深度学习模型框架、模型规模、优化过程和数据复杂性

作者:Xia Hu,Lingyang Chu,Jian Pei,Weiqing Liu,Jiang Bian

摘要:

模型复杂性是深度学习的一个基本问题。

本文对深度学习中模型复杂性的最新研究进行了系统的综述。深度学习的模型复杂度可分为表达能力和有效模型复杂度。

从模型框架、模型规模、优化过程和数据复杂性四个方面回顾了现有的研究成果。我们还讨论了深度学习模型复杂性的应用,包括理解模型泛化能力、模型优化、模型选择和设计。

最后,我们提出几个有趣的未来方向。

网址: https://www.zhuanzhi.ai/paper/f7c683dfd6eb2f07eba0ed31d337345c

6、Towards Out-Of-Distribution Generalization: A Survey(分布外泛化)

清华大学崔鹏等最新「分布外泛化(Out-Of-Distribution Generalization)」 综述论文

作者:Zheyan Shen,Jiashuo Liu,Yue He,Xingxuan Zhang,Renzhe Xu,Han Yu,Peng Cui

摘要: 经典的机器学习方法是建立在i.i.d.假设的基础上的,即训练和测试数据是独立同分布的。然而,在真实场景中,i.i.d.假设很难得到满足,导致经典机器学习算法在分布移位下的性能急剧下降,这表明研究非分布泛化问题的重要性。Out-of-Distribution分布外 (OOD)泛化问题解决了测试分布未知且与训练不同的挑战性设置。本文首次系统、全面地探讨了OOD泛化问题,从定义、方法、评价到启示和未来发展方向。首先,给出了OOD泛化问题的形式化定义。其次,根据现有方法在整个学习流程中的位置,将其分为无监督表示学习、有监督模型学习与优化三部分,并详细讨论了每一类的典型方法。然后,我们展示了不同类别的理论联系,并介绍了常用的数据集和评价指标。最后,对全文文献进行了总结,并对OOD泛化问题提出了未来的研究方向。本次综述OOD泛化文献可在http://out-of-distribution-generalization.com上找到。

网址: https://www.zhuanzhi.ai/paper/ba690c59e0f80fc34e779b1daa769988

7、Deep Long-Tailed Learning: A Survey(深度长尾学习)

NUS颜水成等发布首篇《深度长尾学习》综述,20页pdf172篇文献阐述长尾类别深度学习进展

作者:Yifan Zhang, Bingyi Kang, Bryan Hooi, Shuicheng Yan, Jiashi Feng

摘要:深度长尾学习是视觉识别中最具挑战性的问题之一,其目标是从大量遵循长尾类分布的图像中训练出性能良好的深度模型。在过去的十年中,深度学习已经成为一种学习高质量图像表示的强大的识别模型,并导致了一般视觉识别的显著突破。然而,长尾类不平衡是实际视觉识别任务中普遍存在的问题,这种不平衡往往限制了基于深度网络的识别模型在实际应用中的实用性,因为长尾类容易偏向主导类,在尾类上的表现较差。为了解决这一问题,近年来人们进行了大量的研究,在深度长尾学习领域取得了可喜的进展。鉴于该领域的快速发展,本文对深度长尾学习的最新进展进行了综述。具体地说,我们将已有的深度长尾学习研究分为三类(即类重平衡、信息增强和模块改进),并根据这三类对这些方法进行了详细的回顾。之后,我们通过一种新提出的评价指标,即相对准确性,来评估它们在多大程度上解决了阶级失衡问题,从而对几种最先进的方法进行了实证分析。最后,我们强调了深度长尾学习的重要应用,并确定了未来研究的几个有前景的方向。

网址: https://www.zhuanzhi.ai/paper/195ac6db0eea180eb9d5b5ef8f4ab0f4

8、Trustworthy AI: From Principles to Practices(可信人工智能)

京东等学者发布《可信赖人工智能》综述论文,62页pdf449篇文献全面阐述可信赖AI的理论与方法

作者:Bo Li,Peng Qi,Bo Liu,Shuai Di,Jingen Liu,Jiquan Pei,Jinfeng Yi,Bowen Zhou

摘要: 人工智能(AI)技术的发展使各种应用系统得以应用于现实世界,影响着人们的日常生活。然而,目前很多人工智能系统被发现容易受到无形的攻击,对弱势群体存在偏见,缺乏对用户隐私的保护等,这不仅降低了用户体验,也侵蚀了社会对所有人工智能系统的信任。在这篇综述中,我们努力为人工智能从业者提供一个全面的指南,以构建可信赖的人工智能系统。我们首先介绍了人工智能可信度的重要方面的理论框架,包括稳健性、泛化性、可解释性、透明度、再现性、公平性、隐私保护、与人类价值观的一致性和问责性。然后我们调研了行业中在这些方面的领先方法。为了统一目前零散的人工智能方法,我们提出了一种系统的方法,考虑人工智能系统的整个生命周期,从数据采集到模型开发,到开发和部署,最后到持续监测和治理。在这个框架中,我们向从业者和社会利益相关者(如研究人员和监管机构)提供具体的行动项目,以提高人工智能的可信度。最后,我们确定可信赖的人工智能系统未来发展的关键机遇和挑战,我们确定需要向全面可信赖的人工智能系统转变范式。

网址:

https://www.zhuanzhi.ai/paper/00386996069b8168827d03f0c809a462

9、Masked Autoencoders Are Scalable Vision Learners(简单实用的自监督学习掩码自编码MAE)

何恺明最新一作论文:简单实用的自监督学习掩码自编码MAE,ImageNet-1K 87.8%!

作者:Kaiming He,Xinlei Chen,Saining Xie,Yanghao Li,Piotr Dollár,Ross Girshick

摘要:

何恺明提出一种用于计算机视觉的可扩展自监督学习方案Masked AutoEncoders(MAE)。所提MAE极为简单:对输入图像进行块随机mask并对遗失像素进行重建。它基于以下两个核心设计:

我们设计了一种非对称编解码架构,其中编码器仅作用于可见块(无需mask信息),而解码器则通过隐表达与mask信息进行原始图像重建;

我们发现对输入图像进行高比例mask(比如75%)可以产生一项重要且有意义的自监督任务。

上述两种设计促使我们可以更高效的训练大模型:我们加速训练达3x甚至更多,同时提升模型精度。所提方案使得所得高精度模型具有很好的泛化性能:仅需ImageNet-1K,ViT-Huge取得了87.8%的top1精度 。下游任务的迁移取得了优于监督训练的性能,证实了所提方案的可扩展能力。 网址:

https://www.zhuanzhi.ai/paper/1dbb3e8f5e16dc9a048a02ceee8eb617

10、徐宗本院士谈人工智能的10个重大数理基础问题

徐宗本院士:人工智能的10个重大数理基础问题

作为新一代信息技术的代表,人工智能已经广泛应用于科学、社会、经济、管理的方方面面,已经和正在成为创新驱动发展的核心驱动力之一。然而,就其技术发展而言,人工智能还只是突破了从“不可用” 到“可以用”的技术拐点,从“可以用”到“很好用” “用得好”还存在诸多技术瓶颈,正呼唤重大技术变革。

技术变革的先导是理论创新,即基础研究。它是指对事物本质和规律的科学化探寻和揭示,是启发、促动技术变革的激发源和理论依据。理论创新既应包括对原有理论体系或框架的新突破、对原有理论 和方法的新修正和新发展,也包括对理论禁区和未知领域的新探索。

本文主要关注人工智能技术发展当前亟待解决的重大数理基础问题。为什么要特别关注 AI 的数理基础问题呢?这是因为当前人工智能技术和发展主要是靠“算例、算法、算力”所驱动的,其基础是数据,其核心是算法,这二者都深刻地以数学为基础。数学主要提供对所研究问题的形式化手段、模型化工具和科学化语言。没有形式化就没有程式化和计算机化,没有模型化就没有定量化和知识化,没有科学化就没有系统化和现代化。所以,数学在科学技术中具有独特的作用和价值。对人工智能而言,数学不仅仅是工具,还是技术内涵本身, 而且常常也是最能体现本质、原始创新的部分。

本文提出并阐述人工智能研究与应用中凾待解决的10个重大数理基础问题,包括:

(1) 大数据的统计学基础; (2) 大数据计算的基础算法; (3) 数据空间的结构与特性; (4) 深度学习的数学机理; (5) 非正规约束下的最优输运; (6) 如何学习学习方法论; (7) 如何突破机器学习的先验假设; (8) 机器学习的自动化; (9) 知识推理与数据学习的融合; (10) 智能寻优与人工智能芯片问题.

成为VIP会员查看完整内容
0
52

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】伦敦帝国理工学院教授Michael Bronstein等人撰写了一本关于几何深度学习系统性总结的书,提出从对称性和不变性的原则推导出不同的归纳偏差和网络架构。非常值得关注!

重磅!《几何深度学习》新书发布,帝国理工/DeepMind等图ML大牛共同撰写,160页pdf阐述几何DL基础原理和统一框架

作为非洲机器智能硕士课程(AMMI 2021)的一部分,我们提供了一门关于几何深度学习(GDL100)的课程,它紧跟我们的GDL原型书的内容。我们使所有的材料和课件从这门课程公开可用,作为我们的原型书的同伴材料,以及一种方式深入到一些内容的未来迭代的书。

几何深度学习是从对称性和不变性的角度对广泛的ML问题进行几何统一的尝试。这些原理不仅是卷积神经网络的突破性性能和图神经网络的近期成功的基础,而且还为构造新型的特定于问题的归纳偏差提供了一种有原则的方法。

深度(表示)学习领域的现状让我们想起了19世纪的几何情况:一方面,在过去的十年中,深度学习在数据科学领域带来了一场革命, 以前认为可能无法完成的许多任务-无论是计算机视觉,语音识别,自然语言翻译还是alpha Go。另一方面,我们现在拥有一个针对不同类型数据的不同神经网络体系结构的动物园,但统一原理很少。结果,很难理解不同方法之间的关系,这不可避免地导致相同概念的重新发明。

几何深度学习是我们在[5]中引入的总称,指的是最近提出的ML几何统一的尝试,类似于Klein的Erlangen计划。它有两个目的:首先,提供一个通用的数学框架以推导最成功的神经网络体系结构;其次,给出一个建设性的程序,以有原则的方式构建未来的体系结构。

https://geometricdeeplearning.com/lectures/

成为VIP会员查看完整内容
0
50

题目: A Survey of Deep Learning Techniques for Neural Machine Translation

摘要: 近年来,随着深度学习技术的发展,自然语言处理(NLP)得到了很大的发展。在机器翻译领域,出现了一种新的方法——神经机器翻译(NMT),引起了学术界和工业界的广泛关注。然而,在过去的几年里提出的大量的研究,很少有人研究这一新技术趋势的发展过程。本文回顾了神经机器翻译的起源和主要发展历程,描述了神经机器翻译的重要分支,划分了不同的研究方向,并讨论了未来该领域的一些研究趋势。

成为VIP会员查看完整内容
0
76

【简介】随着深度表示学习的发展,强化学习(RL)已经成为了一个强大的学习框架,其可以在高维度空间中学习复杂的规则。这篇综述总结了深度强化学习(DRL)算法,提供了采用强化学习的自动驾驶任务的分类方法,重点介绍了算法上的关键挑战和在现实世界中将强化学习部署在自动驾驶方面的作用,以及最终评估,测试和加强强化学习和模仿学习健壮性的现有解决方案。

论文链接: https://arxiv.org/abs/2002.00444

介绍:

自动驾驶(AD)系统由多个感知级任务组成,由于采用了深度学习架构,这些任务现在已经达到了很高的精度。除了感知任务之外,自主驾驶系统还包含多个其他任务,传统的监督学习方法已经不再适用。首先,当对agent行为的预测发生变化时,从自动驾驶agent所处的环境中接收到的未来传感器观察到的结果,例如获取市区最佳驾驶速度的任务。其次,监督信号(如碰撞时间(TTC),相对于agent最佳轨迹的侧向误差)表示agent的动态变化以及环境中的不确定性。这些问题都需要定义随机损失函数来使其最大化。最后,agent需要学习当前环境新的配置参数,预测其所处的环境中每一时刻的最优决策。这表明在观察agent和其所处环境的情况下,一个高维度的空间能够给出大量唯一的配置参数。在这些场景中,我们的目标是解决一个连续决策的问题。在这篇综述中,我们将介绍强化学习的概念,强化学习是一种很有前景的解决方案和任务分类方法,特别是在驱动策略、预测感知、路径规划以及低层控制器设计等领域。我们还重点回顾了强化学习在自动驾驶领域当中各种现实的应用。最后,我们通过阐述应用当前诸如模仿学习和Q学习等强化学习算法时所面临的算力挑战和风险来激励使用者对强化学习作出改进。

章节目录:

section2: 介绍一个典型的自动驾驶系统及其各个组件。

section3: 对深度强化学习进行介绍,并简要讨论关键概念。

section4: 探讨在强化学习基本框架上对其进行更深层次,更加复杂的扩展。

section5: 对强化学习用于自动驾驶领域的所面临的问题提供一个概述。

section6: 介绍将强化学习部署到真实世界自动驾驶系统中所面临的挑战。

section7: 总结

成为VIP会员查看完整内容
0
91

题目: Understanding Deep Learning Techniques for Image Segmentation

简介: 机器学习已被大量基于深度学习的方法所淹没。各种类型的深度神经网络(例如卷积神经网络,递归网络,对抗网络,自动编码器等)有效地解决了许多具有挑战性的计算机视觉任务,例如在不受限制的环境中对对象进行检测,定位,识别和分割。尽管有很多关于对象检测或识别领域的分析研究,但相对于图像分割技术,出现了许多新的深度学习技术。本文从分析的角度探讨了图像分割的各种深度学习技术。这项工作的主要目的是提供对图像分割领域做出重大贡献的主要技术的直观理解。从一些传统的图像分割方法开始,本文进一步描述了深度学习对图像分割域的影响。此后,大多数主要的分割算法已按照专用于其独特贡献的段落进行了逻辑分类。

成为VIP会员查看完整内容
Understanding Deep Learning Techniques for Image Segmentation.pdf
0
90
小贴士
相关VIP内容
专知会员服务
30+阅读 · 1月9日
专知会员服务
186+阅读 · 2021年4月29日
专知会员服务
92+阅读 · 2021年1月1日
机器翻译深度学习最新综述
专知会员服务
76+阅读 · 2020年2月20日
专知会员服务
91+阅读 · 2020年2月8日
专知会员服务
216+阅读 · 2020年1月1日
【综述】智能医疗综述,48页论文详述医学AI最新进展
专知会员服务
39+阅读 · 2019年9月1日
【文献综述】图像分割综述,224篇参考文献,附58页PDF
专知会员服务
90+阅读 · 2019年6月16日
相关资讯
2019->2020必看的十篇「深度学习领域综述」论文
极市平台
20+阅读 · 2020年1月2日
综述 | 近5年基于深度学习的目标检测算法
计算机视觉life
18+阅读 · 2019年4月18日
深度学习目标检测算法综述
AI研习社
15+阅读 · 2019年2月1日
自然语言处理中注意力机制综述
AINLP
26+阅读 · 2019年1月21日
十大深度学习热门论文(2018年版)
论智
3+阅读 · 2018年4月24日
深度学习时代的目标检测算法综述
AI前线
6+阅读 · 2017年9月22日
相关论文
Ruohan Li,Jianxiang Li,Bhaskar Mitra,Fernando Diaz,Asia J. Biega
0+阅读 · 1月17日
Jianfeng Gao,Chenyan Xiong,Paul Bennett,Nick Craswell
0+阅读 · 1月13日
Invariant Information Bottleneck for Domain Generalization
Bo Li,Yifei Shen,Yezhen Wang,Wenzhen Zhu,Colorado J. Reed,Jun Zhang,Dongsheng Li,Kurt Keutzer,Han Zhao
8+阅读 · 2021年12月10日
Jabeen Summaira,Xi Li,Amin Muhammad Shoib,Songyuan Li,Jabbar Abdul
27+阅读 · 2021年5月24日
Shang-Hua Gao,Qi Han,Zhong-Yu Li,Pai Peng,Liang Wang,Ming-Ming Cheng
5+阅读 · 2021年1月4日
Qingyong Hu,Bo Yang,Linhai Xie,Stefano Rosa,Yulan Guo,Zhihua Wang,Niki Trigoni,Andrew Markham
7+阅读 · 2019年11月25日
Chinese Word Segmentation: Another Decade Review (2007-2017)
Hai Zhao,Deng Cai,Changning Huang,Chunyu Kit
4+阅读 · 2019年1月18日
Chenguang Zhu,Michael Zeng,Xuedong Huang
7+阅读 · 2019年1月2日
Deep Reinforcement Learning: An Overview
Yuxi Li
12+阅读 · 2018年11月26日
Minghao Hu,Yuxing Peng,Zhen Huang,Xipeng Qiu,Furu Wei,Ming Zhou
9+阅读 · 2018年4月25日
Top
微信扫码咨询专知VIP会员