深度学习是机器学习和统计学交叉领域的一个子集,在过去的几年里得到快速的发展。强大的开源工具以及大数据爆发使其取得令人惊讶的突破进展。本文根据微软学术的引用量作为评价指标,从中选取了10篇顶尖论文。
注意:引用量会随着时间发生快速的变化,本文参考的是本文发表时候的引用量。文末附论文下载地址
深度学习时间线
在这份清单中,超过75%的文章都提到了深度学习和神经网络,尤其是卷积神经网络(CNN),其中,50%的文章是计算机领域模式识别应用。随着硬件性能、数据量及开源工具的发展,使用基于GPU的工具箱,如TensorFlow、Theano等,有利于数据科学家和机器学习工程师扩展相应的应用领域。
本文是深度学习大牛Hinton的开山之作,引用量高达5700多次。在这篇文章中,提出了深度学习的方法,它允许由多个处理层组成的计算模型来学习具有多个抽象层次的数据表示。这些方法极大地促进了语言识别、视觉物体识别、目标检测以及药物发现、基因组合灯许多领域的进展。
2.TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems, by Martín A., Ashish A. B., Eugene B. C., et al. (2015) (引用量: 2,423)
这篇文章发布了TensorFlow工具箱,该工具箱使用非常灵活,十分受研究者的追捧,很多研究者认为你该工具箱在之后的研究中会占据主导地位。TensorFlow可以用来表示各种各样的算法,包括深层神经网络模型以及推理算法等。TensorFlow已经被用于研究,并将计算机学习系统部署到计算机科学和其它的多个领域,包括语言识别、计算机视觉、机器人、信息检索、自然语言处理、地理信息提取等。
3.Deep learning in neural networks, by Juergen Schmidhuber (2015) (引用量: 2,196)
这篇文中是一个综述类文章,总结了深度学习和神经网络的发展历史。浅层和深层学习器是通过网络层数的数量区分,并且详细讲解了有监督学习(简要介绍反向传播算法的历史)、无监督学习、强化学习、进化计算以及深层编码网络。
4.Human-level control through deep reinforcement learning, by Volodymyr M., Koray K., David S., Andrei A. R., Joel V et al (2015) (引用量: 2,086)
这篇文章主要是使用深层神经网络的最新进展——强化学习,并训练了一种新颖且智能代理,被称为Q网络。Q网络使用端到端强化学习直接从高维感官输入学习到成功的策略,并使用经典游戏Atari 2600对其进行测试,结果表明其效果非常好。
5.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, by Shaoqing R., Kaiming H., Ross B. G. & Jian S. (2015) (引用量: 1,421)
这篇文章的主要工作是引入了区域推荐网络(RPN),该网络能够与检测网络共享全图像卷积特征,从而使无成本的区域推荐成为可能。一个RPN网络是一个全卷积网络,同时预测每个位置对象的范围和其分数。
6.Long-term recurrent convolutional networks for visual recognition and description, by Jeff D., Lisa Anne H., Sergio G., Marcus R., Subhashini V. et al. (2015) (引用量: 1,285)
与当前假设固定时空感受野或简单时间平均序列的模型处理相比而言,递归卷积模型是“双份深度”,这是由于该模型是“时间层”和“空间层”的组合。
7.MatConvNet: Convolutional Neural Networks for MATLAB, by Andrea Vedaldi & Karel Lenc (2015) (引用量: 1,148)
本文是针对MATLAB开发的深度学习工具箱,它揭露了CNN模型也可以通过简单使用MATLAB函数完成搭建。该工具箱提供了卷积层、池化层等功能。该文档简单介绍了CNN,并说明如何在matconvnet工具箱中实现模型的搭建,并给出了每个计算块的技术细节。
8.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, by Alec R., Luke M. & Soumith C. (2015) (引用量: 1,054)
在这篇文章中,希望通过CNN缩小有监督学习和无监督学习二者之间的差距。引入了一类新的CNN模型,被称作深层卷积生成对抗网络(DCGANs)。该网络具有一定体系结构约束,也被证明是无监督学习问题中一种有效方法。
9.U-Net: Convolutional Networks for Biomedical Image Segmentation, by Olaf R., Philipp F. &Thomas B. (2015) (引用量: 975)
对于深度学习而言,人们大多有个共识——深层网络训练成功需要依赖于大量的训练样本。而在本篇文章中,提出了一种新的网络和训练策略,其训练策略依赖于数据增强,使其可以更高效地使用现有样本。
10.Conditional Random Fields as Recurrent Neural Networks, by Shuai Z., Sadeep J., Bernardino R., Vibhav V. et al (2015) (引用量: 760)
在这篇文章中,引入了一种新的模型,它将卷积神经网络(CNN)与条件随机场(CRF)二者的优点相结合,构造出RNN网络。
后台回复“深度学习论文” 获取以上论文
针对希望深入实战深度学习的同学,七月在线开设了【深度学习集训营】,略过Python基础,从TensorFlow搭建DNN解决问题起步,线下一对一指导、互动,实战BAT工业项目。
4月24日正式开课,线上线下结合(线下在北京和上海),从头到尾全部实战,涵盖特征工程、深度学习在计算机视觉和自然语言处理领域中的应用,更有大规模车辆图片检索等应用于智慧城市、视频监控等场景的杀手级项目。
以下为试听课:TensorFlow推荐系统
扫描下方二维码获取深度学习礼包