深度学习:打开智能时代第一扇大门的钥匙

2019 年 9 月 12 日 科学出版社
深度学习:打开智能时代第一扇大门的钥匙



人工智能是人类的科技巅峰和终极梦想。 早在古希腊时代,先哲们就开始思考如何构建像人一样思考和行动的机器。 图灵在发明现代计算机模型的同时,也在构思如何实现人工智能。 计算机出现以来的几十年里,计算机和自动化等领域的科学家们进行了不懈的努力,但始终没有打开人工智能这扇大门。 就在大部分企业和学者已经放弃人工智能时,2006年,著名学者Hinton等发现了训练深度神经网络的有效方法并命名为深度学习。 2011年和2012年,深度学习在语音识别和图像识别方面取得巨大突破。 2013年入选《麻省理工学院技术评论》当年十大突破性技术之首。 2016年,以深度学习技术为核心的围棋软件AlphaGo打败了人类世界冠军,标志着人类正式进入智能时代。 2019 年 3 月,ACM 宣布将 2018 年度图灵奖授予深度学习之父 Bengio、LeCun和Hinton,他们使深度神经网络成为计算的关键元素。 深度学习像阿里巴巴的“芝麻开门”,开启了通向智能时代的第一扇门; 像普罗米修斯偷来的天上之火,点燃了人类进入智能时代文明的火种。

图1 图灵和图灵奖杯
图片来源:美国电子计算机协会官网

图2 深度学习之父,2018年度图灵奖获得者
图片来源:美国电子计算机协会官网

深度学习是早期神经网络的深入发展,是一系列深度神经网络模型、训练方法和实现方法的统称。

正是深度学习引领了人工智能这一轮新的高潮。 今天,深度学习已经是人工智能的代名词(甚至包括今后若干年)。 目前几乎所有人工智能系统都是在深度学习的基础上构建的。 深度学习是在对人脑的逆向工程中发展起来的。 尽管深度学习只是揭示和模拟了人脑工作的一小部分机制,但它已经帮助人工智能实现了巨大的跨越。 就像飞机的研究是在模拟鸟类飞行一样,虽然最终的飞机远远不像鸟,也没有鸟类飞行的灵活性和稳定性,但今天的飞机已经载着人们翱翔于万里长空。 深度学习的出现使得人工智能在很多领域的应用成为可能。 就在几年前,人们还常说,计算机的感知能力还不如一岁大的孩子,但今天这句话已经被改写了。 深度学习使计算机在图像识别、语音识别、自然语言处理等方面已经达到或超过人类的水平。 构建在这些基础能力之上的复杂智能系统也在蓬勃发展: 自动驾驶汽车的安全性已经超过16岁的青少年; 智能医疗在癌症、皮肤病等疾病的诊断方面已经超过专业医生; 智能程序在德州扑克等很多游戏领域战胜了人类玩家; 人工智能在围棋方面已超越了人类围棋冠军。 虽然当前的技术距离类人的通用人工智能还很遥远,但以深度学习为核心的人工智能技术已经使世界科技、经济、军事等各个领域纷纷迈入智能化时代。


深度学习不是早期神经网络的简单深度化。 近年来,人们提出大量新的深度学习模型和训练方法。 最著名的新模型是生成对抗网络,它于2018年入选《麻省理工学院技术评论》当年十大突破性技术。 人们在深度学习理论方面也有很多新的突破,并开始开展深度学习可解释性、对抗样本攻击与防御等研究。 短短几年,深度学习本身已发展为一个重要的领域,每年有数以万计的论文发表,这是科技史上的奇迹。 但是,如飞的发展速度也使得很少有人能够停下来静心总结。 海量的文献已经使学习和研究深度学习变得越来越困难,一本全面而系统的著作是十分必要的。

当前市面上已经有一些深度学习的书籍,这些书可分为三类: 最多的是实践入门书,基于某一平台(例如TensorFlow),帮助读者快速构建深度学习系统,以代码实现为主,在理论和方法方面阐述较少; 还有少数是科普书,最著名的是美国Sejnowski的《深度学习——智能时代的核心驱动力量》,适合非专业人士阅读; 最后一类是专业书,最著名的是GoodFellow等的被称为“花书”的《深度学习》,该书的内容很深入但很晦涩,一般读者阅读起来有较大的困难。

《深度学习》分为上下两册,共904页,145万字,兼顾初学者和专业人士,深入浅出地讨论深度学习的各个方面。本书有以下几个特色。


01


系统全面:本书从机器学习和早期神经网络出发,系统全面地介绍了(除深度学习专用芯片设计以外的)理论、模型、算法和实现各项内容。尤其是包括生成对抗网络(已经成为重要的深度学习技术之一)、注意力机制、深度聚类、可解释性、对抗样本攻防和鲁棒性,这些是其他书籍很少涉及的。


02


深入细致:本书不仅深入讨论了各类模型的设计、优化、实现,还详细阐述了它们的研究动机和发展脉络,使读者不但知其然,更知其所以然。帮助读者在学习的同时,深入思考和梳理,为进一步研究和应用奠定良好的基础。


03


生动形象: 作为一本专业书,本书有大量的数学公式和算法描述。 本书除了参考专业文献外,更参考了大量学习者的博客和阅读笔记,同时以大量的图形形象地展示抽象的理论和算法,帮助读者更加轻松地阅读专业资料。

04


紧扣前沿: 本书整理了截止到2018年6月(书稿完成的当月)发表在顶级学术会议和期刊的代表性工作(“花书”的文献截止到2015年)。 深度学习发展异常迅速,尤其是近三年涌现出大量堪称经典的算法和模型。 本书的配套网站(http://deeplearningresource.com)还将陆续整理最新发表的文献,帮助读者与学术前沿同步。

05


资料详实: 本书引用了2000多篇文献,包括最早期的机器学习、神经网络和近期的深度学习,其中近三年文献1500多篇。 同时本书的配套网站提供更丰富的文献、代码、数据、彩图等资料,帮助读者全面理解和学习。

图3 本书知识体系


作者简介


张宪超,大连理工大学教授,博士生导师,科研院副院长,大数据与智能决策中心副主任。 本科和硕士毕业于国防科技大学系统工程与数学系; 博士毕业于中国科技大学计算机科学与技术系,师从中国计算机学会高性能计算专委会首届主任、首届国家级教学名师陈国良院士。 长期从事人工智能、机器学习和深度学习方面的研究,并致力于军事、经济等领域的智能化建设。 已主持国家级各类科研项目10余项,发表论文130余篇,出版《数据聚类》专著1部。 在无监督学习领域取得了一系列国际领先成果。 作为负责人获教育部高等学校科学技术奖(自然科学)二等奖和辽宁省自然科学二等奖各1项。 任中国指挥与控制学会智能可穿戴专委会副主任以及多个军事智能化领域的专家。 获得教育部新世纪优秀人才、辽宁省百千万人才工程、大连市领军人才等称号。




长按二维码  购买本书




长按二维码  购买本书



《深度学习》对所有主要的深度学习方法和最新研究趋势进行了深入探索。 全书分为上下两卷,五个部分。 上卷包括两个部分: 第一部分是基础算法,包括机器学习基础算法、早期神经网络算法、深度学习的正则化方法和深度学习的优化方法; 第二部分是判别式模型,包括卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆模型(LSTM)、注意力机制和记忆网络。 下卷包括三个部分: 第三部分是生成式模型,包括深度置信网络/深度玻尔兹曼机、自编码器(AE)/变分自编码器(VAE)、生成对抗网络(GAN)、像素级生成、深度聚类等; 第四部分是前沿技术,讨论深度强化学习; 第五部分是安全保障,包括深度学习的可解释性和对抗样本的攻击与防御。

《深度学习》注重学术前沿,对包括胶囊网络在内的当前最新成果进行了细致的讨论。 全书构建了一套明晰的深度学习体系,同时各章内容相对独立,并有辅助网站(http://deeplearningresource.com)在线提供大量论文、代码、数据集和彩图等学习资源供读者边实践边学习。

(本期编辑:安 静)


一起阅读科学!

科学出版社│微信ID:sciencepress-cspm

专业品质  学术价值

原创好读  科学品味

更多好素材,期待您的来稿

与科学相约 | 科学出版社征稿启事

传播科学,欢迎分享“在看”▼

登录查看更多
1

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

人工智能(AI)是指在机器上实现类似乃至超越人类的感知、认知、行为等智能的系统。与人类历史上其他技术革命相比,人工智能对人类社会发展的影响可能位居前列。人类社会也正在由以计算机、通信、互联网、大数据等技术支撑的信息社会,迈向以人工智能为关键支撑的智能社会,人类生产生活以及世界发展格局将由此发生更加深刻的改变。

  人工智能分为强人工智能和弱人工智能。强人工智能,也称通用人工智能,是指达到或超越人类水平的、能够自适应地应对外界环境挑战的、具有自我意识的人工智能。弱人工智能,也称狭义人工智能,是指人工系统实现专用或特定技能的智能,如人脸识别、机器翻译等。迄今为止大家熟悉的各种人工智能系统,都只实现了特定或专用的人类智能,属于弱人工智能系统。弱人工智能可以在单项上挑战人类,比如下围棋,人类已经不是人工智能的对手了。

  人工智能发展的基本思想和技术路径有三种

  人工智能研究工作肇始于20世纪40年代,但其完整概念在1956年才正式登上历史舞台,在美国达特茅斯学院举行的“人工智能夏季研讨会”上提出。这个研讨会的主题就是用机器来模仿人类学习以及其他方面的智能,推进了人工智能起起伏伏、螺旋发展的历程。

  第一个阶段,1956—1976年,基于符号逻辑的推理证明阶段。这一阶段的主要成果是利用布尔代数作为逻辑演算的数学工具,利用演绎推理作为推理工具,发展了逻辑编程语言,实现了包括代数机器定理证明等机器推理决策系统。但在人工智能理论与方法工具尚不完备的初期阶段,以攻克认知作为目标显然不切实际,人工智能研究逐步从高潮进入低谷。

  第二个阶段,1976—2006年,基于人工规则的专家系统阶段。这个阶段的主要进展是打开了知识工程的新研究领地,研制出专家系统工具与相关语言,开发出多种专家系统,比如故障诊断专家系统、农业专家系统、疾病诊断专家系统、邮件自动分拣系统等等。专家系统主要由知识库、推理机以及交互界面构成,其中,知识库的知识主要由各领域专家人工构建。然而,知识仅靠专家的手工表达实现,终不免挂一漏万,使得专家系统无法与人类专家与时俱进的学习能力相匹配,人工智能研究第二次进入瓶颈期。

  第三个阶段,2006年至今,大数据驱动的深度神经网络阶段,也是深度学习大行其道的时期。人工神经网络的发展,随着人工智能的发展起起伏伏。初期人们对其可以模拟生物神经系统的某些功能十分关注,但是对复杂网络的学习收敛性、健壮性和快速学习能力一直难以把握,直到上世纪80年代反向传播算法的发明和90年代卷积网络的发明,神经网络研究取得重要突破。深度神经网络方法走到前台,开启了人工智能新阶段。

  自诞生以来,人工智能发展的基本思想和技术路径总的来说有三种。

  第一种路径是符号主义或者说逻辑学派,形式逻辑是其理论基础,主张人工智能应从智能的功能模拟入手,认为符号是智能的基本元素,智能是符号的表征和运算过程。前述第一个阶段和第二个阶段中,符号主义都是主导思想。

  第二种路径是连接主义或者说神经网络学派,发源于上世纪40年代,强调智能活动是由大量简单(神经)单元通过复杂连接后并行运行的结果。其基本思想是:既然人脑智能是由神经网络产生的,那就通过人工方式构造神经网络,再通过训练产生智能。人工神经网络是对生物神经网络的抽象和简化。80年代神经网络的兴盛和近年来兴起的深度学习网络,都是包含多层神经元的人工神经网络。

  第三种路径是行为主义或者说控制学派,又称进化主义。这个学派在上世纪80年代末、90年代初兴起,思想源头是上世纪40年代的控制论。控制论认为,智能来自智能主体与环境以及其他智能主体相互作用的成功经验,是优胜劣汰、适者生存的结果。

  机器学习是未来方向,将人类从重复性劳动中解放出来

  机器学习是上世纪80年代中期发展起来的人工智能新方向。机器学习研究机器怎样模拟或实现人类的学习行为,以获取新的知识或技能,或者根据环境自适应地调整对策。机器学习可以让机器通过对经验进行“归纳”和“推理”而实现自动改进。

  目前,机器学习仍然是人工智能研究的热点之一,包括深度学习的可解释性和可信性,增强智能系统的自学习和自适应能力,以及无监督学习、多模态协同学习、强化学习、终生学习等新的机器学习方法。另外,考虑到数据安全和隐私保护,在数据加密或者部分加密的情况下如何学习,也是重要研究方向之一。在深度学习浪潮推动下,人工智能其他研究方向也在加速发展,包括机器感知、模式识别与数据挖掘、自然语言处理、知识表示与处理、智能芯片与系统、认知与神经科学启发的人工智能、人工智能和其他学科的交叉等。

  中国是世界上人工智能研发和产业规模最大的国家之一。虽然我们在人工智能基础理论与算法、核心芯片与元器件、机器学习算法开源框架等方面起步较晚,但在国家人工智能优先发展策略、大数据规模、人工智能应用场景与产业规模、青年人才数量等方面具有优势。

  中国的人工智能发展,挑战与机遇同在,机遇大于挑战。尽管是后来者,但我们市场规模大,青年人多,奋斗精神强,长期来看更有优势。如果说18世纪中叶蒸汽机带来第一次工业革命,持续了100年;19世纪中叶电力带来第二次工业革命,持续了100年;20世纪中叶计算机与通信带来第三次工业革命,到现在持续了70多年;我们可以预见,本世纪中叶前后人工智能可能会带来下一次工业革命,影响百年。当然,现在人工智能技术的储备还远没有达到开启智能时代的量级,还需要持续积累和创新。现在的计算机体系结构,还无法满足实现强人工智能的需求。未来可能的突破方向包括人工智能基础理论与算法、类脑计算、生物计算、量子计算等。

  其影响不仅关系国家发展,而且关系亿万劳动者日常生活。以深度学习为代表的人工智能技术高速发展并广泛应用,正在深刻改变人类社会生活的方方面面。产业界从提高效率、降低成本等角度,积极采用人工智能技术解决各种应用问题,包括智能机器人、智能制造、智能监控、无人驾驶、自动问答、医疗诊断、智能家居、政务法务等,为人类带来福祉。

  从就业角度来看,越来越多的超市、银行、餐馆开始使用机器服务,甚至律师、证券分析师等高知识含量工作也可能被机器人取代,这给劳动者就业带来挑战。人工智能的应用必然会提高劳动生产率,正如第一次工业革命期间,机器的应用虽然减少了传统轻工业就业岗位,但是也创造了更多新兴产业就业岗位。人工智能也一样,随着它的发展,将会产生很多新的工作岗位,只是对技能的要求与传统岗位不同。因此,随着人工智能的推进,教育培训体系也应该根据就业结构变化而积极调整,加快推进产业升级中的职业转岗培训。

  人工智能把我们从简单重复的劳动中解放出来,更有利于人类充分挖掘自己的智能潜力。面对即将到来的智能社会,我们应该以积极态度拥抱变化。与其担忧工作被抢走,不如与机器“共勉”,机器尚在持续学习,我们人类难道不应该更加努力学习、终身学习吗? 

(作者:高文,北京大学教授、中国工程院院士,黄铁军为北京大学教授)

推荐读物:

1.《人工智能导论》:李德毅主编;中国科学技术出版社出版。全面覆盖人工智能的基本概念和重要方向,图文并茂,通俗易懂。

2.《人工智能全球格局:未来趋势与中国位势》:国务院发展研究中心国际技术经济研究所等著;中国人民大学出版社出版。客观审视各国政府和科技公司的人工智能布局,讲述以科技创新领跑世界的中国故事。

3.《AI 的25 种可能》:[ 美] 约翰·布罗克曼编著;浙江人民出版社出版。25 位著名专家从不同角度解读人工智能,对专业人员和大众读者都具有启发性。

来源:人民日报

http://www.cac.gov.cn/2020-02/18/c_1583568733316229.htm

成为VIP会员查看完整内容
0
25
小贴士
相关资讯
【深度学习】深度学习的问题究竟在哪?
产业智能官
3+阅读 · 2019年8月30日
人工智能的现状与未来(附PPT)
人工智能学家
43+阅读 · 2019年3月27日
龚健雅院士:人工智能时代测绘遥感技术的发展机遇与挑战
未来产业促进会
5+阅读 · 2018年12月25日
鼠标终将消失,未来我们有哪些人机交互方式?
人工智能学家
5+阅读 · 2018年11月25日
深度学习(deep learning)发展史
机器学习算法与Python学习
6+阅读 · 2018年3月19日
为你推荐一份深度学习书单,来学习吧~
THU数据派
12+阅读 · 2018年3月13日
2018年最佳深度学习书单
云栖社区
7+阅读 · 2018年3月11日
【机器学习】机器学习和深度学习概念入门
产业智能官
8+阅读 · 2018年1月3日
入门人工智能该读哪些书?
InfoQ
3+阅读 · 2017年12月4日
相关VIP内容
专知会员服务
71+阅读 · 2020年6月14日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
65+阅读 · 2020年3月9日
阿里巴巴达摩院发布「2020十大科技趋势」
专知会员服务
88+阅读 · 2020年1月2日
2019中国硬科技发展白皮书 193页
专知会员服务
43+阅读 · 2019年12月13日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
相关论文
Keyulu Xu,Jingling Li,Mozhi Zhang,Simon S. Du,Ken-ichi Kawarabayashi,Stefanie Jegelka
8+阅读 · 2020年2月15日
Bernhard Schölkopf
10+阅读 · 2019年11月24日
Generating Question Relevant Captions to Aid Visual Question Answering
Jialin Wu,Zeyuan Hu,Raymond J. Mooney
4+阅读 · 2019年9月9日
A Simple BERT-Based Approach for Lexical Simplification
Jipeng Qiang,Yun Li,Yi Zhu,Yunhao Yuan
6+阅读 · 2019年7月16日
Fast and Accurate, Convolutional Neural Network Based Approach for Object Detection from UAV
Xiaoliang Wang,Peng Cheng,Xinchuan Liu,Benedict Uzochukwu
4+阅读 · 2019年1月4日
Hierarchical Deep Multiagent Reinforcement Learning
Hongyao Tang,Jianye Hao,Tangjie Lv,Yingfeng Chen,Zongzhang Zhang,Hangtian Jia,Chunxu Ren,Yan Zheng,Changjie Fan,Li Wang
6+阅读 · 2018年9月25日
Yi Tay,Anh Tuan Luu,Siu Cheung Hui
4+阅读 · 2018年5月29日
Ermo Wei,Drew Wicke,David Freelan,Sean Luke
10+阅读 · 2018年4月25日
Yi Tay,Luu Anh Tuan,Siu Cheung Hui
10+阅读 · 2018年1月28日
Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N. Gomez,Lukasz Kaiser,Illia Polosukhin
15+阅读 · 2017年12月6日
Top