神经网络与深度学习，复旦大学邱锡鹏老师

神经网络与深度学习，复旦大学邱锡鹏老师。近年来，以机器学习、知识图谱为代表的人工智能技术逐渐变得普及。从车牌识别、人脸识别、语音识别、智能问答、推荐系统到自动驾驶，人们在日常生活中都可能有意无意地使用到了人工智能技术。这些技术的背后都离不开人工智能领域研究者们的长期努力。特别是最近这几年，得益于数据的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富，越来越多的人开始关注这一个“崭新”的研究领域：深度学习。深度学习以神经网络为主要模型，一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力，深度学习越来越多地用来解决一些通用人工智能问题，比如推理、决策等。目前，深度学习技术在学术界和工业界取得了广泛的成功，受到高度重视，并掀起新一轮的人工智能热潮。

本课程主要介绍神经网络与深度学习中的基础知识、主要模型（前馈网络、卷积网络、循环网络等）以及在计算机视觉、自然语言处理等领域的应用。

本书的写作目的是使得读者能够掌握神经网络与深度学习技术的基本原理，知其然还要知其所以然。全书共 15 章。第 1 章是绪论，介绍人工智能、机器学习、深度学习的概要，使读者对相关知识进行全面的了解。第2、3章介绍机器学习的基础知识。第4、5、6章分别讲述三种主要的神经网络模型：前馈神经 网络、卷积神经网络和循环神经网络。第7章介绍神经网络的优化与正则化方法。第8章介绍神经网络中的注意力机制和外部记忆。第9章简要介绍一些无监督学习方法。第10章介绍一些模型独立的机器学习方法：集成学习、自训练、协同训练多任务学习、迁移学习、终身学习、元学习等，这些都是目前深度学习的难点和热点问题。第11章介绍概率图模型的基本概念，为后面的章节进行铺垫。第12章介绍两种早期的深度学习模型：玻尔兹曼机和深度信念网络。第13章介绍最近两年发展十分迅速的深度生成模型：变分自编码器和生成对抗网络。第14章介绍深度强化学习的知识。第15章介绍应用十分广泛的序列生成模型。

• 绪论
• 机器学习概述
• 线性模型
• 前馈神经网络
• 卷积神经网络
• 循环神经网络
• 网络优化与正则化
• 注意力机制与外部记忆
• 无监督学习
• 模型独立的学习方式
• 概率图模型
• 深度信念网络
• 深度生成模型
• 深度强化学习
• 序列生成模型 一个过时版本：词嵌入与语言模型
• 数学基础