来自巴斯大学计算机科学教授Simon J.D. Prince撰写的《理解深度学习》新书，共有19章，从机器学习基础概念到深度学习各种模型，包括最新的Transformer和图神经网络，比较系统全面，值得关注。
深度学习的历史在科学界是不寻常的。一小群科学家的坚持不懈，在一个看似没有希望的领域工作了25年，已经彻底改变了一个领域，并极大地影响了社会。通常，当研究人员调查科学或工程的一个深奥和明显不切实际的角落时，它仍然是深奥和不切实际的。然而，这是一个明显的例外。尽管普遍存在怀疑，但Yoshua Bengio、Geoff Hinton、Yann LeCun等人的系统努力最终取得了回报。本书的标题是“理解深度学习”，以区别于涵盖编码和其他实用方面的书籍。**本文主要介绍深度学习的基础思想。**本书的第一部分介绍了深度学习模型，并讨论了如何训练它们、衡量它们的性能并提高性能。下一部分将讨论专门用于图像、文本和图形数据的体系结构。这些章节只需要线性代数、微积分和概率论的入门，任何数量学科的二年级本科生都应该能读懂。本书后续部分将讨论生成模型和强化学习。这些章节需要更多的概率和微积分知识，目标是更高级的学生。这个标题在一定程度上也是一个笑话——在写作时，没有人真正理解深度学习。现代深度网络学习的分段线性函数的区域比宇宙中原子的数量还要多，并且可以用比模型参数更少的数据示例进行训练。显然，我们应该能够可靠地拟合这些函数，也不应该很好地泛化到新数据。最后一章讨论这些以及其他尚未完全理解的方面。您的时间是宝贵的，我努力策划和呈现材料，以便您可以尽可能高效地理解它。每一章的主要内容是对最重要的思想的简要描述，并附有插图。附录回顾了所有的数学先决条件，不需要参考外部材料。对于希望深入研究的读者，每一章都有相关的问题、Python笔记，并总结了该领域的历史和最新研究。写一本书是一个孤独的、艰难的、多年的过程，只有当它被广泛采用时才有价值。如果您喜欢阅读本文或有改进建议，请通过附带的网站与我联系。我很乐意听到你的想法，这些想法将为后续的版本提供信息和动力。
**人工智能(AI)关注的是构建模拟智能行为的系统。**它包含了广泛的方法，包括基于逻辑、搜索和概率推理的方法。机器学习是人工智能的一个子集，它通过将数学模型拟合到观察到的数据来学习做出决策。这个领域经历了爆炸式的增长，现在(错误地)几乎是AI这个术语的同义词。深度神经网络是机器学习模型的一种，当该模型对数据进行拟合时，这被称为深度学习。在撰写本文时，深度网络是最强大、最实用的机器学习模型，在日常生活中经常遇到。使用自然语言处理算法翻译另一种语言的文本，使用计算机视觉系统在互联网上搜索特定对象的图像，或通过语音识别界面与数字助理交谈，都是很常见的。所有这些应用程序都是由深度学习驱动的。正如标题所示，本书旨在帮助该领域的新读者理解深度学习背后的原理。这本书既不太理论化(没有证明)，也不太实用(几乎没有代码)。我们的目标是解释潜在的想法;在阅读完这本书后，读者将能够将深度学习应用于没有现有成功秘诀的新颖情况。机器学习方法大致可以分为三个领域:有监督、无监督和强化学习。在本书写作时，这三个领域的前沿方法都依赖于深度学习(图1 - 1)。本章从较高的层次描述了这三个领域，本书的组织结构也大致反映了这种分类法。
**本书的结构与这篇引言的结构一致。第2 ~ 9章介绍了监督学习流程。本文介绍了浅层和深层神经网络，并讨论了如何训练它们，测量和提高它们的性能。**第10-13章描述了深度神经网络的常见架构变体，包括卷积网络、残差连接和transformer。这些架构用于监督、无监督和强化学习。第14 ~ 18章使用深度神经网络解决无监督学习问题。我们用一章的时间介绍四个现代深度生成模型:生成对抗网络、变分自动编码器、归一化流和扩散模型。第19章简要介绍了深度强化学习。这是一个可以单独写成一本书的话题，因此这里的论述必然是肤浅的，但对于不熟悉该领域的读者来说，这是一个很好的起点。尽管这本书的标题是，深度学习的一些方面仍然鲜为人知。第20章提出了一些基本问题。为什么深度网络如此容易训练?为什么它们的泛化能力这么好?为什么他们需要这么多参数?它们需要很深吗?在此过程中，探索了意想不到的现象，如损失函数的结构、双下降、grokking和彩票。 * Chapter 1 - 导论 Introduction * Chapter 2 - 监督学习 Supervised learning * Chapter 3 - 浅层神经网络 Shallow neural networks * Chapter 4 - 深度神经网络 Deep neural networks * Chapter 5 - 损失函数 Loss functions * Chapter 6 - 训练模型 Training models * Chapter 7 - 梯度与初始化 Gradients and initialization * Chapter 8 - 度量性能 Measuring performance * Chapter 9 - 正则化 Regularization * Chapter 10 - 卷积网络 Convolutional nets * Chapter 11 - 残差网络 Residual networks and BatchNorm * Chapter 12 - Transformers * Chapter 13 - 图神经网络 Graph neural networks * Chapter 14 - 无监督学习Unsupervised learning * Chapter 15 - 生成对抗网络 Generative adversarial networks * Chapter 16 - Normalizing flows * Chapter 17 - 变分自编码器 Variational auto-encoders * Chapter 18 - 扩散模型 Diffusion models * Chapter 19 - 深度强化学习 Deep reinforcement learning * Chapter 20 - 为什么深度学习work？Why does deep learning work?
Understanding Deep Learning
许多行业都渴望将AI和数据驱动技术集成到他们的系统和运营中。但要建立真正成功的人工智能系统，你需要牢固掌握基础数学。这份全面的指南弥补了人工智能的潜力和应用与其相关数学基础之间的表述差距。
https://www.oreilly.com/library/view/essential-math-for/9781098107628/
以沉浸式和对话的风格，这本书调研了在人工智能领域蓬勃发展所需的数学，专注于现实世界的应用和最先进的模型，而不是密集的学术理论。您将探索诸如回归、神经网络、卷积、优化、概率、图、随机游走、马尔可夫过程、微分方程等主题，在面向计算机视觉、自然语言处理、生成模型、强化学习、运筹学和自动化系统的独家人工智能背景下。本书面向广泛的读者，包括工程师、数据科学家、数学家、科学家和处于职业生涯早期的人，为在人工智能和数学领域取得成功奠定了坚实的基础。
你将能够: * 轻松地说人工智能、机器学习、数据科学和数学的语言 * 将机器学习模型和自然语言模型统一在一个数学结构下 * 轻松处理图和网络数据 * 探索真实数据，可视化空间变换，降低维度，处理图像 * 决定在不同的数据驱动项目中使用哪些模型 * 探索人工智能的各种含义和限制
在因果关系中识别和处理现代统计发展的独一无二的指南 **《统计和因果关系:应用实证研究方法》由一组知名专家撰写，侧重于因果关系方面统计方法的最新发展。**说明了因果理论的统计方法的属性，这本书的特点是总结了因果假设的统计分析方法的最新发展。 这本书分为五个容易理解的独立部分。第一部分介绍了因果结构的基础，并讨论了与标准机制和差异制造理论相关的问题。第二部分新颖地概括了关于效果方向的陈述方法。第三部分阐述了granger因果检验的研究进展及相关问题。第四部分重点介绍反事实方法和倾向得分分析。最后，第五部分介绍了因果推断的设计，并概述了流行病学中常用的研究设计。统计学和因果关系:应用实证研究的方法还包括: 在哲学理论持续发展的背景下，因果分析的新统计方法和方法 为进一步讨论和其他研究主题提供参考的章末书目 适当时讨论软件的使用和适用性 《统计和因果关系:应用实证研究方法》是一个理想的参考，为实践统计学家，应用数学家，心理学家，社会学家，逻辑学家，医学专业人员，流行病学家，和教育工作者谁想了解更多的因果分析的新方法。这本书也是一个优秀的教科书研究生水平的课程在因果和定性逻辑。 https://www.wiley.com/en-us/Statistics+and+Causality:+Methods+for+Applied+Empirical+Research-p-9781118947043
《图:理论和算法》这本书是一本现代文章的集合，介绍了几种基于图的方法和算法。它还涵盖了与图的矩阵表示有关的重要理论方面，如拉普拉斯矩阵和距离矩阵，可用于解决诸如哈密顿矩阵和最短路径等问题，以及寻找最小生成树和匹配模式。
图论首先由Leonhard Euler在他对Königsberg问题的七桥分析中提出并引入(Euler, 1741;Newman等人，1953)。为解决该问题，Euler将每个地块替换为一个抽象的顶点(图节点)，将每个桥梁替换为一个抽象的连接(图边)。如今，图可以用来表示不同类型的数据，因此在许多研究领域有着广泛的应用。例如，图形已被用于表示网络结构、分子模型、物种迁移模式、自然语言语法结构等(例如Gross和Yellen, 2009;Foulds, 2012)。
https://www.perlego.com/book/2076412/graphs-theory-and-algorithms-pdf
《数据科学中的数学方法》介绍了一种基于网络分析的新方法，将大数据整合到常微分方程和偏微分方程的框架中进行数据分析和预测。数学伴随着数据科学中出现的例子和问题，以演示高等数学，特别是数据驱动的微分方程。章节还涵盖网络分析，常微分方程和偏微分方程基于最近发表和未发表的结果。最后，本书介绍了一种基于网络分析的新方法，将大数据整合到常微分方程和偏微分方程的框架中进行数据分析和预测。在数据科学中有许多关于数学方法的书籍。目前，所有这些相关的书籍主要集中在线性代数，优化和统计方法。然而，网络分析、常微分方程模型和偏微分方程模型在数据科学中发挥着越来越重要的作用。随着COVID-19临床、流行病学和社会数据的空前丰富，数据驱动的微分方程模型在感染预测和分析方面变得更加有用。 https://www.elsevier.com/books/mathematical-methods-in-data-science/ren/978-0-443-18679-0
本书使用数学和Python代码的新颖集成，说明了连接概率、统计和机器学习的基本概念，使读者不仅可以使用现代Python模块使用统计和机器学习模型，而且还了解它们的相对优点和缺点。为了将理论概念与实际实现清晰地联系起来，作者提供了许多经过设计的示例以及“编程技巧”，鼓励读者编写高质量的Python代码。整个文本，包括所有的图和数值结果，都可以使用所提供的Python代码进行重现，从而使读者能够在自己的计算机上使用相同的代码进行实验。
现代Python模块，如Pandas、Sympy、Scikit-learn、Statsmodels、Scipy、Xarray、Tensorflow和Keras，用于实现和可视化重要的机器学习概念，如偏差/方差权衡、交叉验证、可解释性和正则化。许多抽象的数学思想，如概率的收敛模式，都用具体的数值例子加以解释和说明。这本书适合任何具有概率论、统计学或机器学习本科水平经验并具有Python编程基本知识的人。
**本书收集了最近的研究工作，解决了关于改进GANs的学习过程和泛化的理论问题，以及GANs在现实生活各个领域的最新应用。**近年来，对抗性学习引起了国内外机器学习领域的广泛关注。生成对抗网络(Generative adversarial networks, GANs)作为对抗学习的主要方法，通过引入极大极小学习的概念，使得两个网络在学习过程中相互竞争，从而获得了巨大的成功和流行。它们的关键能力是生成新数据和复制可用的数据分布，这在许多实际应用中都是需要的，特别是在计算机视觉和信号处理中。本书面向人工智能领域的学者、从业者和研究学生，希望了解GANs理论发展及其应用的最新进展。
考察机器学习艺术及其在新媒体艺术和音乐中的实践。
在过去的十年中，出现了一场艺术运动，将机器学习作为灵感和媒介。在这本书中，跨学科的艺术家兼研究员Sofian Audry审视了机器学习和新媒体艺术交叉的艺术实践，为新媒体艺术家、音乐家、作曲家、作家、策展人和理论家提供了概念工具和历史视角。Audry从广泛的实践中观察作品，包括新媒体装置、机器人艺术、视觉艺术、电子音乐和声音，以及电子文学，将机器学习艺术与控制论艺术、人工生命艺术和进化艺术等早期艺术实践联系起来。 机器学习是受生物启发、统计驱动、基于智能体的自我编程的网络实体计算系统的基础。Audry从非专业人员的角度解释了机器学习算法结构的基本设计，同时在更大的历史和概念空间中构建这些技术。Audry揭穿了关于机器学习艺术的神话，包括机器学习可以在没有艺术家的情况下创作艺术，以及机器学习将很快带来超人的智能和创造力的想法。奥黛丽认为学习过程，描述了艺术家如何通过玩评估函数来劫持训练过程;讨论了可训练的机器和模型，解释了不同类型的机器学习系统如何实现不同类型的艺术实践;并回顾了数据在机器学习艺术中的作用，展示了艺术家如何将数据作为引导学习系统的原始材料，并认为机器学习允许新颖形式的算法混音。
本书旨在为有兴趣在数据科学和分析以及一般统计分析领域使用他们的技能的毕业生和商业从业人员在统计学方面提供帮助。一方面，本书旨在为那些上过一些统计学课程，但在日常工作中不一定使用过统计学的读者提供复习。另一方面，这些材料也适合第一次接触Python统计工作的感兴趣的读者。使用Python进行统计和数据可视化旨在通过使读者了解推断统计学背后的思想，并开始制定假设，这些假设构成统计分析、商业分析、机器学习和应用机器学习中的应用和算法的基础，从而从头开始构建统计知识。本书从Python编程和数据分析的基础知识开始，为统计学方法和假设检验打下坚实的基础，这在许多现代应用中都很有用。 https://www.routledge.com/Statistics-and-Data-Visualisation-with-Python/Rogel-Salazar/p/book/9780367744519#:~:text=Statistics%20and%20Data%20Visualisation%20with%20Python%20aims%20to%20build%20statistical,in%20statistical%20analysis%2C%20business%20analytics%2C 目录内容：
- Data, Stats and Stories - An Introduction
- Python Programming Primer
- Snakes, Bears & Other Numerical Beasts: NumPy, SciPy & Pandas
- The Measure of All Things - Statistics
- Definitely Maybe: Probability and Distributions
- Alluring Arguments and Ugly Facts - Statistical Modelling and Hypothesis Testing
- Delightful Details - Data Visualisation
- Dazzling Data Designs - Creating Charts A. Variance: Population v Sample B. Sum of First n Integers C. Sum of Squares of the First n Integers D. The Binomial Coefficient E. The Hypergeometric Distribution F. The Poisson Distribution G. The Normal Distribution H. Skewness and Kurtosis I. Kruskal-Wallis Test - No Ties
现代金融业被要求在有限的市场数据下处理各种资产类别的庞大而多样的投资组合。金融信号处理和机器学习结合了信号处理和机器学习的一些最新进展，用于投资组合和金融工程的设计和管理。这本书弥合了这些学科之间的差距，提供了关键主题的最新信息，包括在高维中描述统计依赖关系和相关性，构建有效和稳健的风险措施，以及它们在投资组合优化和再平衡中的使用。本书着重于模型回报、动量和均值回归的信号处理方法，解决理论和实现方面的问题。它强调了投资组合理论、稀疏学习和压缩感知、稀疏特征投资组合、鲁棒优化、非高斯数据驱动的风险度量、图形模型、通过时间-因果建模的因果分析和大规模基于copula方法之间的联系。
主要特点: 强调信号处理和机器学习是量化金融的关键方法。 为高维投资组合的构建、监控和交易后分析问题提供先进的数学工具。 介绍投资组合理论、稀疏学习和压缩感知，投资组合的稀疏性方法。包括特征组合、模型回报、动量、均值回归和非高斯数据驱动的风险度量，以及这些技术在现实世界中的应用。 包括来自信号和信息处理社区以及量化金融社区的主要研究人员和从业人员的贡献。
https://www.wiley.com/en-us/Financial+Signal+Processing+and+Machine+Learning-p-9781118745670
这本教科书是Randall Nichols和他的专家团队编写的涵盖无人机系统和无人潜航器的系列中的第六本，展示了无人机技术及其用途已经发展到何种程度。本书分享最新的新闻和观点，并讨论章节内容。2022年俄罗斯对乌克兰的入侵是在本书写作的中途开始的。
尽管使用无人机运送武器的想法可能不是该行业想要培养的形象，但它仍然是一个迷人和必要的主题。作者很好地描述了能够在城市景观中导航，无人机投递技术如何有可能运送DEW和CBRNE武器。提供高效的农田喷洒手段的同样的无人机技术可以喷洒致命的化学或生物武器。艺术家可能利用无人机群技术来创造美丽的灯光秀，而恐怖分子可能利用它对目标进行多管齐下的多武器攻击。当然，如果不讨论对此类攻击的探测和缓解，这本书就不完整。你将了解到无人机的导航、传感器、通信和软件技术以及它们的脆弱性。
这本书包括不同武器和无人机技术的历史，对它们如何工作的描述，以及各种用例和应用。你将深入了解政策方面的考虑，甚至窥探交易的工具。此外，还有一些关于新兴技术的章节，如高超音速无人机导弹和卫星杀手。
为了充分理解任何技术，你需要了解人们可能应用它的全部范围。只看一套技术如何可能使我们的生活更方便或更有利可图是不够的。我们需要了解硬币的另一面。我们需要知道人们可能如何使用这些同样的技术来破坏和毁灭生活，或者从另一个角度来看，使用它们来反击更强大的入侵者。
本书将工作分为四个部分。第1节包括化学、生物、辐射、核、爆炸（CBRNE）武器和无人系统运送的有效载荷。在这里，我们研究了无人机作为微型大规模杀伤性和破坏性武器所提供的技术和损害。第7章集中讨论了欺骗问题以及无人机如何用于PSYOPS和INFOWAR。第2节集中讨论定向能武器（DEW）、射弹有效载荷、卫星杀手、港口破坏者和针对CBRN资产的网络武器。第3节着眼于政策考虑，对基于无人机的大规模杀伤性武器/定向能武器的威胁和脆弱性的风险评估，热区的实际犯罪现场调查，以及应对生物恐怖主义和化学威胁和无人机攻击的独特挑战。第4节总结了社会网络的影响和DRONESEC的安全和跟踪工具的交易。
这本书建立在第一版的基础上，更新了章节和最新的代码实现，使其与Tensorflow 2.0保持一致。 https://link.springer.com/book/10.1007/978-1-4842-8931-0 TensorFlow 2.0 Pro Deep Learning with TensorFlow 2.0从深度学习的数学和核心技术基础开始。接下来，您将学习卷积神经网络，包括新的卷积方法，如扩张卷积、深度可分离卷积及其实现。然后，您将了解高级网络架构(如transformer)中的自然语言处理，以及与自然语言处理和一般神经网络相关的各种注意力机制。随着阅读的深入，您将探索反映深度学习方法当前状态的无监督学习框架，例如自编码器和变分自编码器。最后一章涵盖了生成对抗网络及其变体的高级主题，如循环一致性GANs和图神经网络技术，如图注意力网络和GraphSAGE。 读完本书，你将理解深度学习的数学基础和概念，并能够使用所演示的原型来构建新的深度学习应用程序。
你会学到什么 * 使用TensorFlow 2.0理解全栈深度学习 * 理解深度学习的数学基础 * 使用TensorFlow 2.0在生产中部署复杂的深度学习解决方案 * 理解生成式对抗网络、图注意力网络和GraphSAGE
面向国防和国家安全的物联网 实践案例指南说明了在安全和敌对环境中采用物联网的挑战和解决方案 国防与国家安全物联网涵盖物联网安全、架构、机器人、传感、政策、运营等主题，包括美国国防部首屈一指的物联网研究项目“战斗物联网”的最新成果。本文还讨论了将国防工业操作转换为物联网的挑战，并总结了监管政府在自由社会中使用物联网的政策建议。 作为现代参考，本书涵盖了物联网中的多种技术，包括基于内容路由的可生存战术物联网、移动自组织网络和电子形成的波束。物联网架构的例子包括使用KepServerEX进行边缘连接，使用AWS IoT Core进行物联网数据，使用Amazon S3进行物联网数据。为了帮助读者理解，文本使用案例研究说明了在国防应用中使用机器人设备的挑战和解决方案，加上为国防工业基地使用物联网的案例研究。 由国防和国家安全物联网技术的领先研究人员和从业人员编写，国防和国家安全物联网还包括以下信息: 物联网武器、后勤和系统驱动的战争变化 物联网资源分配(监控现有资源并根据对抗行动对其重新分配) 战场物联网人工智能处理原理，包括机器学习和推理 战术物联网通信、网络、服务器和架构中的漏洞，以及保护它们的策略 适应快速扩展的商业物联网，为国防物联网提供动力 对于国防相关公司的应用工程师以及管理人员、政策制定者和学者来说，国防和国家安全物联网是一种独一无二的资源，它提供了一个重要而敏感的话题的广泛覆盖，而这个话题往往由于机密或受限的分发而对公众保密。 https://www.wiley.com/en-us/IoT+for+Defense+and+National+Security-p-9781119892205
https://www.routledge.com/Introduction-To-Linear-Algebra-Computation-Application-and-Theory/DeBonis/p/book/9781032108988 **线性代数概论: 计算、应用和理论是为从未接触过线性代数课程主题的学生设计的。**文本充满了有趣和多样的应用部分，但也是一个理论文本，旨在培养学生以知识渊博的方式做简洁的计算。完成本课程后，学生将不仅知道做线性代数计算的最佳和最短的方法，而且还将知道为什么这样的计算是有效和成功的。 特点: 包括机器学习和数据分析方面的前沿应用 适合作为学习线性代数的本科生的初级教材 不需要什么先决条件
图论是一门蓬勃发展的学科，包含了许多美丽而强大的、具有广泛适用性的定理。近年来，它的爆炸式增长主要是因为它是支撑现代应用数学(特别是计算机科学、组合优化和运筹学)的基本结构，但也因为它在更应用科学中的应用越来越多。图的通用性使其成为通信网络设计和分析中不可或缺的工具。 本书的主要目的是提出一个连贯的介绍的主题，适合作为教科书的高等本科和开始研究生在数学和计算机科学。它在不牺牲其直觉和美学吸引力的情况下，提供了图论的系统处理。本书对常用的证明技巧进行了描述和说明，并提供了大量不同难度的练习，以帮助读者掌握这些技巧并加强对材料的掌握。 第二个目标是作为图论研究的介绍。为此，本书包含了一些更高级的主题，并强调了一些有趣和具有挑战性的开放问题，并进行了一些详细讨论。尽管有这些更高级的材料，这本书的组织方式是，图论的入门课程可以基于所选章节的前几节。
微信扫码咨询专知VIP会员