《浅层与深度》是一系列讲义,提供了对神经网络和机器学习的通俗易懂的介绍。然而,一开始就很明显,这些笔记无法完全覆盖这个快速变化和不断发展的领域。这些讲义主要关注经典的机器学习技术,偏重于分类和回归。其他学习范式和许多最新的发展,例如深度学习,要么没有涉及,要么只是简要提及。
比尔(Biehl)认为,对该领域的基础知识有扎实的了解至关重要,特别是对那些希望探索机器学习世界并且抱有超越仅将某些软件包应用于某些数据集的雄心的人来说。因此,《浅层与深层》强调基本概念和理论背景。这也涉及深入探讨神经网络的历史和前史,在那里为大多数最近的发展奠定了基础。这些笔记旨在揭开机器学习和神经网络的神秘面纱,同时不失对它们令人印象深刻的力量和多功能性的欣赏。
这些讲义的副标题是“对神经网络和传统机器学习的偏见介绍”,原因是显而易见的。尽管目标是提供一个易于接触的领域介绍,但从一开始就明确了它不会成为一个全面、完整的概述。重点是经典机器学习,许多最新的发展无法涵盖。个人而言,我最早接触神经网络是在我作为物理学家的早期生涯。那时,阅读少量论文,或许稍后阅读一本好书[HKP91]就足以保持最新状态并能够为大难题贡献一份力量。我是否夸大其词,有点怀旧?可能。但情况肯定发生了很大变化。如今,大量的出版物使得筛选相关信息和跟上发展成为难题。这些笔记中的主题选择在很大程度上是由我自己的研究兴趣和早期经历决定的。这对于最初关注简单的感知器,正如曼弗雷德·奥珀所说的神经网络研究的氢原子[Opp90],绝对是真的。此外,这本文本的主要内容是关于浅层系统的监督学习,特别是分类,这反映了我在该领域的主要兴趣。这些笔记可能被视为老派,肯定会被一些时尚的忠实追随者所认为[Dav66]。诚然,文本没有涉及最新的发展,例如深度学习及其应用。然而,在我谦虚的看法中,在探索机器学习世界并且有着超越仅将某些软件包应用于某些数据集的雄心之前,拥有对基础知识的扎实背景知识是无价的。