人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
VIP内容
在本章中，我们将讨论神经网络（NN） 的一些复杂之处，NN也是深度学习（DL） 的基 石。我们将讨论神经网络的数学基础、架构和训练过程。本章的主要目的是让你对神经网络有一个系统的了解。通常 ,我们从计算机科学的角度来看待它们一将其看作由许多不同步骤 / 组件组成的机器学习（ML） 算法（甚至可以看作一个特殊实体）。我们通过神经元、层等思考 的方式获得一些认知（至少我第一次了解这个领域时是这样做的）。这是一种非常有效的方式. 在这种理解水平上.我们可以做出令人印象深刻的事情。然而.这也许不是正确的方法。神 经 网 络 具 有 坚 实 的 数 学 基 础 . 如 果 我 们 从 这 个 角 度 来 研 究 它 ， 就 能 以 更 基 础 、 更 优 雅 的 方 式 来 定 义 和 理 解 它 。因 此 , 本 章 将 从 数 学 和 计 算 机 科 学 的 角 度 强 调 神 经 网 络 之 间 的 比 较 。如 果 你 已 经 熟 悉 这 些 , 可 以 跳 过 本 章 。尽 管 如 此 ， 我 还 是 希 望 你 能 发 现 一 些 你以前不知道的有趣的地方
成为VIP会员查看完整内容
神经网络的基础数学，95页pdf
热门内容
最新内容
最新论文
To fit sparse linear associations, a LASSO sparsity inducing penalty with a single hyperparameter provably allows to recover the important features (needles) with high probability in certain regimes even if the sample size is smaller than the dimension of the input vector (haystack). More recently learners known as artificial neural networks (ANN) have shown great successes in many machine learning tasks, in particular fitting nonlinear associations. Small learning rate, stochastic gradient descent algorithm and large training set help to cope with the explosion in the number of parameters present in deep neural networks. Yet few ANN learners have been developed and studied to find needles in nonlinear haystacks. Driven by a single hyperparameter, our ANN learner, like for sparse linear associations, exhibits a phase transition in the probability of retrieving the needles, which we do not observe with other ANN learners. To select our penalty parameter, we generalize the universal threshold of Donoho and Johnstone (1994) which is a better rule than the conservative (too many false detections) and expensive cross-validation. In the spirit of simulated annealing, we propose a warm-start sparsity inducing algorithm to solve the high-dimensional, non-convex and non-differentiable optimization problem. We perform precise Monte Carlo simulations to show the effectiveness of our approach.
微信扫码咨询专知VIP会员