人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
VIP内容
蒸汽机为工业革命提供了动力，并永远地改变了制造业——但直到接下来的一个世纪，热力学定律和统计力学原理得到发展，科学家们才能够在理论层面上全面解释蒸汽机为何以及如何工作。
当然，缺乏理论理解并没有阻止人们对蒸汽机的改进，但是热机原理的发现导致了迅速的改进。当科学家们最终掌握了统计力学，其结果远远超出了制造更好、更高效的发动机。统计力学使人们认识到物质是由原子构成的，它预示了量子力学的发展，(如果你从整体上看)甚至使我们看到了为我们今天使用的计算机提供动力的晶体管。
如今，人工智能正处于类似的关头。深度神经网络(DNNs)是现代人工智能研究的一部分，但它们或多或少被视为一个“黑盒子”。尽管人工智能从业者取得了重大进展，但DNN通常被认为过于复杂，无法从基本原理理解。模型在很大程度上是通过反复试验来调整的——虽然反复试验可以通过多年的经验来明智地进行，但却没有任何统一的理论语言来描述DNN及其功能。
《深度学习理论原理:理解神经网络的有效理论方法》的新书出版，该研究由Facebook AI Research的Sho Yaida、麻省理工学院和Salesforce的Dan Roberts以及普林斯顿的Boris Hanin共同完成。作为一个基本的层面，这本书提供了一个从第一原则理解DNNs的理论框架。对于人工智能从业者来说，这种理解可以显著减少训练这些DNN所需的试错次数。例如，它可以揭示任何给定模型的最佳超参数，而不需要经过今天所需要的时间和计算密集的实验。
《深度学习理论原理》将于2022年初由剑桥大学出版社出版，手稿现已公开。斯坦福大学物理学教授伊娃·西尔弗斯坦(Eva Silverstein)说:“这本书提出了一种机器学习理论方法。”看到这些方法在理解和改进人工智能方面取得的进展将是令人兴奋的。
这只是重塑人工智能科学这一更大项目的第一步，这一项目既源自基本原理，同时也专注于描述现实模型的实际工作方式。如果成功，这种深度学习的一般理论可能会使人工智能模型更加强大，甚至可能引导我们建立一个研究通用智能方面的框架。
成为VIP会员查看完整内容
【449页pdf】The Principles of Deep Learning Theory
热门内容
最新内容
最新论文
Logical relations widely exist in human activities. Human use them for making judgement and decision according to various conditions, which are embodied in the form of \emph{if-then} rules. As an important kind of cognitive intelligence, it is prerequisite of representing and storing logical relations rightly into computer systems so as to make automatic judgement and decision, especially for high-risk domains like medical diagnosis. However, current numeric ANN (Artificial Neural Network) models are good at perceptual intelligence such as image recognition while they are not good at cognitive intelligence such as logical representation, blocking the further application of ANN. To solve it, researchers have tried to design logical ANN models to represent and store logical relations. Although there are some advances in this research area, recent works still have disadvantages because the structures of these logical ANN models still don't map more directly with logical relations which will cause the corresponding logical relations cannot be read out from their network structures. Therefore, in order to represent logical relations more clearly by the neural network structure and to read out logical relations from it, this paper proposes a novel logical ANN model by designing the new logical neurons and links in demand of logical representation. Compared with the recent works on logical ANN models, this logical ANN model has more clear corresponding with logical relations using the more direct mapping method herein, thus logical relations can be read out following the connection patterns of the network structure. Additionally, less neurons are used.
