Over a century ago, Ivan P. Pavlov, in a classic experiment, demonstrated how dogs can learn to associate a ringing bell with food, thereby causing a ring to result in salivation. Today, however, it is rare to find the use of Pavlovian type associative learning for artificial intelligence (AI) applications. Instead, other biologically-inspired learning concepts, in particular artificial neural networks (ANNs) have flourished, yielding extensive impact on a wide range of fields including finance, healthcare and transportation. However, learning in such "conventional" ANNs, in particular in the form of modern deep neural networks (DNNs) are usually carried out using the backpropagation method, is computationally and energy intensive. Here we report the experimental demonstration of backpropagation-free learning, achieved using a single (or monadic) associative hardware element. This is realized on an integrated photonic platform using phase change materials combined with on-chip cascaded directional couplers. We link associative learning with supervised learning, based on their common goal of associating certain inputs with "correct" outputs. We then expand the concept to develop larger-scale supervised learning networks using our monadic Pavlovian photonic hardware, developing a distinct machine-learning framework based on single-element associations and, importantly, using backpropagation-free single-layer weight architectures to approach general learning tasks. Our approach not only significantly reduces the computational burden imposed by learning in conventional neural network approaches, thereby increasing speed and decreasing energy use during learning, but also offers higher bandwidth inherent to a photonic implementation, paving the way for future deployment of fast photonic artificially intelligent machines.


翻译:上个世纪前,伊万·帕夫洛夫(Ivan P. Pavlov)在一次经典实验中展示了狗如何学会将铃声铃声与食物联系起来,从而导致唾液液化。然而,今天,很少发现使用帕夫洛维亚型亲子学习来进行人工智能(AI)应用。相反,其他生物激发的学习概念,特别是人工神经网络(ANNS)已经蓬勃发展,对包括金融、医疗和交通在内的一系列领域产生了广泛影响。然而,在这种“常规”ANNS中学习,特别是现代深层神经网络(DNNS)的形式,通常使用反向回流法方法进行。如今,我们很少发现使用Pavlovilovian型亲热学习(AI)应用Pavlovial-commission(AI)应用Pavlovical-commal-le commalalal-al-legal-al commissional 方法。我们随后又将某些投入与“纠正”的内脏速度(D-nal-deal-leadbilal commational commation) 方法联系起来,我们利用了一种更深层次的智能网络来进行更大规模学习一个更深层次的机械化的机械化的系统,然后将一个更深层次的机械化的机械化的机械化的网络, 学习,我们用一个更小的机械化的机械化的机械化的机械化的机械化的机械化的机械化的机械化的机械化的机械化的机械化的网络,在学习结构来发展一个更小的机械化的机械化的机械化的机械化的机械化的机械化的机械化的机械化的机械化的机械化的机械化的机械化的模型,在使用。

0
下载
关闭预览

相关内容

100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
Yoshua Bengio,使算法知道“为什么”
专知会员服务
7+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Learning Dynamic Routing for Semantic Segmentation
Arxiv
8+阅读 · 2020年3月23日
Deep learning for cardiac image segmentation: A review
Arxiv
21+阅读 · 2019年11月9日
Arxiv
4+阅读 · 2018年12月3日
Arxiv
8+阅读 · 2018年7月12日
Arxiv
15+阅读 · 2018年6月23日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员