Quantum neural networks (QNNs) have generated excitement around the possibility of efficiently analyzing quantum data. But this excitement has been tempered by the existence of exponentially vanishing gradients, known as barren plateau landscapes, for many QNN architectures. Recently, Quantum Convolutional Neural Networks (QCNNs) have been proposed, involving a sequence of convolutional and pooling layers that reduce the number of qubits while preserving information about relevant data features. In this work we rigorously analyze the gradient scaling for the parameters in the QCNN architecture. We find that the variance of the gradient vanishes no faster than polynomially, implying that QCNNs do not exhibit barren plateaus. This provides an analytical guarantee for the trainability of randomly initialized QCNNs, which highlights QCNNs as being trainable under random initialization unlike many other QNN architectures. To derive our results we introduce a novel graph-based method to analyze expectation values over Haar-distributed unitaries, which will likely be useful in other contexts. Finally, we perform numerical simulations to verify our analytical results.


翻译:量子神经网络(QNNs)在有效分析量子数据的可能性方面引起了兴奋。但这种兴奋因许多QNN的建筑存在指数性消失的梯度(称为贫瘠高原景观)而减弱。最近,提出了“量子革命神经网络(QCNNs)”建议,涉及一系列变动和集合层,以减少qubits数量,同时保存有关数据特征的信息。在这项工作中,我们严格分析QCNN结构参数的梯度缩放。我们发现,梯度的差异不会以多元方式更快地消失,这意味着QCNNs不会出现贫瘠高地。这为随机初始化的QCNNs的训练提供了分析保证,这突出表明,QCNNs可以在随机初始化的情况下接受培训,而不像其他许多QNN结构。为了得出我们的成果,我们采用了一种新的基于图表的方法来分析Haar派单位的预期值,这在其他情况下可能有用。最后,我们进行了数字模拟,以核实我们的分析结果。

0
下载
关闭预览

相关内容

神经网络(Neural Networks)是世界上三个最古老的神经建模学会的档案期刊:国际神经网络学会(INNS)、欧洲神经网络学会(ENNS)和日本神经网络学会(JNNS)。神经网络提供了一个论坛,以发展和培育一个国际社会的学者和实践者感兴趣的所有方面的神经网络和相关方法的计算智能。神经网络欢迎高质量论文的提交,有助于全面的神经网络研究,从行为和大脑建模,学习算法,通过数学和计算分析,系统的工程和技术应用,大量使用神经网络的概念和技术。这一独特而广泛的范围促进了生物和技术研究之间的思想交流,并有助于促进对生物启发的计算智能感兴趣的跨学科社区的发展。因此,神经网络编委会代表的专家领域包括心理学,神经生物学,计算机科学,工程,数学,物理。该杂志发表文章、信件和评论以及给编辑的信件、社论、时事、软件调查和专利信息。文章发表在五个部分之一:认知科学,神经科学,学习系统,数学和计算分析、工程和应用。 官网地址:http://dblp.uni-trier.de/db/journals/nn/
专知会员服务
161+阅读 · 2020年1月16日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Identity-aware Graph Neural Networks
Arxiv
14+阅读 · 2021年1月25日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关VIP内容
专知会员服务
161+阅读 · 2020年1月16日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Identity-aware Graph Neural Networks
Arxiv
14+阅读 · 2021年1月25日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
10+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员