成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
0
Meta实习生让AI「调教」AI?ResNet-50无需训练,2400万参数秒级预测
2022 年 1 月 26 日
新智元
新智元报道
编辑:好困 拉燕
【新智元导读】
10年前,当我们有了足够的数据和处理能力,深度神经网络也就实现了对传统算法的超越。
今天,神经网络对数据和算力更加饥渴,甚至需要微调数百万甚至数十亿的参数来进行训练。
不过,这种情况或许很快就会改变。
为了摆脱繁琐的训练过程,Boris Knyazev团队设计了一个「超网络」,
对于任意
全新的深度神经网络,可以在几分之一秒内预测出该网络的参数,不再需要进行训练。
开源项目:
https://github.com/facebookresearch/ppuda
项目在开源之后团队也没闲着,最近还发布了一波更新,极大地提升了训练的速度。
训练AI的AI训练师
从某种角度来说,
人工智能就
是一种数字游戏。
目前,训练和优化深度神经网络的最佳方法之一是使用随机梯度下降(SGD)。
一个SGD算法通过大量的标记数据来调整网络的参数并减少错误或损失。梯度下降是一个迭代过程,从损失函数的高值爬升到某个最小值,这代表了足够好(有时甚至是最好的)参数值。
当然了,首先得有一个网络需要优化时,SGD才能发挥作用。
为了建立最初的神经网络,从输入到输出,研究人员都必须依靠直觉和经验法则。
这些架构可以在神经元的层数、每层的神经元数量等方面有所不同。
利用梯度下降找到全局最小值以最小化损失
理论上,对于某个任务来说,可以先选出好几种架构,然后对每一个进行优化,并挑选出最好那的。
然而,谷歌大脑的访问研究员Mengye Ren表示,训练和测试每个候选网络架构是不可能的,尤其是考虑到有数百万种可能的设计。
因此,在2018年,Chris Zhang、Mengye Ren以及Raquel Urtasun一起,尝试了一种不同的方法。他们设计了一个所谓的图超网络(GHN),在给定一组候选架构的情况下,找到解决某些任务的最佳深度神经网络架构。
论文链接:
https://arxiv.org/abs/1810.05749
「图」指的是深度神经网络的架构,可以认为是一个由线或边连接的点或节点的集合。这里的节点代表计算单元(通常是神经网络的整个层),而边代表这些单元相互连接的方式。
论文提出的方法首先随机抽取神经网络架构,形成一个GHN;在图传播之后,GHN中的每个节点都产生了自己的权重参数;然后,对GHN进行训练,以最小化具有生成权重的采样网络的训练损失;最后,根据使用GHN生成的权重的性能,对随机网络进行排名,并选择表现最好的。
当Knyazev和他的同事们发现图超网络的想法时,他们意识到可以在此基础上更进一步。
论文链接:
https://arxiv.org/abs/2110.13100
在论文中,团队展示了如何使用GHN不仅从一些样本集中找到最佳架构,而且还能预测最佳网络的参数,使其在绝对意义上表现良好。
通过在给定的图像数据集和我们的DEEPNETS-1M架构数据集上预测的参数进行反向传播训练
Knyazev和他的同事们称他们的「超网络」为GHN-2。
首先,他们依靠初代GHN的技术,将神经网络的结构描述为一个图。图中的每个节点都编码了关于进行某种特定类型计算的神经元子集的信息。图中的边描述了信息如何从节点到节点,从输入到输出。
他们借鉴的第二个想法是训练超网络以对新的候选架构进行预测的方法,这需要另外两个神经网络。
第一个实现了对原始候选图的计算,从而更新每个节点相关的信息,第二个将更新的节点作为输入,预测候选神经网络的相应计算单元的参数。
而这两个网络也有自己的参数,在超网络能够正确预测参数值之前,必须进行优化。
要做到这一点就需要训练数据,也就是人工神经网络(ANN)架构的随机样本。
对于样本中的每个架构,从一个图开始,用图超网络来预测参数,并用预测的参数来初始化候选的ANN。然后,再用ANN去执行一些特定的任务,如识别图像。
通过计算ANN的损失,更新最先做出预测的超网络的参数,而不是更新ANN的参数以做出更好的预测,这使得超网络在下一次能做得更好。
通过在有标注的图像训练数据集中的每一幅图像和架构随机样本中的每一个ANN上进行迭代,每一步都减少损失,直到它不能做得更好。
在某种程度上,最终会得到一个训练有素的超网络。
ViT计算图的视觉化
由于GHN的代码并没有开源,于是Knyazev的团队便从0开始写他们自己的软件。
首先,他们确定了15种类型的节点,这些节点可以混合和匹配,以构建几乎任何现代深度神经网络。他们还取得了一些进展,以提高预测的准确性。
最重要的是,为了确保GHN-2学会预测广泛的目标神经网络架构的参数,Knyazev创建了一个由100万个可能架构组成的独特数据集。
因此,GHN-2的预测能力更有可能很好地归纳到未见过的目标架构。
比SGD更好用?
当然,真正的考验是让GHN-2发挥作用。通过训练的方式,让GHN-2预测给定任务的参数,例如对特定数据集中的图像进行分类,他们就测试了它预测任何随机候选架构参数的能力。新的候选架构可能和训练数据集中的上百万种架构有相似的属性,也可能属性不同。
在前一种情况下,目标架构被称作分布式架构;后一种情况,被称作分布外架构。深度神经网络在对分布外架构进行预测的时候经常会失败,因此在此类数据上测试GHN-2非常重要。
在可视化的图中,一个节点是15个基元中的一个,用底部的标记进行编码,它们在训练集中按频率排序。出于可视化的目的,一个蓝色的三角形标记将1×1卷积(相当于全连接层)与其他卷积区分开来,但其原始类型仍然只是卷积。
有了充分训练过的GHN-2,该团队预测了500个随机目标网络架构的参数,这些架构此前是看不到的。之后,研究人员先将这500个网络的参数设置为预测值,再把它们和使用随机梯度下降法训练的相同网络进行对比。
新的超级网络在经过数千次SGD迭代之后,基本还是能够稳住的,甚至有的时候还能做的比原来更好,虽说有的结果会出现弄混的情况。
对于CIFAR-10图像数据集,GHN-2在分布式架构上的平均准确率达到66.9%,使用2500次SGD迭代训练的网络所达到的平均准确率为69.2%。对于分布外架构,GHN-2的表现出奇的好,达到了60%左右的准确率。特别是,它在ResNet-50上实现了58.6%的准确率,这个结果相当好。
「ResNet-50架构比我们的平均训练架构大20倍左右,所以对这个架构的泛化效果尤其出色。」Knyazev 在该领域的旗舰会议NeurIPS 2021上表示。
然而,GHN-2在ImageNet上表现不佳。平均来说,GHN-2的准确率只有27.2%左右。但就算是这样,这个准确率和使用SGD训练5000步的相同网络的准确率相比还是有优势的,后者只有 25.6%(当然,如果不计成本地一直执行SGD,最终可以获得95%的准确率)。
最关键的是,GHN-2在不到一秒的时间内做出了对ImageNet预测。如果使用SGD来获得和预测参数相同的性能,要花10000倍的时间在GPU上。
GHN-2会从很多架构样本中为一项任务找到最佳的神经网络,哪怕这个最佳选择还不够好,最起码胜者也得到了部分的训练并且在未来可以进一步优化。与其在一个用随机参数初始化的网络上使用SGD,不如用GHN-2的预测作为起点。
Knyazev表示,「可以说,我们模仿的就是预训练这个环节。」
超网络的未来——在GHN-2之后
尽管取得了这些成功,Knyazev认为机器学习社区短时间内并不想使用图像超网络。
就比如说在2012年之前,机器学习的研究人员更喜欢手写的算法,而不是神秘的深度网络。但是,当对大量数据进行训练的大型深度网络开始超越传统算法时,这种抵制发生了变化。
在未来,他设想在更多样化的架构和不同类型的任务(例如图像识别、语音识别和自然语言处理)上训练图象超级网络。然后可以根据目标架构和手头的特定任务来进行预测。
如果这些超级网络真的有一天可以推广,新的深度神经网络的设计和开发将不再局限于财力雄厚和有能力访问大数据的公司,任何人都可以参与其中。Knyazev非常清楚这种能「使深度学习接地气」的潜力,他把这称为一个长期的愿景。
DeepMind的研究科学家Petar Veličković则表示:「神经网络就像一个黑盒子,你用一个神经网络预测另一个神经网络的参数,如果它出错了,你根本没办法解释它。」
如果有一天像GHN-2这样的超级网络真的成为了优化神经网络的标准方法,Veličković表示,这种无法解释将会是一个大问题。
而Kipf则看到了一线希望。「一些其它的东西让我对神经网络感到尤其兴奋,」他说道,「 GHN-2展示了图象神经网络在复杂数据中寻找模式的能力。」
通常,深度神经网络会在图像、文本或音频信号中找到模式,这些是相当结构化的信息类型。GHN-2则可以在完全随机的神经网络架构图中找到模式。
此外,GHN-2也可以泛化,对于那些看不见的,甚至分布外的网络架构参数来说,GHN-2也可做出合理的预测。
「这项工作向我们展示了许多模式在不同架构中有相似之初,并且模型可以学习如何将知识从一种架构转移到不同的架构,」Kipf 说,「这可能会激发一些神经网络的新理论。」
如果是这样的话,它可能会引发对这些黑盒
的更新、更深入的理解。
参考资料:
https://www.quantamagazine.org/researchers-build-ai-that-builds-ai-20220125/
登录查看更多
点赞并收藏
0
暂时没有读者
0
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
神经网络
关注
5883
人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。 最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。
【NeurIPS2021】未见深度架构参数预测
专知会员服务
9+阅读 · 2021年10月27日
【ICML2021】无训练神经架构搜索
专知会员服务
19+阅读 · 2021年9月16日
【ICML2021】元学习的分布依赖分析
专知会员服务
18+阅读 · 2021年8月15日
NLP新范式-预训练,提示(Prompt),预测!CMU刘鹏飞等论文综述预训练语言模型提示学习进展
专知会员服务
69+阅读 · 2021年7月31日
【ICML2021】神经切线核训练动力学的架构通用性
专知会员服务
11+阅读 · 2021年5月26日
【ICML 2020 】小样本学习即领域迁移
专知会员服务
77+阅读 · 2020年6月26日
【元图(Meta-Graph):元学习小样本连接预测】
专知会员服务
64+阅读 · 2020年5月31日
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版,超越Hinton的SimCLR,刷新ImageNet准确率
专知会员服务
35+阅读 · 2020年3月11日
【Facebook AI-ICLR2020】神经网络训练早期阶段探究,Early Phase of NN Training
专知会员服务
17+阅读 · 2020年3月3日
【ICCV 2019】基于元学习的自动化神经网络通道 MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning
专知会员服务
16+阅读 · 2019年11月17日
单个GPU也能训练GPT-3!快来看看HP调优新范式吧!
大数据文摘
0+阅读 · 2022年4月10日
最孤独的神经网络:只有一个神经元,但会「影分身」
新智元
0+阅读 · 2022年3月22日
ICLR 2022 | 提高子网络「中奖」准确率,美国东北大学、Meta等提出对偶彩票假说
机器之心
0+阅读 · 2022年3月19日
单张GPU搞定GPT-3超参数!先训练小模型,再“一键迁移” | 已开源
量子位
0+阅读 · 2022年3月13日
Transformer深至1000层还能稳定训练,微软实习生一作,LSTM之父转发
量子位
0+阅读 · 2022年3月3日
交互改变参数、360度旋转,这个工具让你不用从头构建NN架构图
机器之心
1+阅读 · 2022年2月7日
可构建AI的“AI”诞生:几分之一秒内,就能预测新网络的参数
学术头条
0+阅读 · 2022年2月5日
Meta AI发布图音文大一统模型Data2vec,4天在GitHub揽1.5万星
量子位
0+阅读 · 2022年1月29日
Meta揭幕全球最快AI超算:目标一天之内训练万亿参数大模型
机器之心
0+阅读 · 2022年1月25日
超越ImageNet预训练,Meta AI提出SplitMask,小数据集也能自监督预训练
机器之心
0+阅读 · 2022年1月5日
基于特定拓扑结构的交通分配算法分析与设计方法
国家自然科学基金
1+阅读 · 2015年12月31日
恶劣气候环境下的图像复原技术研究
国家自然科学基金
1+阅读 · 2015年12月31日
基于稀疏表示的单幅图像联合盲复原及识别
国家自然科学基金
0+阅读 · 2014年12月31日
基于强化学习的前列腺癌蛋白质间相互作用网络的模型及方法研究
国家自然科学基金
1+阅读 · 2013年12月31日
重磁及其张量数据自动解释的不同阶梯度比值法
国家自然科学基金
0+阅读 · 2013年12月31日
语音识别中的稀疏性深度学习
国家自然科学基金
10+阅读 · 2012年12月31日
用波形梯度法研究介质速度,各向异性和衰减特性
国家自然科学基金
0+阅读 · 2012年12月31日
基于模型选择的多尺度目标跟踪方法研究
国家自然科学基金
0+阅读 · 2012年12月31日
遗传相互作用网络的构建和分析
国家自然科学基金
1+阅读 · 2011年12月31日
应用机器学习方法预测和分析蛋白质的结构柔性
国家自然科学基金
4+阅读 · 2010年12月31日
A Generalisable Data Fusion Framework to Infer Mode of Transport Using Mobile Phone Data
Arxiv
0+阅读 · 2022年4月20日
Real-Time Segmentation Networks should be Latency Aware
Arxiv
0+阅读 · 2022年4月20日
Dual-Domain Image Synthesis using Segmentation-Guided GAN
Arxiv
0+阅读 · 2022年4月19日
Learning Convolutional Neural Networks in the Frequency Domain
Arxiv
0+阅读 · 2022年4月19日
Automated Data Augmentations for Graph Classification
Arxiv
1+阅读 · 2022年4月18日
Investigation of condominium building collapse in Surfside, Florida: A video feature tracking approach
Arxiv
0+阅读 · 2022年4月14日
Faster Meta Update Strategy for Noise-Robust Deep Learning
Arxiv
11+阅读 · 2021年4月30日
Adaptive Methods for Real-World Domain Generalization
Arxiv
13+阅读 · 2021年3月29日
Contrastive Transformation for Self-supervised Correspondence Learning
Arxiv
13+阅读 · 2020年12月9日
Beyond Accuracy: Behavioral Testing of NLP models with CheckList
Arxiv
11+阅读 · 2020年5月8日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
神经网络
SGD
深度神经网络
ResNet
梯度
随机梯度下降
相关VIP内容
【NeurIPS2021】未见深度架构参数预测
专知会员服务
9+阅读 · 2021年10月27日
【ICML2021】无训练神经架构搜索
专知会员服务
19+阅读 · 2021年9月16日
【ICML2021】元学习的分布依赖分析
专知会员服务
18+阅读 · 2021年8月15日
NLP新范式-预训练,提示(Prompt),预测!CMU刘鹏飞等论文综述预训练语言模型提示学习进展
专知会员服务
69+阅读 · 2021年7月31日
【ICML2021】神经切线核训练动力学的架构通用性
专知会员服务
11+阅读 · 2021年5月26日
【ICML 2020 】小样本学习即领域迁移
专知会员服务
77+阅读 · 2020年6月26日
【元图(Meta-Graph):元学习小样本连接预测】
专知会员服务
64+阅读 · 2020年5月31日
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版,超越Hinton的SimCLR,刷新ImageNet准确率
专知会员服务
35+阅读 · 2020年3月11日
【Facebook AI-ICLR2020】神经网络训练早期阶段探究,Early Phase of NN Training
专知会员服务
17+阅读 · 2020年3月3日
【ICCV 2019】基于元学习的自动化神经网络通道 MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning
专知会员服务
16+阅读 · 2019年11月17日
热门VIP内容
开通专知VIP会员 享更多权益服务
基于对抗博弈下的导弹部队机动路径规划研究
组织战略匹配管理中的语义建模方法研究综述
战争无人机蜂群:自主战争的未来
图检索增强生成研究进展
相关资讯
单个GPU也能训练GPT-3!快来看看HP调优新范式吧!
大数据文摘
0+阅读 · 2022年4月10日
最孤独的神经网络:只有一个神经元,但会「影分身」
新智元
0+阅读 · 2022年3月22日
ICLR 2022 | 提高子网络「中奖」准确率,美国东北大学、Meta等提出对偶彩票假说
机器之心
0+阅读 · 2022年3月19日
单张GPU搞定GPT-3超参数!先训练小模型,再“一键迁移” | 已开源
量子位
0+阅读 · 2022年3月13日
Transformer深至1000层还能稳定训练,微软实习生一作,LSTM之父转发
量子位
0+阅读 · 2022年3月3日
交互改变参数、360度旋转,这个工具让你不用从头构建NN架构图
机器之心
1+阅读 · 2022年2月7日
可构建AI的“AI”诞生:几分之一秒内,就能预测新网络的参数
学术头条
0+阅读 · 2022年2月5日
Meta AI发布图音文大一统模型Data2vec,4天在GitHub揽1.5万星
量子位
0+阅读 · 2022年1月29日
Meta揭幕全球最快AI超算:目标一天之内训练万亿参数大模型
机器之心
0+阅读 · 2022年1月25日
超越ImageNet预训练,Meta AI提出SplitMask,小数据集也能自监督预训练
机器之心
0+阅读 · 2022年1月5日
相关基金
基于特定拓扑结构的交通分配算法分析与设计方法
国家自然科学基金
1+阅读 · 2015年12月31日
恶劣气候环境下的图像复原技术研究
国家自然科学基金
1+阅读 · 2015年12月31日
基于稀疏表示的单幅图像联合盲复原及识别
国家自然科学基金
0+阅读 · 2014年12月31日
基于强化学习的前列腺癌蛋白质间相互作用网络的模型及方法研究
国家自然科学基金
1+阅读 · 2013年12月31日
重磁及其张量数据自动解释的不同阶梯度比值法
国家自然科学基金
0+阅读 · 2013年12月31日
语音识别中的稀疏性深度学习
国家自然科学基金
10+阅读 · 2012年12月31日
用波形梯度法研究介质速度,各向异性和衰减特性
国家自然科学基金
0+阅读 · 2012年12月31日
基于模型选择的多尺度目标跟踪方法研究
国家自然科学基金
0+阅读 · 2012年12月31日
遗传相互作用网络的构建和分析
国家自然科学基金
1+阅读 · 2011年12月31日
应用机器学习方法预测和分析蛋白质的结构柔性
国家自然科学基金
4+阅读 · 2010年12月31日
相关论文
A Generalisable Data Fusion Framework to Infer Mode of Transport Using Mobile Phone Data
Arxiv
0+阅读 · 2022年4月20日
Real-Time Segmentation Networks should be Latency Aware
Arxiv
0+阅读 · 2022年4月20日
Dual-Domain Image Synthesis using Segmentation-Guided GAN
Arxiv
0+阅读 · 2022年4月19日
Learning Convolutional Neural Networks in the Frequency Domain
Arxiv
0+阅读 · 2022年4月19日
Automated Data Augmentations for Graph Classification
Arxiv
1+阅读 · 2022年4月18日
Investigation of condominium building collapse in Surfside, Florida: A video feature tracking approach
Arxiv
0+阅读 · 2022年4月14日
Faster Meta Update Strategy for Noise-Robust Deep Learning
Arxiv
11+阅读 · 2021年4月30日
Adaptive Methods for Real-World Domain Generalization
Arxiv
13+阅读 · 2021年3月29日
Contrastive Transformation for Self-supervised Correspondence Learning
Arxiv
13+阅读 · 2020年12月9日
Beyond Accuracy: Behavioral Testing of NLP models with CheckList
Arxiv
11+阅读 · 2020年5月8日
大家都在搜
palantir
PRML
武器目标分配
兵棋推演
知识图谱
汽车智能化
笛卡尔
壁画
智能推荐
出海产品从 0 到 1 该怎么做
Top
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top