题目: What’s Hidden in a Randomly Weighted Neural Network?

摘要: 训练神经网络就是学习权值的同义词。相比之下,我们证明随机加权神经网络包含子网络,在不训练权值的情况下,子网络的性能令人印象深刻。隐藏在随机加权的WideResNet-50中,我们发现有一个子网(具有随机权重)小于,但与在ImageNet上训练的ResNet-34的性能匹配。这些“未受过训练的子网络”不仅存在,而且我们提供了一种有效地找到它们的算法。我们的经验表明,随着具有固定权重的随机加权神经网络变得越来越宽、越来越深,一个“未经训练的子网络”在精度上接近一个具有学习权重的网络。

作者简介:

Vivek Ramanujan,艾伦人工智能研究所(AI2)的ML研究员。

Mitchell Wortsman,华盛顿大学博士。

Aniruddha Kembhavi,艾伦人工智能研究所的高级研究科学家和西雅图华盛顿大学的副教授。等

成为VIP会员查看完整内容
9

相关内容

AI2成立于2014年,其使命是为公益事业开展高影响力人工智能研究和工程。AI2是微软联合创始人保罗•艾伦(Paul Allen)创建的,由领先的人工智能研究人员奥伦•埃齐奥尼(Oren Etzioni)博士领导。AI2坐落于联合湖畔,在人工智能领域拥有超过100名全球最优秀的科学和工程人才,吸引了来自全球不同兴趣和背景的个人。AI2以其团队的多样性和协作性而自豪,并采用面向结果的方法来应对AI中的复杂挑战。
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
82+阅读 · 2020年6月21日
【普林斯顿大学-微软】加权元学习,Weighted Meta-Learning
专知会员服务
39+阅读 · 2020年3月25日
麻省理工学院MIT-ICLR2020《神经网络能推断出什么?》
专知会员服务
50+阅读 · 2020年2月19日
专知会员服务
25+阅读 · 2020年2月15日
【NeurIPS2019】图变换网络:Graph Transformer Network
李飞飞等ICLR2019论文:构建人类眼睛感知评估
全球人工智能
4+阅读 · 2019年6月4日
一文读懂神经网络(附PPT、视频)
数据派THU
17+阅读 · 2018年3月25日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
神经网络中的「注意力」是什么?怎么用?
北京思腾合力科技有限公司
17+阅读 · 2017年10月28日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
Generating Rationales in Visual Question Answering
Arxiv
5+阅读 · 2020年4月4日
EfficientDet: Scalable and Efficient Object Detection
Arxiv
6+阅读 · 2019年11月20日
Arxiv
23+阅读 · 2018年10月24日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
6+阅读 · 2018年1月29日
VIP会员
相关资讯
【NeurIPS2019】图变换网络:Graph Transformer Network
李飞飞等ICLR2019论文:构建人类眼睛感知评估
全球人工智能
4+阅读 · 2019年6月4日
一文读懂神经网络(附PPT、视频)
数据派THU
17+阅读 · 2018年3月25日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
神经网络中的「注意力」是什么?怎么用?
北京思腾合力科技有限公司
17+阅读 · 2017年10月28日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
相关论文
Generating Rationales in Visual Question Answering
Arxiv
5+阅读 · 2020年4月4日
EfficientDet: Scalable and Efficient Object Detection
Arxiv
6+阅读 · 2019年11月20日
Arxiv
23+阅读 · 2018年10月24日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
6+阅读 · 2018年1月29日
微信扫码咨询专知VIP会员