我想要评论的最重要的趋势是,由于微调,特别是随着GPT等基础模型的出现,从零开始训练神经网络完成某些目标任务(如数字识别)的整个设置正迅速过时。这些基础模型仅由少数拥有大量计算资源的机构训练,大多数应用都是通过对部分网络进行轻量级微调、快速工程化或将数据或模型蒸馏到更小的、专用推理网络的可选步骤来实现的。我认为,我们应该期待这种趋势非常活跃,而且确实会加剧。在最极端的推断中,你根本不想训练任何神经网络。在2055年,你会让一个1000万x大小的神经网络的超级大脑用英语说话(或思考)来执行一些任务。如果你要求得足够好,它就会满足你。是的,你也可以训练神经网络,但你为什么要这样做呢?

成为VIP会员查看完整内容
9
0

相关内容

神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
26+阅读 · 2020年4月15日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
21+阅读 · 2020年1月16日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
20+阅读 · 2021年8月18日
Arxiv
24+阅读 · 2021年3月8日
Optimization for deep learning: theory and algorithms
Arxiv
88+阅读 · 2019年12月19日
Arxiv
18+阅读 · 2018年10月25日
小贴士
相关VIP内容
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
26+阅读 · 2020年4月15日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
21+阅读 · 2020年1月16日
相关基金
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员