会员服务
Andrej Karpathy · 深度神经网络 · 博客 ·
2022 年 3 月 14 日
【特斯拉 AI 高级总监 Andrej Karpathy最新博客】2055年深度神经网络会怎么样？:33年前DNN和33年后DNN，Deep Neural Nets: 33 years ago and 33 years from now
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

我想要评论的最重要的趋势是，由于微调，特别是随着GPT等基础模型的出现，从零开始训练神经网络完成某些目标任务(如数字识别)的整个设置正迅速过时。这些基础模型仅由少数拥有大量计算资源的机构训练，大多数应用都是通过对部分网络进行轻量级微调、快速工程化或将数据或模型蒸馏到更小的、专用推理网络的可选步骤来实现的。我认为，我们应该期待这种趋势非常活跃，而且确实会加剧。在最极端的推断中，你根本不想训练任何神经网络。在2055年，你会让一个1000万x大小的神经网络的超级大脑用英语说话(或思考)来执行一些任务。如果你要求得足够好，它就会满足你。是的，你也可以训练神经网络，但你为什么要这样做呢?

成为VIP会员查看完整内容
https://karpathy.github.io/2022/03/14/lecun1989/
10

相关内容

【教程】深度学习Keras与TensorFlow教程，Deep Learning with Keras and Tensorflow in R
【教程】深度学习Keras与TensorFlow教程，Deep Learning with Keras and Tensorflow in R
专知会员服务
31+阅读 · 2022年3月9日
【ICML2020】深度神经网络置信感知学习，Confidence-Aware Learning for Deep Neural Networks
【ICML2020】深度神经网络置信感知学习，Confidence-Aware Learning for Deep Neural Networks
专知会员服务
72+阅读 · 2020年7月6日
【剑桥大学博士论文】深层神经网络结构的复兴，147页pdf，The resurgence of structure in deep neural networks
【剑桥大学博士论文】深层神经网络结构的复兴，147页pdf，The resurgence of structure in deep neural networks
专知会员服务
19+阅读 · 2020年5月14日
神经网络的拓扑结构，TOPOLOGY OF DEEP NEURAL NETWORKS
神经网络的拓扑结构，TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
32+阅读 · 2020年4月15日
【Google大脑】进化正则激活层，Evolving Normalization-Activation Layers
【Google大脑】进化正则激活层，Evolving Normalization-Activation Layers
专知会员服务
18+阅读 · 2020年4月9日
【2019/2020之交的机器学习/深度学习技术概述】《2019 In-Review and Trends for 2020 – A Technical Overview of Machine Learning and Deep Learning!》by Analytics Vidhya
【2019/2020之交的机器学习/深度学习技术概述】《2019 In-Review and Trends for 2020 – A Technical Overview of Machine Learning and Deep Learning!》by Analytics Vidhya
专知会员服务
20+阅读 · 2020年2月1日
【深度学习基础原理十日谈】《10 Days Of Grad: Deep Learning From The First Principles》by Bogdan Penkovsky
专知会员服务
25+阅读 · 2020年1月23日
【微软&CMU】后向特征校正，深度学习如何深度学习？Backward Feature Correction: How Deep Learning Performs Deep Learning
专知会员服务
12+阅读 · 2020年1月18日
模型压缩究竟在做什么？我们真的需要模型压缩么？
模型压缩究竟在做什么？我们真的需要模型压缩么？
专知会员服务
27+阅读 · 2020年1月16日
【斯坦福大学】深度学习技巧速查清单《CS 230 - Deep Learning Tips and Tricks Cheatsheet》
【斯坦福大学】深度学习技巧速查清单《CS 230 - Deep Learning Tips and Tricks Cheatsheet》
专知会员服务
28+阅读 · 2019年12月19日
如何看待第三代神经网络SNN？详解脉冲神经网络的架构原理、数据集和训练方法
如何看待第三代神经网络SNN？详解脉冲神经网络的架构原理、数据集和训练方法
极市平台
3+阅读 · 2022年3月24日
特斯拉AI总监：我复现了LeCun 33年前的神经网络！发现和现在区别不大...
特斯拉AI总监：我复现了LeCun 33年前的神经网络！发现和现在区别不大...
CVer
0+阅读 · 2022年3月17日
特斯拉AI主管新作：用当前深度学习技术复现LeCun 33年前手写数字识别论文
特斯拉AI主管新作：用当前深度学习技术复现LeCun 33年前手写数字识别论文
新智元
0+阅读 · 2022年3月17日
特斯拉AI总监：我复现了LeCun 33年前的神经网络，发现和现在区别不大
特斯拉AI总监：我复现了LeCun 33年前的神经网络，发现和现在区别不大
机器之心
0+阅读 · 2022年3月16日
特斯拉AI主管Karpathy新作：用当前深度学习技术复现Lecun33年前手写数字识别论文
特斯拉AI主管Karpathy新作：用当前深度学习技术复现Lecun33年前手写数字识别论文
学术头条
0+阅读 · 2022年3月16日
5300亿！巨型语言模型参数每年暴涨10倍，新「摩尔定律」要来了？
5300亿！巨型语言模型参数每年暴涨10倍，新「摩尔定律」要来了？
新智元
0+阅读 · 2021年10月27日
13小时2600赞，特斯拉大佬Karpathy博客《A Recipe for Training Neural Networks》
13小时2600赞，特斯拉大佬Karpathy博客《A Recipe for Training Neural Networks》
专知
18+阅读 · 2019年4月26日
【干货】Batch Normalization: 如何更快地训练深度神经网络
【干货】Batch Normalization: 如何更快地训练深度神经网络
专知
13+阅读 · 2018年3月6日
史上最全！27种神经网络简明图解：模型那么多，我该怎么选？
史上最全！27种神经网络简明图解：模型那么多，我该怎么选？
大数据文摘
18+阅读 · 2018年1月23日
【下载】深度学习与围棋实战书籍《Deep Learning and the Game of Go》
【下载】深度学习与围棋实战书籍《Deep Learning and the Game of Go》
专知
20+阅读 · 2017年12月13日
基于深度置信网络的图像分类方法研究
国家自然科学基金
2+阅读 · 2013年12月31日
右端不连续时滞神经网络的多稳定性与分岔控制
国家自然科学基金
0+阅读 · 2012年12月31日
基于分层超完备字典稀疏表示的深度学习算法研究及应用
国家自然科学基金
2+阅读 · 2012年12月31日
部分监督学习问题的支持向量机及其应用
国家自然科学基金
3+阅读 · 2012年12月31日
先进储备池神经计算方法及其在时间模式识别中的应用
国家自然科学基金
0+阅读 · 2012年12月31日
神经网络的代数构造特征和可算性
国家自然科学基金
3+阅读 · 2011年12月31日
现代电力系统中的线性多维柔性评价与分析
国家自然科学基金
0+阅读 · 2011年12月31日
模块化非线性系统辨识
国家自然科学基金
0+阅读 · 2011年12月31日
基于图论方法的生物神经网络结构与功能研究
国家自然科学基金
0+阅读 · 2009年12月31日
语气挖掘中的领域移植问题研究
国家自然科学基金
0+阅读 · 2008年12月31日
Gaussian mixture model on nodes of Bayesian network given maximal parental cliques
Gaussian mixture model on nodes of Bayesian network given maximal parental cliques
Arxiv
2+阅读 · 2022年4月20日
On the Representation Collapse of Sparse Mixture of Experts
Arxiv
0+阅读 · 2022年4月20日
Likelihood-Free Frequentist Inference: Confidence Sets with Correct Conditional Coverage
Arxiv
0+阅读 · 2022年4月19日
Recurrent neural networks that generalize from examples and optimize by dreaming
Arxiv
0+阅读 · 2022年4月17日
On the Opportunities and Risks of Foundation Models
Arxiv
30+阅读 · 2021年8月18日
Model Complexity of Deep Learning: A Survey
Arxiv
32+阅读 · 2021年3月8日
A Wholistic View of Continual Learning with Deep Neural Networks: Forgotten Lessons and the Bridge to Active and Open World Learning
Arxiv
35+阅读 · 2020年9月3日
A Survey of Methods for Low-Power Deep Learning and Computer Vision
A Survey of Methods for Low-Power Deep Learning and Computer Vision
Arxiv
14+阅读 · 2020年3月24日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
Learning with Interpretable Structure from RNN
Arxiv
19+阅读 · 2018年10月25日
VIP会员
相关主题
Andrej Karpathy
深度神经网络
博客
相关VIP内容
【教程】深度学习Keras与TensorFlow教程，Deep Learning with Keras and Tensorflow in R
【教程】深度学习Keras与TensorFlow教程，Deep Learning with Keras and Tensorflow in R
专知会员服务
31+阅读 · 2022年3月9日
【ICML2020】深度神经网络置信感知学习，Confidence-Aware Learning for Deep Neural Networks
【ICML2020】深度神经网络置信感知学习，Confidence-Aware Learning for Deep Neural Networks
专知会员服务
72+阅读 · 2020年7月6日
【剑桥大学博士论文】深层神经网络结构的复兴，147页pdf，The resurgence of structure in deep neural networks
【剑桥大学博士论文】深层神经网络结构的复兴，147页pdf，The resurgence of structure in deep neural networks
专知会员服务
19+阅读 · 2020年5月14日
神经网络的拓扑结构，TOPOLOGY OF DEEP NEURAL NETWORKS
神经网络的拓扑结构，TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
32+阅读 · 2020年4月15日
【Google大脑】进化正则激活层，Evolving Normalization-Activation Layers
【Google大脑】进化正则激活层，Evolving Normalization-Activation Layers
专知会员服务
18+阅读 · 2020年4月9日
【2019/2020之交的机器学习/深度学习技术概述】《2019 In-Review and Trends for 2020 – A Technical Overview of Machine Learning and Deep Learning!》by Analytics Vidhya
【2019/2020之交的机器学习/深度学习技术概述】《2019 In-Review and Trends for 2020 – A Technical Overview of Machine Learning and Deep Learning!》by Analytics Vidhya
专知会员服务
20+阅读 · 2020年2月1日
【深度学习基础原理十日谈】《10 Days Of Grad: Deep Learning From The First Principles》by Bogdan Penkovsky
专知会员服务
25+阅读 · 2020年1月23日
【微软&CMU】后向特征校正，深度学习如何深度学习？Backward Feature Correction: How Deep Learning Performs Deep Learning
专知会员服务
12+阅读 · 2020年1月18日
模型压缩究竟在做什么？我们真的需要模型压缩么？
模型压缩究竟在做什么？我们真的需要模型压缩么？
专知会员服务
27+阅读 · 2020年1月16日
【斯坦福大学】深度学习技巧速查清单《CS 230 - Deep Learning Tips and Tricks Cheatsheet》
【斯坦福大学】深度学习技巧速查清单《CS 230 - Deep Learning Tips and Tricks Cheatsheet》
专知会员服务
28+阅读 · 2019年12月19日
热门VIP内容
相关资讯
如何看待第三代神经网络SNN？详解脉冲神经网络的架构原理、数据集和训练方法
如何看待第三代神经网络SNN？详解脉冲神经网络的架构原理、数据集和训练方法
极市平台
3+阅读 · 2022年3月24日
特斯拉AI总监：我复现了LeCun 33年前的神经网络！发现和现在区别不大...
特斯拉AI总监：我复现了LeCun 33年前的神经网络！发现和现在区别不大...
CVer
0+阅读 · 2022年3月17日
特斯拉AI主管新作：用当前深度学习技术复现LeCun 33年前手写数字识别论文
特斯拉AI主管新作：用当前深度学习技术复现LeCun 33年前手写数字识别论文
新智元
0+阅读 · 2022年3月17日
特斯拉AI总监：我复现了LeCun 33年前的神经网络，发现和现在区别不大
特斯拉AI总监：我复现了LeCun 33年前的神经网络，发现和现在区别不大
机器之心
0+阅读 · 2022年3月16日
特斯拉AI主管Karpathy新作：用当前深度学习技术复现Lecun33年前手写数字识别论文
特斯拉AI主管Karpathy新作：用当前深度学习技术复现Lecun33年前手写数字识别论文
学术头条
0+阅读 · 2022年3月16日
5300亿！巨型语言模型参数每年暴涨10倍，新「摩尔定律」要来了？
5300亿！巨型语言模型参数每年暴涨10倍，新「摩尔定律」要来了？
新智元
0+阅读 · 2021年10月27日
13小时2600赞，特斯拉大佬Karpathy博客《A Recipe for Training Neural Networks》
13小时2600赞，特斯拉大佬Karpathy博客《A Recipe for Training Neural Networks》
专知
18+阅读 · 2019年4月26日
【干货】Batch Normalization: 如何更快地训练深度神经网络
【干货】Batch Normalization: 如何更快地训练深度神经网络
专知
13+阅读 · 2018年3月6日
史上最全！27种神经网络简明图解：模型那么多，我该怎么选？
史上最全！27种神经网络简明图解：模型那么多，我该怎么选？
大数据文摘
18+阅读 · 2018年1月23日
【下载】深度学习与围棋实战书籍《Deep Learning and the Game of Go》
【下载】深度学习与围棋实战书籍《Deep Learning and the Game of Go》
专知
20+阅读 · 2017年12月13日
相关基金
基于深度置信网络的图像分类方法研究
国家自然科学基金
2+阅读 · 2013年12月31日
右端不连续时滞神经网络的多稳定性与分岔控制
国家自然科学基金
0+阅读 · 2012年12月31日
基于分层超完备字典稀疏表示的深度学习算法研究及应用
国家自然科学基金
2+阅读 · 2012年12月31日
部分监督学习问题的支持向量机及其应用
国家自然科学基金
3+阅读 · 2012年12月31日
先进储备池神经计算方法及其在时间模式识别中的应用
国家自然科学基金
0+阅读 · 2012年12月31日
神经网络的代数构造特征和可算性
国家自然科学基金
3+阅读 · 2011年12月31日
现代电力系统中的线性多维柔性评价与分析
国家自然科学基金
0+阅读 · 2011年12月31日
模块化非线性系统辨识
国家自然科学基金
0+阅读 · 2011年12月31日
基于图论方法的生物神经网络结构与功能研究
国家自然科学基金
0+阅读 · 2009年12月31日
语气挖掘中的领域移植问题研究
国家自然科学基金
0+阅读 · 2008年12月31日
相关论文
Gaussian mixture model on nodes of Bayesian network given maximal parental cliques
Gaussian mixture model on nodes of Bayesian network given maximal parental cliques
Arxiv
2+阅读 · 2022年4月20日
On the Representation Collapse of Sparse Mixture of Experts
Arxiv
0+阅读 · 2022年4月20日
Likelihood-Free Frequentist Inference: Confidence Sets with Correct Conditional Coverage
Arxiv
0+阅读 · 2022年4月19日
Recurrent neural networks that generalize from examples and optimize by dreaming
Arxiv
0+阅读 · 2022年4月17日
On the Opportunities and Risks of Foundation Models
Arxiv
30+阅读 · 2021年8月18日
Model Complexity of Deep Learning: A Survey
Arxiv
32+阅读 · 2021年3月8日
A Wholistic View of Continual Learning with Deep Neural Networks: Forgotten Lessons and the Bridge to Active and Open World Learning
Arxiv
35+阅读 · 2020年9月3日
A Survey of Methods for Low-Power Deep Learning and Computer Vision
A Survey of Methods for Low-Power Deep Learning and Computer Vision
Arxiv
14+阅读 · 2020年3月24日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
Learning with Interpretable Structure from RNN
Arxiv
19+阅读 · 2018年10月25日
微信扫码咨询专知VIP会员
Top