成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
0
算力≠智慧! MIT教授抛出「意识来源」新理论:人类认知与计算根本没关系
2021 年 10 月 29 日
新智元
新智元报道
来源:IEEE
编辑:小咸鱼 David
【新智元导读】
心智的计算理论是一个根深蒂固的理论,我们一般假设智能、思想、认知属于计算的产物。但也许有意识的体验来自某种「自我组织」。也许认知与计算根本没有关系。
长期以来,深度学习和人工神经网络的灵感被很多学者认为是来自人类的大脑。
比如,神经元之间的连接在人工神经网络中,是用节点之间的权重表示的。正值表示兴奋性连接,负值表示抑制性连接。
所有输入都通过权重进行加权并求和(线性组合),然后,通过激活函数控制值域输出。例如,可接受的输出范围通常在0和1之间,也可以在-1和1之间。
在某种意义上,人工神经网络确实粗浅地模仿了大脑底层神经元的活动。
算力「陷阱」
2016年,AlphaGo横空出世,以4:1击败了李世石,技惊四座。但不能忽视的是,DeepMind训练AlphaGo时,大概花费了3500万美元!
后来,DeepMind想训练一个玩《星际争霸II》游戏的模型(后来的AlphaStar),就尝试了非常多的方式构建模型,但最后的训练成本还是太高了。
近年来,在自然语言处理领域又开启了一股「大模型」的热潮。
2018年,谷歌提出3亿参数BERT模型惊艳四座,将自然语言处理推向了一个前所未有的新高度。
紧接着,OpenAI在2019年初推出15亿参数的GPT-2,英伟达推出威震天(Megatron-LM)83亿参数,谷歌T5模型110亿参数,微软图灵Turing-NLG模型170亿参数。
这些模型一次次不断地刷新参数规模的数量级,而2020年GPT-3的出现成为这一数量级的分界线。
GPT-3,1750亿参数,参数规模达到千亿级别,直逼人类神经元的数量,能作诗、聊天、生成代码等等。
就在近日,微软和英伟达联手发布了Megatron-Turing自然语言生成模型(MT-NLG),5300亿参数,同时夺得单体Transformer语言模型界「最大」和「最强」两个称号。
这种对于模型参数和训练算力的极致追求,究竟是通往AGI的「必经之路」,还是大公司强调技术实力的「趋之若鹜」呢?
MIT一项最新的研究可能给出了答案。
计算=认知?No!
人类的认知可能与计算没有任何关系。
心智的计算理论(The Computational Theory of Mind)是一个根深蒂固的理论,从上世纪40年代早期芝加哥的 Warren McCulloch 和 Walter Pitts 的工作开始,后来在MIT,Jerome Lettvin 和 Humberto 也加入对这个问题的研究。
大脑的判断是基于计算,很多人都会这么认为。
但在人类历史的进程中,许多错误理论有时会流行长达数十年之久。
你以为的就是你以为的吗?
比如燃烧的「燃素」理论。从 1667 年起的一个多世纪里,大多数科学家都认为,不同物质之所以能够燃烧,是因为一种常见的物质,这种物质后来被称为「燃素」。
燃素可以通过火消散到空气中。空气吸收燃素的能力是有限的,所以如果只有少量空气可用,火就会熄灭。
直到 19 世纪末,在解释和描述宇宙中可以直接观察的对象的运动规律上,牛顿的经典物理学还占据着统治地位。但到了 20 世纪初,爱因斯坦的理论引发了两次革命,相对论和能量都被量子化了,并产生了新的学科:量子力学。
100 多年后,基于量子力学的成果仍在不断出现,比如量子计算机和量子通信,可能让今天的最先进的数据加密技术变得一文不值。
在过去的 30 年里,人们一直认为阿尔茨海默病的机制是淀粉样蛋白斑块在大脑中的积累,因为观察发现,患阿尔茨海默病的人的大脑中总是有这种斑块。
直到最近,人们才发现,使用降低淀粉样蛋白斑块的药物进行的试验并未缓解阿尔茨海默病的病情。
现在认为,淀粉样斑块是阿尔茨海默病的副作用,而不是病因。过去对阿尔茨海默病病因研究的替代方法投入不够,此类研究经常在同行评议中被视为「非主流」。
长期存在的科学理论可能经常被取代,随着时间的推移,任何特定科学领域的理论,有时都会因为存在根本错误而被淘汰。
意识来源新假说:「自我组织」
我们现在都假设智能、思想、认知,这些都是计算的产物。
神经科学计算目前是人类理解这些现象的最普遍方式。神经科学的对应研究对象就是人工智能,而要构建一个智能系统,就要编写计算机程序。
1956年,约翰·麦卡锡 (John McCarthy) 在达特茅斯人工智能研讨会上首次提出了「人工智能」一次,他在会议报告的第一页就明确提出了这一立场。
也许有意识的体验来自某种「自我组织」。而计算主义,可能根本不是我们应该专注的技术核心。
新的卫星发射企业并不能主要通过编程将人们送入太空。虽然在发射过程中会涉及到很多计算机程序,但核心机制是在助推器中用氧气燃烧不含燃素的火箭燃料,并化为对火箭的推力。
Python 脚本本身无法完成工作。同样,只凭计算机计算出原子应该所处的位置和状态,并不会产生结晶,结晶是作为「自我组织」的原子在相互作用力下的产物。
人的大脑内部大量存在二维神经元。研究人员很久以前就确定,这些地方的神经活动可以非常准确地与感官刺激相对应。许多研究人员将这些神经行为描述为「计算的结果」。
他们认为,这些计算是我们能够有意识地体验世界的原因。
但也许这都是错误的。
也许这些有意识的体验来自某种「自我组织」(self-organization)。我们与这些感觉相关的计算可能只是我们自己的发明,用来解释感觉机制,但实际上并不是产生感觉的主要原因。
当然,以目前的思维方式来说,这个说法听起来确实挺让人毛骨悚然的。
参考链接:
https://spectrum.ieee.org/cognition-without-computation
https://en.wikipedia.org/wiki/Neural_network
登录查看更多
点赞并收藏
0
暂时没有读者
0
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
人工神经网络
关注
129
人工神经网络(Artificial Neural Network,即ANN),它从信息处理角度对人脑神经元网络进行抽象,建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
特约专栏丨孙茂松教授——自然语言处理一瞥:知往鉴今瞻未来
专知会员服务
24+阅读 · 2022年3月13日
计算机视觉和人类视觉有更多的共同点?MIT研究人员解读【周边视觉对机器的好处】
专知会员服务
20+阅读 · 2022年3月7日
神经网络如何推理?看这份IJCAI2021《神经机器翻推理:理论与应用》教程,附245页Slides
专知会员服务
52+阅读 · 2021年8月22日
【CMU】可扩展人工智能白皮书
专知会员服务
27+阅读 · 2021年7月3日
《人工智能计算中心白皮书》,43页pdf
专知会员服务
152+阅读 · 2021年3月5日
【NeurIPS2020】DeepMind最新《神经科学人工智能》报告,126页ppt
专知会员服务
68+阅读 · 2020年12月10日
如何构建通用人工智能AGI?这份来自数学家视角见解可以参阅,64页PPT
专知会员服务
43+阅读 · 2020年6月15日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
Capsule Networks,胶囊网络,57页ppt,布法罗大学
专知会员服务
67+阅读 · 2020年2月29日
清华大学唐杰老师:用于理解、推理和决策的认知图计算
专知会员服务
119+阅读 · 2019年11月30日
AI 是否拥有意识?从意识的定义说起
学术头条
0+阅读 · 2022年3月19日
AI计算量半年翻一番,已到意识觉醒阈值?MIT论文作者出来说话了
新智元
0+阅读 · 2022年2月17日
大型语言模型,真的能够理解人类吗?
CSDN
0+阅读 · 2022年1月24日
拥有100万亿参数的GPT-4,有何值得期待?
THU数据派
0+阅读 · 2022年1月13日
清华王梦迪:从基础理论到通用算法,看见更大的AI世界观
THU数据派
0+阅读 · 2021年12月23日
我的猫居然是图灵机?!
量子位
0+阅读 · 2021年11月27日
人工智能65年简史:从麦卡锡到Hinton,人类追求的AI究竟是什么?
THU数据派
1+阅读 · 2021年10月15日
浪潮英伟达微软为何狂炼AI大模型?巨头角力已经开始
新智元
0+阅读 · 2021年10月15日
DeepMind出品,图神经网络与因果推理的联合
图与推荐
4+阅读 · 2021年9月11日
纽约大学Gary Marcus等撰文:人类思维对于AI的11个启示
新智元
0+阅读 · 2021年1月15日
青少年执行功能与数学认知的关系研究
国家自然科学基金
2+阅读 · 2015年12月31日
致远数学科学中心
国家自然科学基金
0+阅读 · 2015年12月31日
模型检测动态认知逻辑
国家自然科学基金
3+阅读 · 2014年12月31日
识别电位认知本质和神经定位研究
国家自然科学基金
0+阅读 · 2013年12月31日
国债收益率曲线与国债期货的互动关系研究
国家自然科学基金
0+阅读 · 2012年12月31日
面向文本分类的多学科协同建模理论与实验研究
国家自然科学基金
0+阅读 · 2012年12月31日
几类重要实代数簇的等式理论的完备性、可计算性及其在智能计算中的应用
国家自然科学基金
0+阅读 · 2012年12月31日
关于图的集控制问题研究
国家自然科学基金
0+阅读 · 2012年12月31日
承办数学天元基金学术领导小组2011年度第一次会议
国家自然科学基金
0+阅读 · 2011年4月30日
Theta嵌套的gamma节律的神经动力学模型研究
国家自然科学基金
0+阅读 · 2009年12月31日
Quantum Bayesian Statistical Inference
Arxiv
0+阅读 · 2022年4月19日
Limitations of Deep Learning for Inverse Problems on Digital Hardware
Arxiv
0+阅读 · 2022年4月19日
Linear codes using simplicial complexes
Arxiv
0+阅读 · 2022年4月18日
Construction of a bi-infinite power free word with a given factor and a non-recurrent letter
Arxiv
0+阅读 · 2022年4月16日
Reducing the Depth of Quantum FLT-Based Inversion Circuit
Arxiv
0+阅读 · 2022年4月16日
Twin-width can be exponential in treewidth
Arxiv
0+阅读 · 2022年4月15日
A Theory of Consciousness from a Theoretical Computer Science Perspective: Insights from the Conscious Turing Machine
Arxiv
0+阅读 · 2022年4月15日
Quantum Computing -- from NISQ to PISQ
Arxiv
1+阅读 · 2022年4月15日
Characterizing the Efficiency vs. Accuracy Trade-off for Long-Context NLP Models
Arxiv
0+阅读 · 2022年4月15日
What is the optimal schedule for the UEFA Champions League groups?
Arxiv
0+阅读 · 2022年4月11日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
人工神经网络
算力
麻省理工学院
神经元
线性组合
AlphaGo
相关VIP内容
特约专栏丨孙茂松教授——自然语言处理一瞥:知往鉴今瞻未来
专知会员服务
24+阅读 · 2022年3月13日
计算机视觉和人类视觉有更多的共同点?MIT研究人员解读【周边视觉对机器的好处】
专知会员服务
20+阅读 · 2022年3月7日
神经网络如何推理?看这份IJCAI2021《神经机器翻推理:理论与应用》教程,附245页Slides
专知会员服务
52+阅读 · 2021年8月22日
【CMU】可扩展人工智能白皮书
专知会员服务
27+阅读 · 2021年7月3日
《人工智能计算中心白皮书》,43页pdf
专知会员服务
152+阅读 · 2021年3月5日
【NeurIPS2020】DeepMind最新《神经科学人工智能》报告,126页ppt
专知会员服务
68+阅读 · 2020年12月10日
如何构建通用人工智能AGI?这份来自数学家视角见解可以参阅,64页PPT
专知会员服务
43+阅读 · 2020年6月15日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
Capsule Networks,胶囊网络,57页ppt,布法罗大学
专知会员服务
67+阅读 · 2020年2月29日
清华大学唐杰老师:用于理解、推理和决策的认知图计算
专知会员服务
119+阅读 · 2019年11月30日
热门VIP内容
开通专知VIP会员 享更多权益服务
《人类-航空/航天机器人协作网络中的动态覆盖控制和估计》177页
《数字目标定位:人工智能、数据和军事情报》
从俄乌战争中汲取的地理空间情报教训
《国防和国家安全中的战术边缘物联网》最新45页
相关资讯
AI 是否拥有意识?从意识的定义说起
学术头条
0+阅读 · 2022年3月19日
AI计算量半年翻一番,已到意识觉醒阈值?MIT论文作者出来说话了
新智元
0+阅读 · 2022年2月17日
大型语言模型,真的能够理解人类吗?
CSDN
0+阅读 · 2022年1月24日
拥有100万亿参数的GPT-4,有何值得期待?
THU数据派
0+阅读 · 2022年1月13日
清华王梦迪:从基础理论到通用算法,看见更大的AI世界观
THU数据派
0+阅读 · 2021年12月23日
我的猫居然是图灵机?!
量子位
0+阅读 · 2021年11月27日
人工智能65年简史:从麦卡锡到Hinton,人类追求的AI究竟是什么?
THU数据派
1+阅读 · 2021年10月15日
浪潮英伟达微软为何狂炼AI大模型?巨头角力已经开始
新智元
0+阅读 · 2021年10月15日
DeepMind出品,图神经网络与因果推理的联合
图与推荐
4+阅读 · 2021年9月11日
纽约大学Gary Marcus等撰文:人类思维对于AI的11个启示
新智元
0+阅读 · 2021年1月15日
相关基金
青少年执行功能与数学认知的关系研究
国家自然科学基金
2+阅读 · 2015年12月31日
致远数学科学中心
国家自然科学基金
0+阅读 · 2015年12月31日
模型检测动态认知逻辑
国家自然科学基金
3+阅读 · 2014年12月31日
识别电位认知本质和神经定位研究
国家自然科学基金
0+阅读 · 2013年12月31日
国债收益率曲线与国债期货的互动关系研究
国家自然科学基金
0+阅读 · 2012年12月31日
面向文本分类的多学科协同建模理论与实验研究
国家自然科学基金
0+阅读 · 2012年12月31日
几类重要实代数簇的等式理论的完备性、可计算性及其在智能计算中的应用
国家自然科学基金
0+阅读 · 2012年12月31日
关于图的集控制问题研究
国家自然科学基金
0+阅读 · 2012年12月31日
承办数学天元基金学术领导小组2011年度第一次会议
国家自然科学基金
0+阅读 · 2011年4月30日
Theta嵌套的gamma节律的神经动力学模型研究
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Quantum Bayesian Statistical Inference
Arxiv
0+阅读 · 2022年4月19日
Limitations of Deep Learning for Inverse Problems on Digital Hardware
Arxiv
0+阅读 · 2022年4月19日
Linear codes using simplicial complexes
Arxiv
0+阅读 · 2022年4月18日
Construction of a bi-infinite power free word with a given factor and a non-recurrent letter
Arxiv
0+阅读 · 2022年4月16日
Reducing the Depth of Quantum FLT-Based Inversion Circuit
Arxiv
0+阅读 · 2022年4月16日
Twin-width can be exponential in treewidth
Arxiv
0+阅读 · 2022年4月15日
A Theory of Consciousness from a Theoretical Computer Science Perspective: Insights from the Conscious Turing Machine
Arxiv
0+阅读 · 2022年4月15日
Quantum Computing -- from NISQ to PISQ
Arxiv
1+阅读 · 2022年4月15日
Characterizing the Efficiency vs. Accuracy Trade-off for Long-Context NLP Models
Arxiv
0+阅读 · 2022年4月15日
What is the optimal schedule for the UEFA Champions League groups?
Arxiv
0+阅读 · 2022年4月11日
大家都在搜
RE-NET
palantir
大型语言模型
全面综述
自主系统
智能推荐
PRML
MoE
壁画
出海产品从 0 到 1 该怎么做
Top
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top