AI计算量半年翻一番，已到意识觉醒阈值？MIT论文作者出来说话了

---

  新智元报道  

编辑：袁榭 好困

【新智元导读】OpenAI首席科学家宣布AI已有微弱自主意识的风波，现在仍在扩大化。支持方的MIT学者在自己论文图表上画条线，称当下AI的大计算量已达到产生自主意识的突破阈值，在消息出圈后不得不澄清：「我开玩笑的」。

OpenAI大佬声称AI已经有自主意识的推特，让全业界都炸了锅，而引发的骂战还在继续扩大化。

 

当然，这种学界对骂，一般是口说无凭、拿出论文/数据效果立马变样，不亚于街头骂战时一方突然掏出手枪的效果。

 

 

MIT的访问研究学者塔米·贝西罗格鲁在布满了机器学习模型的图表上画了「一条线」，界线以上即是模型「有微弱意识」的程度。

 

 

这张图出自在他与别人合著的预印本论文「Compute Trends Across Three Eras of Machine Learning」里，其中记录了自1950年代「机器学习」概念产生以来的业界几乎所有重大的研究。

 

开个玩笑，别当真

这个推特一出，差点要引发不亚于之前的声浪。

 

2月17日早上，贝西罗格鲁不得不澄清：「大家淡定，之前我在图上画线那条推特是开玩笑的，线是假的，研究是真的。我倒是希望自己发现了AI获取自主意识的秘诀，可惜天不假人。」

 

 

不过，这个情势显然已经不再由他自己掌控了。

 

供职于IFP智库与爱荷华州立大学的学者马特·克兰西回复：「不好意思，你这里现在已经出圈了，正式成为骂战的阵线之一。」

 

 

尽管对有自主意识的电脑的恐惧可以追溯到1927电影《大都会》里的「机器人玛丽娅」，但研究者常常会嘲笑这个概念。

 

因为这种事发生的可能性实在太过渺茫，而且在担心终结者活过来之前，各种「人工智障」的普通AI已经需要避免被不当使用了。

 

《大都会》剧照

 

萨茨克维尔与现任老板山姆·奥特曼（Sam Altman）、著名网红马斯克当年合创的OpenAI，现在是业界当之无愧的研发火车头。其开发的GPT系列模型，是全球AI人都艳羡的著名先进模型。

 

数据报道网站「用数据呈现世界」（Our World in Data）有AI系统训练计算量的逐年与分领域趋势图。

 

在1952年的古代，计算次数每秒过万已是尖端科技巅峰。而当下的大型尖端模型，每秒浮点计算次数动辄每秒1千万亿亿次，为了跑这种大模型，Meta等大公司被逼到建造之前只有国家政府才舍得投资的超级计算机了。

 

 

因此当OpenAI的领军人表示AI有自主意识时，已被当代AI进步眩目的公众更加迷惑和反对，也在情理之中。

 

如果没其他收获的话，至少这次骂战让研究者们更加关注「何为自主意识」的定义了，或许对推动研究会有少许助益。

 

不过网友表示，这种骂战已经快成了定期的八卦项目。「每五年就会来一次，每次都是瞎编故事和模糊定义参数，大家已经看乏了。」

 

 

机器学习的三个时代

十年后，计算机视觉会有多大的进步？机器会不会比我们写小说写得更好？哪些工作我们将能够实现自动化？

 

想要回答这些问题是十分困难的，然而，有一个因素却贯穿始终，它在时间上的规律性令人吃惊——计算量。

 

为此，来自阿伯丁大学、圣安德鲁斯大学、麻省理工学院、图宾根大学和马德里康普顿斯大学等机构的研究人员对里程碑式的ML模型随时间变化的计算量需求做了的详细调查：

 

1. 一个由123个里程碑式的机器学习系统组成的数据集，并标注了训练这些系统所需的计算量。

 

2. 将计算量的趋势归纳为三个不同的时代：前深度学习时代（Pre Deep Learning Era）、深度学习时代（Deep Learning Era）和大规模时代（Large-Scale Era）。

 

论文链接： https://arxiv.org/abs/2202.05924

 

简而言之，在深度学习兴起之前，机器学习模型的训练计算量有一个缓慢增长的时代。

 

2010年左右，这一趋势加速发展，此后一直没有放缓。

 

另外，在2015年到2016年，出现了大规模模型的新趋势，增长速度确定，但增速超过了过去时代速度的两个数量级。

 

1952年至2022年期间，n=118个里程碑式的ML模型的趋势

 

主要结果

 

向深度学习的过渡

 

作者发现，在深度学习出现之前和之后有两个非常不同的趋势机制。

 

在此之前，训练ML系统所需的计算量每17至29个月翻一番。随后，整体趋势加快，每4到9个月翻一番。

 

前深度学习时代的趋势大致符合摩尔定律：晶体管密度大约每两年翻一番，不过通常被简化为计算性能每两年翻一番。

 

深度学习时代通常被认为是在2012年随着AlexNet的诞生而开始的，而作者认为，根据现有的证据，2010年是最符合这个时代开始的时间。

 

不过在这个界定上，不管是选择2010年还是2012年，都不会对整体的结果产生显著影响。

 

1952年至2022年期间，n=118个里程碑式的ML系统的训练计算量的趋势

 

1952年至2022年ML模型的对数线性回归结果

 

大规模时代的趋势

 

数据表明，在2015-2016年左右，出现了大规模模型的新趋势。

 

这个新趋势从2015年底的AlphaGo开始，一直持续到现在。这些大规模的模型是由大公司训练的，他们更高额的训练预算大概是打破之前趋势的原因。

 

另外，常规规模模型的趋势继续不受干扰。这个趋势在2016年之前和之后都是连续的，并且计算量有持续的发展速度，每5到6个月翻一番

 

大规模模型的计算量增加的趋势显然比较缓慢，每9到10个月翻一番。

 

不过，由于关于大规模模型的数据有限，作者推测，明显的放缓可能是噪声的结果

 

2010年至2022年期间，n=99个里程碑式ML系统的训练计算量的趋势

 

2010年至2022年之间数据的对数线性回归结果

 

不同领域的趋势

 

不同领域的机器学习模型依赖于不同的架构，因此可以自然地预期它们会受到不同的扩展规律的影响。

 

由此，作者调查了视觉、语言、游戏和其他12个领域的机器学习模型训练计算量增加趋势。

 

视觉和语言领域的趋势随着时间的推移似乎相当一致，并按照与整个数据集相同的倍增模式增长。

 

然而，在游戏领域中却无法找到一致的趋势。作者猜测，可能的原因是数据太少，而不同的游戏本质上是属于不同领域的，此外，也可能是因为没有像其他领域那样得到系统性的推动。

 

2010年至2022年期间每个领域训练计算量的趋势

 

每个领域从2009年到2022年的趋势

 

总结

 

在本文中，作者通过策划100多个里程碑式的ML系统的训练计算量数据集来研究计算量的趋势，并使用这些数据来分析这一趋势是如何随时间增长的。

 

在前深度学习时代（1952年到2010年），计算量增长缓慢。

 

2010年左右，随着过渡到深度学习时代，这一趋势加快了。

 

2015年底，大公司开始发布跨时代的大规模模型，如AlphaGo，标志着大规模时代的开始。

 

用这三个时代来框定趋势，有助于解释在数据中观察到的不连续现象，并让人更好地理解更好地理解最近的ML进展是由规模的增加所推动的，从而改善对先进ML系统发展的预测。

 

不过，有些遗憾的是本文并没有详细剖析用于训练机器学习模型的另一个关键可量化资源——数据集。

 

作者表示会将在未来的工作中研究数据集大小的趋势以及它们与计算趋势的关系。

 

而本想借机宣传一下论文的贝西罗格鲁，恐怕学到的要比其他合著者们更多：「贝西罗格鲁法则：不管研究者的推特笑话有多明显，只要你够资深，总有传媒会当真」。

参考资料：

https://wordpress.futurism.com/mit-researcher-conscious-ai/amp

https://arxiv.org/abs/2202.05924

https://twitter.com/tamaybes/status/1493682157914578944