METR's time horizon metric has grown exponentially since 2019, along with compute. However, it is unclear whether compute scaling will persist at current rates through 2030, raising the question of how possible compute slowdowns might impact AI agent capability forecasts. Given a model of time horizon as a function of training compute and algorithms, along with a model of how compute investment spills into algorithmic progress (which, notably, precludes the possibility of a software-only singularity), and the empirical fact that both time horizon and compute have grown at constant rates over 2019--2025, we derive that time horizon growth must be proportional to compute growth. We provide additional, albeit limited, experimental evidence consistent with this theory. We use our model to project time horizon growth under OpenAI's compute projection, finding substantial projected delays in some cases. For example, 1-month time horizons at $80\%$ reliability occur $7$ years later than simple trend extrapolation suggests.


翻译:自2019年以来,METR的时间视界指标与计算量同步呈指数级增长。然而,目前尚不清楚计算规模扩展能否在2030年前维持当前增速,这引发了计算增速放缓可能如何影响智能体能力预测的问题。基于将时间视界建模为训练计算量与算法的函数,同时结合计算投入如何外溢至算法进展的模型(值得注意的是,该模型排除了纯软件奇点的可能性),以及2019年至2025年间时间视界与计算量均以恒定速率增长的经验事实,我们推导出时间视界增长必须与计算增长成正比。我们提供了与该理论相符的额外实验证据(尽管有限)。利用该模型,我们基于OpenAI的计算预测推演时间视界增长,发现在某些情况下会出现显著延迟。例如,达到80%可靠度的1个月时间视界,比简单趋势外推预测的时间延迟了7年。

0
下载
关闭预览

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Arxiv
0+阅读 · 12月18日
Arxiv
0+阅读 · 11月26日
VIP会员
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员