7月最受欢迎AI研究榜单出炉，马毅最新「标准模型」排名第9

↑ 点击 蓝字  关注极市平台

作者丨Joey

来源丨新智元

编辑丨极市平台

极市导读

 

近日，有Reddit网友整理了一份七月最受欢迎的AI研究榜单，快来看看都有哪些重量级研究~ >>加入极市CV技术交流群，走在计算机视觉的最前沿

七月最受欢迎的AI研究榜单出炉啦！

 

这份由Reddit网友@bycloudai整理的榜单，根据推特点赞、转发和Github星数排序，列入了2022年七月排名前十的AI研究，其中包括DeepMind、Google、MIT CSAIL等知名机构。

 

 

下面一起来看看上榜的都是何方大佬~

 

TOP1: Formal Algorithms for Transformers

 

作者：Mary Phuong，Marcus Hutter

机构：DeepMind

 

 

摘要：本文旨在成为一个独立的、数学上精确的Transformer架构和算法概述。它涵盖了Transformer是什么、它们是如何训练的、它们的用途、它们的关键架构组件以及最突出的模型的预览。

 

Top2：Confident Adaptive Language Modeling

 

作者：Tal Schuster, Adam Fisch, Jai Gupta, Mostafa Dehghani, Dara Bahri, Vinh Q Tran, Yi Tay, Donald Metzler

机构：谷歌，MIT CSAIL

 

 

摘要：基于Transformer 的大型语言模型 (LLM) 的最新进展已推动许多任务的性能显著提高。然而性能提升的同时模型的大小也在急剧增加，这可能导致推理过程复杂以及成本增加。然而在实践中，大型语言模型产生的一系列迭代是由不同程度的难度组成的。

 

在这项工作中，我们介绍了 Confident Adaptive Language Model-ing (CALM)，这是一个动态分配不同数量的计算机输入和生成时长的框架。

早期退出解码涉及我们在这里解决的几个问题，例如：（1）使用什么置信度度量；(2) 将序列级约束与本地token的退出决策联系起来；(3) 回溯由于先前token提前退出而丢失的隐藏表示。通过对三种不同文本生成任务的理论分析和实验，我们证明了我们的框架在减少计算方面的功效——潜在加速高达3倍，同时可保持高性能。

 

Top3：Language Models (Mostly) Know What They Know

作者：Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan等

机构：Anthropic

 

 

摘要：本文研究了语言模型是否可以评估自己主张的有效性并预测他们将能够正确回答哪些问题。我们首先表明，当以正确的格式提供较大的模型时，它们可以很好地针对各种多项选择和真/假问题进行校准。因此，我们可以通过要求模型首先提出答案，然后评估其答案正确的概率P(True)来对开放式抽样任务进行自我评估。

 

我们发现 P(True) 在各种任务中的性能、校准和缩放都令人兴奋。当我们允许模型在预测一种特定可能性的有效性之前考虑许多自己的样本时，自我评估的性能会进一步提高。接下来，我们研究是否可以训练模型来预测P(IK)，即「我知道问题的答案」的概率，而不参考任何特定的建议答案。

 

Top4：YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time objectdetectors

 

作者：Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao

机构：Institute of Information Science, Academia Sinica

 

 

Top5：Language Model Cascades

 

作者：David Dohan, Winnie Xu, Aitor Lewkowycz等

机构：谷歌

 

 

Top6：Collaborative Neural Rendering using AnimeCharacter Sheets

 

作者：Zuzeng Lin, Ailin Huang, Zhewei Huang等

机构：武汉大学，旷视科技

 

 

Top7：Neural Networks and the Chomsky Hierarchy

 

作者：Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein等

机构：DeepMind

 

 

Top8：Language modelling with Pixels

 

作者：Phillip Rust, Jonas F. Lotz, Emanuele Bugliarello等

机构：哥本哈根大学，约翰霍普金斯大学，乌普萨拉大学

 

 

Top9: On the Principles of Parsimony and Self-Consistencyfor the Emergence of Intelligence

 

作者：马毅，曹颖，沈向洋

机构：加利福尼亚大学伯克利分校，粤港澳大湾区数字经济研究院

 

 

这篇论文是马毅教授联手计算机科学家沈向洋博士、神经科学家曹颖教授发表的一篇对人工智能出现及发展的研究综述，堪称对近70年来AI发展的提纲挈领之作。

Top10：Scaling Laws vs Model Architectures:How does Inductive Bias Influence Scaling

 

作者：Yi Tay, Mostafa Dehghani, Samira Abnar

机构：谷歌，DeepMind

 

 

看完了Top10的各方大佬的论文，再来说说这次榜单有趣的几个细节。

 

众所周知，推特点赞是可以用机器人刷的，作者用点赞数作为榜单的关键指标确实有待商榷。

 

 

另外，此前呼声极高的「无限视觉生成模型NUWA-Infinity」在推特点赞数方面只排在第12位，但Github星数已超过2.4k。

由于NUWA Infinity早在2021年11月就发布了首个版本，而本次榜单只计入了之后的第二版的点赞数，因此只排在第12位。

参考资料：https://www.reddit.com/user/cloud_weather/

公众号后台回复“ECCV2022”获取论文分类资源下载～

‍

‍△点击卡片关注极市平台，获取 最新CV干货‍

‍

极市干货

算法项目： CV工业项目落地实战 ｜ 目标检测算法上新！（年均分成5万）

实操教程 ：Pytorch - 弹性训练原理分析｜《CUDA C 编程指南》导读

极视角动态： 极视角作为重点项目入选「2022青岛十大资本青睐企业」榜单！ ｜ 极视角发布EQP激励计划，招募优质算法团队展开多维度生态合作！ ｜极市AI校园大使招募

“

点击阅读原文进入CV社区

收获更多技术干货