Artificial Intelligence (AI) has made incredible progress recently. On the one hand, advanced foundation models like ChatGPT can offer powerful conversation, in-context learning and code generation abilities on a broad range of open-domain tasks. They can also generate high-level solution outlines for domain-specific tasks based on the common sense knowledge they have acquired. However, they still face difficulties with some specialized tasks because they lack enough domain-specific data during pre-training or they often have errors in their neural network computations on those tasks that need accurate executions. On the other hand, there are also many existing models and systems (symbolic-based or neural-based) that can do some domain-specific tasks very well. However, due to the different implementation or working mechanisms, they are not easily accessible or compatible with foundation models. Therefore, there is a clear and pressing need for a mechanism that can leverage foundation models to propose task solution outlines and then automatically match some of the sub-tasks in the outlines to the off-the-shelf models and systems with special functionalities to complete them. Inspired by this, we introduce TaskMatrix.AI as a new AI ecosystem that connects foundation models with millions of APIs for task completion. Unlike most previous work that aimed to improve a single AI model, TaskMatrix.AI focuses more on using existing foundation models (as a brain-like central system) and APIs of other AI models and systems (as sub-task solvers) to achieve diversified tasks in both digital and physical domains. As a position paper, we will present our vision of how to build such an ecosystem, explain each key component, and use study cases to illustrate both the feasibility of this vision and the main challenges we need to address next.


翻译:摘要:人工智能(AI)最近取得了巨大的进步。一方面,像ChatGPT这样的先进基础模型可以在广泛的开放域任务上提供强大的对话、上下文学习和代码生成能力。它们还可以基于它们所获取的常识知识为特定领域的任务生成高级解决方案概述。然而,它们在某些专业任务上仍然面临困难,因为它们在预训练期间缺乏足够的领域特定数据,或者它们在这些需要精确执行的任务上,经常存在神经网络计算错误。另一方面,还有许多现有模型和系统(符号或神经)可以非常好地完成某些领域特定的任务。然而,由于实现或工作机制的不同,它们不易与基础模型兼容或可访问。因此,有一个明显而紧迫的需要,即开发一种机制,使用基础模型提出任务解决方案概述,然后自动匹配某些子任务到现有具有特殊功能的模型和系统的APIs,完成它们。受此启发,我们介绍了TaskMatrix.AI作为一个新的AI生态系统,可连接基础模型和数百万个API以完成任务。与大多数以改进单个AI模型为目标的先前工作不同,TaskMatrix.AI更侧重于使用现有的基础模型(作为大脑状的中央系统)和其他AI模型和系统的API(作为子任务解决器)在数字和物理领域实现多样化的任务。作为一篇立场论文,我们将展示如何构建这样的生态系统、解释每个关键组件,并使用案例研究说明这一愿景的可行性和我们需要解决的主要挑战。

2
下载
关闭预览

相关内容

应用程序接口(简称 API),又称为应用编程接口,就是软件系统不同组成部分衔接的约定。
Artificial Intelligence: Ready to Ride the Wave? BCG 28页PPT
专知会员服务
26+阅读 · 2022年2月20日
最新《Transformers模型》教程,64页ppt
专知会员服务
305+阅读 · 2020年11月26日
基于PyTorch/TorchText的自然语言处理库
专知
28+阅读 · 2019年4月22日
自然语言处理常识推理综述论文,60页pdf
专知
73+阅读 · 2019年4月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
【推荐】(TensorFlow)SSD实时手部检测与追踪(附代码)
机器学习研究会
11+阅读 · 2017年12月5日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月18日
Arxiv
76+阅读 · 2022年3月26日
VIP会员
相关VIP内容
Artificial Intelligence: Ready to Ride the Wave? BCG 28页PPT
专知会员服务
26+阅读 · 2022年2月20日
最新《Transformers模型》教程,64页ppt
专知会员服务
305+阅读 · 2020年11月26日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员