当地时间 5 月 10 日上午,一年一度的谷歌 I/O 来了,加州山景城的海岸圆形剧场座无虚席,今年的大会正式开幕。PaLM 二代模型****支持多语言、更强的数学、代码能力

首先,谷歌给出了自己对标 GPT-4 的大模型 PaLM 2。 要说这一波 AI 技术突破的源头,或许可以追溯到 2017 年谷歌提出的 transformer 架构,它已成为绝大多数现代大语言模型的基石。

在过去的几年里,谷歌除了在大模型上不断进步之外,也采用了许多创造性的新技术来构建功能更强大、用途更广的模型。这些技术是新一代语言模型 PaLM 2 的核心。PaLM 基于谷歌 Pathways 架构,其第一个版本的模型于 2022 年 4 月发布。

谷歌 I/O 大会上,皮查伊宣布推出 PaLM 2 预览版本,改进了数学、代码、推理、多语言翻译和自然语言生成,利用谷歌最新的 TPU 算力基础设施提升了训练速度。由于它的构建方式是将计算、优化扩展、改进的数据集混合以及模型架构改进结合在一起,因此服务效率更高,同时整体表现更好。

会上,谷歌并没有给出有关 PaLM 2 的具体技术细节,只说明了它是构建在谷歌最新 JAX 和 TPU v4 之上。PaLM 2 模型提供了不同尺寸规模的四个版本,从小到大依次为 Gecko、Otter、Bison 和 Unicorn,更易于针对各种用例进行部署。其中轻量级的 Gecko 模型可以在移动设备上运行,速度非常快,不联网也能在设备上运行出色的交互式应用程序。

皮查伊表示,PaLM 2 模型在常识推理、数学和逻辑领域表现更好。为此,谷歌在大量包含数学表达式的科学论文和网页上进行了训练,可以轻松解决数学难题、推理文本甚至可以输出图表。

从基准测试上可以看到,对于具有思维链 prompt 或自洽性的 MATH、GSM8K 和 MGSM 基准评估,PaLM 2 的部分结果超越了 GPT-4。

PaLM 2 是在具有 100 + 语言的语料库上进行训练的,因此它更擅长多语言任务,能够理解、生成和翻译比以往模型更细致多样化的文本(包括习语、诗歌和谜语等)。PaLM 2 通过了「精通」(mastery)级别的高级语言能力考试。

与此同时,PaLM 2 改进了对代码编写和调试的支持,在 20 种编程语言上进行了训练,包括 Python 和 JavaScript 等流行语言以及 Prolog、Verilog 和 Fortran 等其他更专业的语言。PaLM 2 构成了 Codey 的基础,它是谷歌用于编码和调试的专用模型,作为代码补全和生成服务的一部分推出。 皮查伊现场演示了 PaLM 2 的代码调试功能,输入指令「你能修复这段代码的一个 bug,并添加一行一行的韩文注释吗?」,结果如下动图所示。

谷歌内部已经有超过 70 个产品团队正在使用 PaLM 2 构建产品,包括分别针对安全知识和医疗知识微调而成的 Sec-PaLM 和 Med-PaLM 2

其中 Sec-PaLM 是专注于安全用例的版本,使用 AI 帮助分析和解释具有潜在恶意脚本的行为,并检测哪些脚本对个人或组织构成威胁。Med-PaLM 2 可以检索医学知识、回答问题、生成有用的模板和解码医学术语,甚至还可以从图像中合成患者信息,例如胸部 X 光检查或乳房 X 光检查。值得强调的是,Med-PaLM 2 是首个达到专家水平的大语言模型

皮查伊在会上展示了 Med-PaLM 2 的医疗内容生成效果。

目前,开发者可以通过谷歌的 PaLM API、Firebase 以及 Colab 访问 PaLM 2。皮查伊还表示,PaLM 2 将继续为谷歌最新的 Bard 提供支持。 论文地址:https://ai.google/static/documents/palm2techreport.pdf

PaLM 2 技术报告

我们介绍了PaLM 2,这是一个全新的、具有更优秀的多语言和推理能力的语言模型,比其前任PaLM(Chowdhery等人,2022)更高效。PaLM 2是一个基于Transformer的模型,其训练使用的目标混合类似于UL2(Tay等人,2023)。通过对英语和多语言、以及推理任务的广泛评估,我们证明了PaLM 2在不同模型大小的下游任务上质量显著提升,同时相比于PaLM展示出更快、更高效的推理能力。这种改进的效率使得模型能够被更广泛地部署,同时也使模型能够更快地响应,为交互提供更自然的节奏。PaLM 2展示了强大的推理能力,这一点由其在BIG-Bench以及其他推理任务上相对于PaLM的大幅改进所证明。PaLM 2在一系列负责任的AI评估中表现稳定,并且能够在推理时控制毒性,无需额外的开销或影响其他能力。总的来说,PaLM 2在各种任务和能力上都实现了最先进的性能。自从Shannon(1951)通过预测下一个词来估算语言中的信息以来,语言建模一直是一个重要的研究领域。建模起初以n-gram为基础的方法(Kneser & Ney, 1995)开始,但随着LSTM(Hochreiter & Schmidhuber, 1997; Graves, 2014)的出现,其发展速度快速提升。后来的研究表明,语言建模也导致了语言理解的提升(Dai & Le, 2015)。随着规模的增大和Transformer架构(Vaswani等人,2017)的应用,过去几年大型语言模型(LLMs)在语言理解和生成能力上表现出了强大的性能,这导致在推理、数学、科学和语言任务中取得了突破性的成绩(Howard & Ruder, 2018; Brown等人,2020; Du等人,2022; Chowdhery等人,2022; Rae等人,2021; Lewkowycz等人,2022; Tay等人,2023; OpenAI, 2023b)。在这些进步中,关键的因素包括模型规模(Brown等人,2020; Rae等人,2021)和数据量(Hoffmann等人,2022)的扩大。到目前为止,大多数LLMs主要遵循一种标准的配方,即主要使用单语语料库并配合语言建模目标。我们介绍了PaLM 2,这是PaLM(Chowdhery等人,2022)的后继者,这是一个将建模进步、数据改进和规模洞察力统一起来的语言模型。PaLM 2融合了以下各种研究进步:

计算最优缩放:最近,计算最优缩放(Hoffmann等人,2022)表明,数据大小至少与模型大小同等重要。我们验证了这项研究对更大计算量的适用性,并同样发现,为了达到给定训练计算量的最佳性能,数据和模型大小应大致按1:1的比例缩放(这与过去的趋势不同,过去的趋势是模型的缩放速度比数据集快3倍)。

改进的数据集混合:之前的大型预训练语言模型通常使用由英文文本主导的数据集(例如,Chowdhery等人(2022)的非代码部分约占78%)。我们设计了一个更具多语言和多样性的预训练混合,它涵盖了数百种语言和领域(例如,编程语言、数学和平行多语言文档)。我们证明,较大的模型可以处理更多不同的非英语数据集,而不会导致英语理解性能的下降,并应用去重复来减少记忆(Lee等人,2021)

•** 架构和目标的改进**:我们的模型架构基于Transformer。过去的LLMs几乎都独自使用一个因果或掩蔽语言建模目标。鉴于UL2(Tay等人,2023)的强大结果,我们在这个模型中使用调优的不同预训练目标的混合,以训练模型理解语言的不同方面。

中文版

成为VIP会员查看完整内容
167

相关内容

大模型是基于海量多源数据打造的预训练模型,是对原有算法模型的技术升级和产品迭代,用户可通过开源或开放API/工具等形式进行模型零样本/小样本数据学习,以实现更优的识别、理解、决策、生成效果和更低成本的开发部署方案。
【ChatGPT系列报告】ChatGPT 引发的大模型时代变革,80页pdf
专知会员服务
216+阅读 · 2023年2月28日
1370亿参数、接近人类水平,谷歌对话AI模型LaMDA放出论文
参数量1/50,Meta发布110亿参数模型,击败谷歌PaLM
机器之心
0+阅读 · 2022年8月18日
GitHub超9千星:一个API调用27个NLP预训练模型
新智元
17+阅读 · 2019年7月22日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
7+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
7+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
A Survey of Large Language Models
Arxiv
312+阅读 · 2023年3月31日
Arxiv
52+阅读 · 2023年3月26日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
7+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
7+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员