了解Phi-4:Phi家族最新的小型语言模型,提供高质量结果且模型尺寸小(14B参数)

Phi-4——一款14B参数的最新小型语言模型(SLM),它在复杂推理领域表现出色,尤其在数学推理方面,除了传统的语言处理任务外。Phi-4是我们Phi家族中的最新成员,展示了我们在不断探索小型语言模型(SLMs)边界时的技术进展。Phi-4目前可以在Azure AI Foundry上使用,并且在下周将通过微软研究许可协议(MSRLA)发布,之后将在Hugging Face上提供。

Phi-4基准测试

由于在各个过程中的创新进展,特别是在使用高质量合成数据集、高质量有机数据的筛选以及后期训练创新等方面,Phi-4在数学相关推理任务上超越了同类及更大规模的模型。Phi-4继续推动模型规模与质量之间的前沿发展。

Phi-4在数学问题上的表现,尤其是在数学竞赛问题上的基准测试

Phi-4在数学竞赛问题上的表现尤为出色,甚至超越了更大的模型,包括Gemini Pro 1.5(https://maa.org/student-programs/amc/)。要查看更多基准测试结果,请阅读我们在arXiv上发布的最新技术论文。

安全与负责任的AI创新

在微软,构建负责任的AI解决方案是AI开发的核心。我们已将强大的负责任AI能力提供给使用Phi系列模型的客户,包括专为Windows Copilot+ PC优化的Phi-3.5-mini。 Azure AI Foundry为用户提供了一套强大的能力,帮助组织在整个AI开发生命周期中衡量、缓解和管理AI风险,适用于传统机器学习和生成式AI应用程序。Azure AI评估在AI Foundry中使开发人员能够通过内置和自定义指标迭代地评估模型和应用程序的质量与安全性,以便做出相应的风险缓解措施。 此外,Phi用户还可以使用Azure AI内容安全功能,如提示盾、受保护材料检测和真实性检测。这些功能可以作为内容过滤器,与我们模型目录中的任何语言模型一起使用,开发人员可以通过单一API轻松地将这些能力集成到他们的应用程序中。一旦投入生产,开发人员可以监控应用程序的质量和安全性、防御性提示攻击、以及数据完整性,并通过实时警报及时干预。

Phi-4的应用实例

Phi-4在数学推理方面的能力可以通过以下问题来展示:

成为VIP会员查看完整内容
22

相关内容

《大语言模型推理加速》全面的硬件视角
专知会员服务
30+阅读 · 10月12日
《大型语言模型》最新全面概述
专知会员服务
106+阅读 · 2023年7月14日
【干货书】PyTorch 深度学习,255页pdf
专知会员服务
274+阅读 · 2021年4月3日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
NLP命名实体识别开源实战教程 | 深度应用
AI100
15+阅读 · 2019年8月18日
基于PyTorch/TorchText的自然语言处理库
专知
28+阅读 · 2019年4月22日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
Caffe 深度学习框架上手教程
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月12日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Arxiv
159+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
408+阅读 · 2023年3月31日
Identity-aware Graph Neural Networks
Arxiv
14+阅读 · 2021年1月25日
Arxiv
26+阅读 · 2020年2月21日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关资讯
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
NLP命名实体识别开源实战教程 | 深度应用
AI100
15+阅读 · 2019年8月18日
基于PyTorch/TorchText的自然语言处理库
专知
28+阅读 · 2019年4月22日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
Caffe 深度学习框架上手教程
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月12日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员