论文地址:https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/ * 项目地址:https://github.com/facebookresearch/llama 总的来说,作为一组经过预训练和微调的大语言模型(LLM),Llama 2 模型系列的参数规模从 70 亿到 700 亿不等。其中的 Llama 2-Chat 针对对话用例进行了专门优化。

Llama 2-Chat 的训练 pipeline。 Llama 2 模型系列除了在大多数基准测试中优于开源模型之外,根据 Meta 对有用性和安全性的人工评估,它或许也是闭源模型的合适替代品。

Llama 2-Chat 与其他开源和闭源模型在安全性人类评估上的结果。 Meta 详细介绍了 Llama 2-Chat 的微调和安全改进方法,使社区可以在其工作基础上继续发展,为大语言模型的负责任发展做出贡献。 Vedanuj 目前在 Meta AI 的 LLM 研究团队担任研究工程师,他主要关注 LLM 的预训练和扩展技术。他最近参与了训练“Llama 2”系列模型,这迅速成为了社区中最广泛采纳和下载的开放模型之一。在此之前,Vedanuj 是“不遗余力的语言翻译”和“为未书写的语言提供普遍的语音翻译”项目的研究负责人。在深入研究 LLM 和翻译之前,他在 FAIR 从事多模态研究,领导了如 FLAVA 和 MMF 这样的知名项目。

成为VIP会员查看完整内容
66

相关内容

【中文版】Llama 2:开放基础和微调聊天模型,79页pdf
专知会员服务
118+阅读 · 2023年7月20日
【2023新书】分布测试的主题和技术,163页pdf
专知会员服务
15+阅读 · 2023年1月19日
专知会员服务
165+阅读 · 2021年8月3日
专知会员服务
39+阅读 · 2021年6月29日
【微软】自动机器学习系统,70页ppt
专知会员服务
69+阅读 · 2021年6月28日
【微软】深度学习推理系统,45页ppt
专知会员服务
35+阅读 · 2021年6月27日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
基于深度学习的图像分析技术,116页ppt
专知会员服务
55+阅读 · 2020年7月17日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
《机器学习实战》代码(基于Python3)
专知
32+阅读 · 2019年10月14日
vqvae2 paper及同时重建场景和人脸的效果
CreateAMind
13+阅读 · 2019年7月5日
Python机器学习课程(代码与教程)
专知
35+阅读 · 2019年5月13日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
RCNN算法分析
统计学习与视觉计算组
10+阅读 · 2018年1月12日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
36+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
26+阅读 · 2020年2月21日
VIP会员
相关VIP内容
【中文版】Llama 2:开放基础和微调聊天模型,79页pdf
专知会员服务
118+阅读 · 2023年7月20日
【2023新书】分布测试的主题和技术,163页pdf
专知会员服务
15+阅读 · 2023年1月19日
专知会员服务
165+阅读 · 2021年8月3日
专知会员服务
39+阅读 · 2021年6月29日
【微软】自动机器学习系统,70页ppt
专知会员服务
69+阅读 · 2021年6月28日
【微软】深度学习推理系统,45页ppt
专知会员服务
35+阅读 · 2021年6月27日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
基于深度学习的图像分析技术,116页ppt
专知会员服务
55+阅读 · 2020年7月17日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
相关资讯
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
36+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员