来源:哈尔滨工业大学、自然语言处理研究所(HIT-NLP)

2022年11月30日,OpenAI推出全新的对话式通用人工智能工具——ChatGPT。ChatGPT表现出了非常惊艳的语言理解、生成、知识推理能力,它可以很好地理解用户意图,做到有效的多轮沟通,并且回答内容完整、重点清晰、有概括、有逻辑、有条理。ChatGPT上线后,5天活跃用户数高达100万,2个月活跃用户数已达1个亿,成为历史上增长最快的消费者应用程序。除了被广大用户追捧外,ChatGPT还受到了各国政府、企业界、学术界的广泛关注,使人们看到了解决自然语言处理这一认知智能核心问题的一条可能的路径,并被认为向通用人工智能迈出了坚实的一步,将对搜索引擎构成巨大的挑战,甚至将取代很多人的工作,更将颠覆很多领域和行业。 哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告,从技术原理、应用场景、未来发展等方面对ChatGPT进行了尽量详尽的介绍及总结。

本报告仅供内部参考。 主要编撰人员 第一章由车万翔、杨沐的、张伟男、赵妍妍、冯骁骋、孙承杰、李佳朋编写;第二章由张伟男、隋典伯、高翠芸、朱庆福、李明达、王雪松编写;第三章由刘铭、朱聪慧、汤步洲编写;第四章由徐永东、高翠芸、朱庆福编写;第五章由杨沐昀、张伟男、韩一、庄子或编写;第六章由隋典伯、高翠芸编写;第七章由车万翔、刘铭编写。参与各章审校工作的还有:崔一鸣、徐志明等。 报告整体由车万翔统稿。

目录

第一章 ChatGPT的背景与意义

1.1 自然语言处理的发展历史 1.2 大规模预训练语言模型的技术发展历程 1.3 ChatGPT技术发展历程 1.3.1 ChatGPT的相关技术 1.3.2 ChatGPT技术发展脉络的总结 1.3.3 ChatGPT的未来技术发展方向 1.4 ChatGPT的优势与劣势 1.4.1 ChatGPT的优势 1.4.2 ChatGPT的劣势 1.5 ChatGPT的应用前景 1.5.1 在人工智能行业的应用前景及影响 1.5.2 在其他行业的应用前景及影响 1.6 ChatGPT 带来的风险与挑战 第二章 ChatGPT相关核心算法

2.1 基于Transformer的预训练语言模型.. 2.1.1 编码预训练语言模型(Encoder-only Pre-trained Models) 2.1.2 解码预训练语言模型(Decoder-only Pre-trained Models) 2.1.3 基于编解码架构的预训练语言模型(Encoder-decoder Pre-trained Models) 2.2 提示学习与指令精调 2.2.1 提示学习概述 2.2.2 ChatGPT中的指令学习 2.3 思维链(Chain of Thought,COT) 2.4 基于人类反馈的强化学习(Reinforcement Learning with Hu-man Feedback,RLHF) 第三章 大模型训练与部署

3.1 大模型并行计算技术 3.2 并行计算框架 3.3 模型部署 3.3.1 预训练模型部署的困难 3.3.2 部署框架和部署工具 3.3.3 部署技术和优化方法 3.4 预训练模型的压缩 3.4.1 模型压缩方案概述 3.4.2 结构化模型压缩策略 3.4.3 非结构化模型压缩策略 3.4.4 模型压缩小结 第四章 ChatGPT相关数据集

4.1 预训练数据集 4.1.1 文本预训练数据集 4.1.2 代码预训练数据集 4.2 人工标注数据规范及相关数据集. 4.2.1 指令微调工作流程及数据集构建方法 4.2.2 常见的指令微调数据集 4.2.3 构建指令微调数据集的关键问题 第五章 大模型评价方法

5.1 模型评价方式 5.1.1人工评价 5.1.2 自动评价 5.2 模型评价指标 5.2.1 准确性 5.2.2 不确定性 5.2.3 攻击性 5.2.4 毒害性 5.2.5 公平性与偏见性 5.2.6 鲁棒性 5.2.7 高效性 5.3 模型评价方法小结 第六章 现有大模型及对话式通用人工智能系统

6.1 现有大模型对比 6.2 对话式通用人工智能系统调研 6.2.1 对话式通用人工智能系统 6.2.2不同系统之间的比较 第七章 自然语言处理的未来发展方向

7.1 提高ChatGPT的能力 7.2 加深对模型的认识 7.3 实际应用 7.4 从语言到AGI的探索之路

成为VIP会员查看完整内容
875

相关内容

ChatGPT(全名:Chat Generative Pre-trained Transformer),美国OpenAI 研发的聊天机器人程序 [1] ,于2022年11月30日发布 。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文任务。 [1] https://openai.com/blog/chatgpt/
【ChatGPT系列报告】AI大语言模型的原理、演进及算力测算
专知会员服务
138+阅读 · 2023年4月26日
【ChatGPT系列报告】AIGC & ChatGPT 发展报告,27页ppt
专知会员服务
351+阅读 · 2023年2月18日
【ChatGPT系列报告】ChatGPT研究框架,64页pdf
专知会员服务
379+阅读 · 2023年2月15日
AIGC的技术发展和应用:ChatGPT,20页pdf
专知会员服务
171+阅读 · 2023年2月13日
ChatGPT与AIGC深度报告:引领AI新浪潮,AIGC商业化启程
专知会员服务
179+阅读 · 2023年2月9日
最新《ChatGPT》报告, 风口已至,商业化落地加速, 14页pdf
毫末智行,首推自动驾驶「ChatGPT」
机器之心
4+阅读 · 2023年4月12日
揭秘ChatGPT情感对话能力
专知
15+阅读 · 2023年4月9日
阿里版ChatGPT就快来了
机器之心
4+阅读 · 2023年4月4日
清华发布《2018自然语言处理研究报告》
智能交通技术
15+阅读 · 2018年8月4日
国家自然科学基金
10+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年6月9日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
10+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年6月9日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员