通过回顾深度学习、语言模型、语义表示和预训练技术的发展历程,全面解析了ChatGPT的技术渊源和演进路线。在语言模型方面,从早期的N-gram统计方法逐步演进到神经网络语言模型,通过对机器翻译技术的研究和影响也催生了Transformer的出现,继而又推动了神经网络语言模型的发展。在语义表示和预训练技术发展方面,从早期的TF-IDF、pLSA和LDA等统计方法发展到Word2Vec等基于神经网络的词向量表示,继而发展到ELMo、BERT和GPT-2等预训练语言模型,预训练框架日益成熟,为模型提供了丰富的语义知识。GPT-3的出现揭示了大语言模型的潜力,但依然存在幻觉问题,如生成不可控、知识谬误及逻辑推理能力差等。为了缓解这些问题,ChatGPT通过指令学习、监督微调、基于人类反馈的强化学习等方式在GPT-3.5上进一步与人类进行对齐学习,效果不断提升。ChatGPT等大模型的出现,标志着该领域技术进入新的发展阶段,为人机交互以及通用人工智能的发展开辟了新的可能。

成为VIP会员查看完整内容
103

相关内容

ChatGPT(全名:Chat Generative Pre-trained Transformer),美国OpenAI 研发的聊天机器人程序 [1] ,于2022年11月30日发布 。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文任务。 [1] https://openai.com/blog/chatgpt/
大型语言模型在软件工程:调查与待解决的问题
专知会员服务
63+阅读 · 2023年10月6日
基于UNet的医学图像分割综述
专知会员服务
28+阅读 · 2023年8月8日
超大预训练模型在指挥控制领域的应用与挑战
专知会员服务
78+阅读 · 2023年5月26日
深度学习在光声成像中的应用综述
专知会员服务
22+阅读 · 2022年5月23日
专知会员服务
38+阅读 · 2021年6月2日
专知会员服务
58+阅读 · 2021年5月2日
工业人工智能的关键技术及其在预测性维护中的应用现状
专知会员服务
127+阅读 · 2020年7月10日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
3倍加速CPU上的BERT模型部署
ApacheMXNet
11+阅读 · 2020年7月13日
AIoT(一)丨产业的发展历程与市场概况
乌镇智库
10+阅读 · 2019年7月27日
形式化方法的研究进展与趋势
中国计算机学会
34+阅读 · 2018年11月8日
SFFAI报告 | 常建龙 :深度卷积网络中的卷积算子研究进展
人工智能前沿讲习班
11+阅读 · 2018年10月22日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
35+阅读 · 2017年9月12日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
114+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
279+阅读 · 2023年3月31日
Arxiv
42+阅读 · 2023年3月26日
Arxiv
95+阅读 · 2023年3月24日
Arxiv
13+阅读 · 2023年3月17日
VIP会员
相关VIP内容
大型语言模型在软件工程:调查与待解决的问题
专知会员服务
63+阅读 · 2023年10月6日
基于UNet的医学图像分割综述
专知会员服务
28+阅读 · 2023年8月8日
超大预训练模型在指挥控制领域的应用与挑战
专知会员服务
78+阅读 · 2023年5月26日
深度学习在光声成像中的应用综述
专知会员服务
22+阅读 · 2022年5月23日
专知会员服务
38+阅读 · 2021年6月2日
专知会员服务
58+阅读 · 2021年5月2日
工业人工智能的关键技术及其在预测性维护中的应用现状
专知会员服务
127+阅读 · 2020年7月10日
相关资讯
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
3倍加速CPU上的BERT模型部署
ApacheMXNet
11+阅读 · 2020年7月13日
AIoT(一)丨产业的发展历程与市场概况
乌镇智库
10+阅读 · 2019年7月27日
形式化方法的研究进展与趋势
中国计算机学会
34+阅读 · 2018年11月8日
SFFAI报告 | 常建龙 :深度卷积网络中的卷积算子研究进展
人工智能前沿讲习班
11+阅读 · 2018年10月22日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
35+阅读 · 2017年9月12日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员