ChatGPT 的广泛应用:ChatGPT 是基于GPT 模型的大型对话式语言 模型,具有高质量文本生成、代码编写等多项功能。随着ChatGPT 被 广泛关注,GPT 模型逐渐成为人工智能领域的研究热点,并开始应用 于其他领域。本篇报告将其核心算法Transformer 应用于量化投资策 略。  自注意力机制:自注意力机制是NLP 的一种数据处理方法,能够有效 捕捉输入序列各位置之间的关系。自注意力机制通过计算query 向量 与key 向量的相关性来加权平均value 矩阵,得到输出结果;而多头 注意力机制则利用并行计算和拆分矩阵为多个头的方式,在自注意力 机制的基础上进一步提高模型训练效率。  Transformer 架构:Transformer 架构是一种采用自注意力机制的神经 网络模型,由位置编码、编码层和解码层组成。位置编码使用正弦和 余弦函数计算单词位置信息,编码器将序列中各位置之间关系的信息 进行编码并输出,解码器则使用编码器输出的序列信息逐个预测输出。模型同时具备并行计算和高效捕捉关系的能力,被广泛应用于自然语 言处理、图像生成等领域。  基于Transformer 架构的选股策略:本报告将Transformer 模型应用 于股票涨跌预测中,选取个股涨跌幅和换手率作为面板数据输入,通 过输出股票未来涨跌概率进行分类。在月度调仓策略中,中证500、 沪深300 和全市场选股自2020 年以来均获得良好的相对收益与较强 的回撤控制能力。  相对于传统神经网络的优势:1. 处理长期记忆;2. 变长输入序列;3. 并行计算效率;4. 预训练模型提高泛化能力。

成为VIP会员查看完整内容
55

相关内容

ChatGPT(全名:Chat Generative Pre-trained Transformer),美国OpenAI 研发的聊天机器人程序 [1] ,于2022年11月30日发布 。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文任务。 [1] https://openai.com/blog/chatgpt/
【ChatGPT系列报告】AI大语言模型的原理、演进及算力测算
专知会员服务
143+阅读 · 2023年4月26日
【ChatGPT系列报告】算力、数据与模型综合分析,46页Slides
【ChatGPT系列报告】ChatGPT研究框架,64页pdf
专知会员服务
386+阅读 · 2023年2月15日
AIGC的技术发展和应用:ChatGPT,20页pdf
专知会员服务
172+阅读 · 2023年2月13日
最新《ChatGPT》报告, 风口已至,商业化落地加速, 14页pdf
BERT技术体系综述论文:40项分析探究BERT如何work
专知会员服务
139+阅读 · 2020年3月1日
揭秘ChatGPT情感对话能力
专知
15+阅读 · 2023年4月9日
一文读懂自注意力机制:8大步骤图解+代码
新智元
153+阅读 · 2019年11月26日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
英伟达Faster Transformer:作者带你揭秘BERT优化
机器之心
14+阅读 · 2019年9月18日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年6月27日
Arxiv
158+阅读 · 2023年4月20日
VIP会员
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员