【ChatGPT系列报告】Transformer 架构下的量价选股策略 ChatGPT 核心算法应用于量化投资

ChatGPT 的广泛应用：ChatGPT 是基于GPT 模型的大型对话式语言 模型，具有高质量文本生成、代码编写等多项功能。随着ChatGPT 被 广泛关注，GPT 模型逐渐成为人工智能领域的研究热点，并开始应用 于其他领域。本篇报告将其核心算法Transformer 应用于量化投资策 略。  自注意力机制：自注意力机制是NLP 的一种数据处理方法，能够有效 捕捉输入序列各位置之间的关系。自注意力机制通过计算query 向量 与key 向量的相关性来加权平均value 矩阵，得到输出结果；而多头 注意力机制则利用并行计算和拆分矩阵为多个头的方式，在自注意力 机制的基础上进一步提高模型训练效率。  Transformer 架构：Transformer 架构是一种采用自注意力机制的神经 网络模型，由位置编码、编码层和解码层组成。位置编码使用正弦和 余弦函数计算单词位置信息，编码器将序列中各位置之间关系的信息 进行编码并输出，解码器则使用编码器输出的序列信息逐个预测输出。模型同时具备并行计算和高效捕捉关系的能力，被广泛应用于自然语 言处理、图像生成等领域。  基于Transformer 架构的选股策略：本报告将Transformer 模型应用 于股票涨跌预测中，选取个股涨跌幅和换手率作为面板数据输入，通 过输出股票未来涨跌概率进行分类。在月度调仓策略中，中证500、 沪深300 和全市场选股自2020 年以来均获得良好的相对收益与较强 的回撤控制能力。  相对于传统神经网络的优势：1. 处理长期记忆；2. 变长输入序列；3. 并行计算效率；4. 预训练模型提高泛化能力。