【KDD2024】高频交易中的宏观强化学习：记忆增强的上下文感知强化学习

高频交易（HFT）在短时间尺度内执行算法交易，近年来已占据了加密货币市场的大部分份额。除了传统的量化交易方法外，强化学习（RL）由于其处理高维金融数据和解决复杂序列决策问题的强大能力，已成为高频交易的另一种有吸引力的方法。例如，分层强化学习（HRL）通过训练一个路由器从代理池中选择一个子代理来执行当前交易，已在秒级高频交易中显示出其前景。然而，现有的高频交易强化学习方法仍存在一些缺陷：1）标准的基于RL的交易代理面临过拟合问题，无法根据金融背景有效调整策略；2）由于市场条件的快速变化，由单个代理做出的投资决策通常是片面的且高度偏向的，这可能在极端市场中导致重大损失。为了解决这些问题，我们提出了一种新颖的记忆增强的上下文感知强化学习方法，称为MacroHFT，该方法包含两个训练阶段：1）首先，我们根据各种金融指标（特别是市场趋势和波动性）分解市场数据，训练多种类型的子代理，每个代理拥有一个条件适配器，根据市场条件调整其交易策略；2）然后，我们训练一个超代理来混合这些子代理的决策，并输出一个能够应对快速市场波动的一致盈利的元策略，同时配备记忆机制以增强决策能力。在各种加密货币市场上的大量实验表明，MacroHFT在分钟级交易任务中可以达到最先进的性能。代码已发布在 https://github.com/ZONG0004/MacroHFT。