【KDD2024】MacroHFT：内存增强的高频交易情境感知强化学习

MacroHFT：内存增强的高频交易情境感知强化学习高频交易（HFT）在短时间尺度内执行算法交易，近年来已占据了加密货币市场的大部分份额。除了传统的量化交易方法外，强化学习（RL）由于其处理高维金融数据和解决复杂的序列决策问题的能力，成为HFT的另一种有吸引力的方法。例如，分层强化学习（HRL）通过训练一个路由器从代理池中选择一个子代理来执行当前交易，展示了其在秒级HFT中的出色表现。然而，现有的用于HFT的RL方法仍然存在一些缺陷：1）标准的基于RL的交易代理存在过拟合问题，无法根据金融背景进行有效的策略调整；2）由于市场条件的快速变化，由单个代理做出的投资决策通常是片面的和高度偏颇的，这可能导致在极端市场中产生重大损失。为了解决这些问题，我们提出了一种新颖的内存增强的高频交易情境感知强化学习方法，简称MacroHFT，包括两个训练阶段：1）我们首先根据市场趋势和波动等各种金融指标分解市场数据，训练多种类型的子代理，每个代理都拥有一个条件适配器，以根据市场条件调整其交易策略；2）然后我们训练一个超级代理来混合这些子代理的决策，并输出一个一致盈利的元策略以应对快速的市场波动，并配备内存机制以增强决策能力。对各种加密货币市场的广泛实验表明，MacroHFT可以在分钟级交易任务中实现最先进的性能。代码已在此处发布。

关键词：高频交易，强化学习，分层强化学习，内存增强，市场波动，金融数据