MacroHFT:内存增强的高频交易情境感知强化学习高频交易(HFT)在短时间尺度内执行算法交易,近年来已占据了加密货币市场的大部分份额。除了传统的量化交易方法外,强化学习(RL)由于其处理高维金融数据和解决复杂的序列决策问题的能力,成为HFT的另一种有吸引力的方法。例如,分层强化学习(HRL)通过训练一个路由器从代理池中选择一个子代理来执行当前交易,展示了其在秒级HFT中的出色表现。然而,现有的用于HFT的RL方法仍然存在一些缺陷:1)标准的基于RL的交易代理存在过拟合问题,无法根据金融背景进行有效的策略调整;2)由于市场条件的快速变化,由单个代理做出的投资决策通常是片面的和高度偏颇的,这可能导致在极端市场中产生重大损失。为了解决这些问题,我们提出了一种新颖的内存增强的高频交易情境感知强化学习方法,简称MacroHFT,包括两个训练阶段:1)我们首先根据市场趋势和波动等各种金融指标分解市场数据,训练多种类型的子代理,每个代理都拥有一个条件适配器,以根据市场条件调整其交易策略;2)然后我们训练一个超级代理来混合这些子代理的决策,并输出一个一致盈利的元策略以应对快速的市场波动,并配备内存机制以增强决策能力。对各种加密货币市场的广泛实验表明,MacroHFT可以在分钟级交易任务中实现最先进的性能。代码已在此处发布。

关键词:高频交易,强化学习,分层强化学习,内存增强,市场波动,金融数据

成为VIP会员查看完整内容
13

相关内容

【WWW2024】RecDCL: 双重对比学习用于推荐
专知会员服务
19+阅读 · 1月30日
【ICML2023】多任务分层对抗逆强化学习
专知会员服务
19+阅读 · 2023年5月25日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
35+阅读 · 2022年10月4日
【ICML2022】可达性约束强化学习
专知会员服务
22+阅读 · 2022年5月18日
专知会员服务
36+阅读 · 2021年6月19日
专知会员服务
27+阅读 · 2021年5月24日
【AACL2020】自监督学习的自然语言处理
专知会员服务
51+阅读 · 2020年12月12日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
DeepMind:用PopArt进行多任务深度强化学习
论智
27+阅读 · 2018年9月14日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
33+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
360+阅读 · 2023年3月31日
Arxiv
126+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
Arxiv
18+阅读 · 2021年3月16日
VIP会员
相关VIP内容
【WWW2024】RecDCL: 双重对比学习用于推荐
专知会员服务
19+阅读 · 1月30日
【ICML2023】多任务分层对抗逆强化学习
专知会员服务
19+阅读 · 2023年5月25日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
35+阅读 · 2022年10月4日
【ICML2022】可达性约束强化学习
专知会员服务
22+阅读 · 2022年5月18日
专知会员服务
36+阅读 · 2021年6月19日
专知会员服务
27+阅读 · 2021年5月24日
【AACL2020】自监督学习的自然语言处理
专知会员服务
51+阅读 · 2020年12月12日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
33+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员