多模态金融基础模型（MFFMs）：进展、前景与挑战

金融大语言模型（FinLLMs），如开源的FinGPT和专有的BloombergGPT，已经在金融服务的某些领域展现出了巨大的潜力。与早期以语言为中心的方法不同，多模态金融基础模型（MFFMs）能够处理交织在一起的多模态金融数据，包括基本数据、市场数据、数据分析、宏观经济数据以及替代数据（例如，自然语言、音频、图像和视频）。在这篇论文中，我们将在2024年与ACM国际金融人工智能会议（ICAIF）联合举办的MFFM研讨会上提出，描述MFFMs的进展、前景和挑战。 本文还重点介绍了哥伦比亚大学SecureFinAI实验室对金融智能体（FinAgents）正在进行的研究。我们相信，MFFMs将有助于更深入地理解与众多金融任务和数据相关的内在复杂性，从而简化金融服务和投资过程的运作。 Github 仓库：https://github.com/Open-Finance-Lab/AwesomeMFFMs/ https://arxiv.org/abs/2506.01973 1. 引言

公众无法负担与亿万富翁沃伦·巴菲特共进私人午餐的费用。那么，如何以大约100美元的成本雇佣巴菲特作为我的随叫随到的财务顾问呢？在做出5000万美元的投资决定之前，如何以5000美元的费用与全球十大投资者举行一场精英头脑风暴会议呢？……不久后，当杨力（Yanglet）通过投资赚取了他的第一个100万美元时，他将会记得那晚李登博士帮助他修改多模态金融基础模型（MFFMs）研讨会的提案。 大语言模型（LLMs）已展示出在理解和生成类人文本方面的卓越能力。金融大语言模型（FinLLMs），如开源的FinGPT[26, 31, 49, 65, 67]和专有的BloombergGPT[60]，在金融服务的某些领域表现出了巨大的潜力[16, 17]。不同于这种早期的以语言为中心的方法，多模态金融基础模型（MFFMs）能够处理交织的多模态金融数据，包括基础数据、市场数据、数据分析、宏观经济数据以及替代数据（如自然语言、音频、图像和视频）。多模态金融数据具有独特的特性，例如动态性、结构化与非结构化形式的并存，并且以不同的格式存在（如图表、图形、Web API、Excel电子表格、SEC文件、XBRL文件[13]和SQL数据[69]）。 在实现MFFMs广泛应用的过程中，仍然面临诸多挑战，包括与可重复性、透明度、隐私和伦理相关的日益关注。首先，许多现有的LLMs作为“黑箱”运行，导致理解其操作并确保公平性成为挑战。另两个主要挑战是“模型自相残杀”（model cannibalism）和“开放清洗”（openwashing）。许多模型在训练和发布时缺乏透明度，例如Claude 3.5 Sonnet。许多所谓的“新颖”模型可能会利用现有LLMs（如GPT-4o）的标签并进行监督学习，这被称为“模型自相残杀”。因此，MFFMs在决策过程中是模糊不清的。它们带来了多种挑战，如缺乏关于训练数据的透明度、解决模型固有偏差的不足、安全性和防御问题（如后门攻击）。 近年来，出现了许多“开放清洗”行为，即将LLM的权重营销为“开放的”，但实际上受限于许可，而更理想的做法是采用OSI批准的许可（例如Apache 2.0许可证和MIT许可证）。哥伦比亚大学、牛津大学和Linux基金会的一个研究联盟提出了模型开放框架（Model Openness Framework）[57]，该框架根据16个组成部分对模型进行排名，分类模型的开放性。该框架为研究人员和模型生产者提供了促进透明度和可重复性的指导。符合该框架的MFFMs将促进可重复性，并促进金融行业的广泛应用，例如开放FinLLMs[63]。对于金融机构，它为新模型在没有限制的情况下成为商业适用模型提供了明确的指导。 在本论文中，我们描述了MFFMs的进展、前景和挑战，并将在2024年与ACM国际金融人工智能会议（ICAIF）联合举办的MFFM研讨会上进行展示。本文还重点介绍了哥伦比亚大学SecureFinAI实验室对金融智能体（FinAgents）正在进行的研究。我们首先列出金融领域中的多模态金融数据和以数据为中心的方法（见图1左侧）。然后，我们描述了多模态金融应用（见图1中间部分）。我们设想，AI智能体是构建多个金融应用的有前景的解决方案。使用模型开放框架、许可（例如OpenMDW3）和智能体协议（例如模型上下文协议、Agent2Agent协议）可以构建金融智能体AI生态系统。然而，图1右侧列出了几个重大挑战，这些挑战需要立即解决，以实现金融AI的准备就绪。相关挑战包括专有数据的约束、训练和推理成本、监管复杂性、推理能力以及需要强有力的基准和防护框架来应对虚假信息和数据偏见。 我们相信，MFFMs将促进有前景的金融任务和数据分析，简化金融服务的运营。 相关工作：

已有几篇与FinLLMs相关的调查，如表1所列。Li等人[22]首次回顾了在金融领域应用LLMs的方法。Ding等人[6]总结了基于LLM的智能体在金融交易任务中的表现。Lee等人[19]从基准测试的角度回顾了FinLLMs。Kong等人[16]和Kong等人[17]进一步总结了FinLLMs的最新进展，并讨论了它们的不同应用场景。尽管有这些努力，这些调查缺乏对多模态金融数据、应用和模型的全面回顾。此外，仍然需要对在金融领域应用LLMs的机会和挑战进行深入分析，包括它们当前的准备就绪水平。 贡献：

我们总结了以下贡献： * 据我们所知，这是第一篇关于多模态金融基础模型（MFFMs）的综合性调查。我们总结了三个方面：多模态金融数据、应用和模型探索。 * 对于多模态金融数据，我们强调了以数据为中心的方法。对于应用，我们指出了智能体AI生态系统的趋势，这一趋势由开放模型和模型上下文协议所推动。 * 我们比较并对比了MFFMs、LLMs、FinLLMs和MMLLMs。我们的目的是为读者提供一个关于MFFM发展的整体视图，并帮助读者理解当前的进展和未来的前景。 * 我们描述了在金融领域应用MFFMs的机会，并指出了挑战，包括专有数据和数字监管报告。 * 我们讨论了MFFMs准备就绪的伦理挑战，包括在实际使用场景中可能出现的幻觉和虚假信息，以及伦理问题。