《多模态大语言模型在基于模型的系统工程中的视觉问答能力探索》最新报告

大型语言模型（LLMs）的持续发展为系统工程领域（尤其是视觉问答（VQA）方向）开辟了新机遇。多模态LLMs能够同时处理文本与图形输入，使其可结合基于模型的系统工程（MBSE）模型的图形元素与配套文本描述进行综合解析。本文探究多模态LLMs对系统建模语言（SysML）v1块定义图（BDDs）的理解与解释能力。BDDs是以可视化形式精确描述系统结构元素、属性、关系与多重性的图表。我们采用精选的SysML BDD数据集及配套多项选择题集，对专有与开源多模态LLMs进行评估——该数据集设计用于测试LLMs在布鲁姆分类法前两层级（记忆与理解）的表现，同时分析模型规模对准确率的影响。研究结果揭示了当前哪些LLMs能够原生解析SysML BDD语法，为未来利用AI代理增强系统建模流程的研究提供方向。

人工智能（AI）与基于模型的系统工程（MBSE）流程的融合，为提升模型理解、验证及支持活动提供了重要机遇。多模态大语言模型（LLMs）能够处理文本与图形输入，拓展了系统建模语言（SysML）v1模型自动化解析的潜力。块定义图（BDDs）作为SysML v1模型的核心要素，是系统结构、属性与关系的基础性表征（OMG，2019）。尽管LLMs发展迅速，但其精准解析SysML建模成果的能力仍鲜有研究。现有对多模态LLMs的评估主要集中于通用图像或图示推理，而非SysML等特定领域图形语言（Antol等，2015；Ishmam等，2024；Lin等，2014）。这一空白限制了对LLMs在支持依赖SysML模型解析的工程流程中的效能认知。

本文通过评估当代多模态LLMs对SysML v1.x BDDs的解析能力填补这一空白。我们构建了精选BDD数据集，并设计符合布鲁姆分类法前两层级（记忆与理解）的多项选择题集。评估涵盖专有与开源LLMs，分析不同规模模型的性能差异。研究结果为当前LLMs在理解形式化系统建模成果上的优势与局限提供实证见解，并为未来增强MBSE实践中AI驱动的支持技术指明研究方向。