Multimodal Large Language Models (MLLMs) show strong potential for interpreting and interacting with complex, pixel-rich Graphical User Interface (GUI) environments. However, building agents that are both efficient for high-level tasks and precise for fine-grained interactions remains challenging. GUI agents must perform routine actions efficiently while also handling tasks that demand exact visual grounding, yet existing approaches struggle when accuracy depends on identifying specific interface elements. These MLLMs also remain large and cannot adapt their reasoning depth to the task at hand. In this work, we introduce iSHIFT: Implicit Slow-fast Hybrid Inference with Flexible Tokens, a lightweight agent that integrates latent thinking (implicit chain-of-thought) with a perception control module. iSHIFT enables an MLLM to switch between a slow mode, which leverages detailed visual grounding for high precision and a fast mode that uses global cues for efficiency. Special perception tokens guide attention to relevant screen regions, allowing the model to decide both how to reason and where to focus. Despite its compact 2.5B size, iSHIFT matches state-of-the-art performance on multiple benchmark datasets.


翻译:多模态大语言模型(MLLMs)在理解和交互复杂的、像素丰富的图形用户界面(GUI)环境方面展现出强大潜力。然而,构建既能高效处理高级任务又能精确执行细粒度交互的代理仍然具有挑战性。GUI代理必须高效执行常规操作,同时处理需要精确视觉定位的任务,然而现有方法在准确性依赖于识别特定界面元素时往往表现不佳。这些MLLMs通常规模庞大,且无法根据当前任务调整其推理深度。本文提出iSHIFT:基于灵活令牌的隐式慢-快混合推理,这是一种集成潜在思维(隐式思维链)与感知控制模块的轻量级代理。iSHIFT使MLLM能够在两种模式间切换:慢速模式利用详细的视觉定位实现高精度,而快速模式则利用全局线索以提高效率。特殊的感知令牌引导注意力聚焦于相关的屏幕区域,使模型能够同时决定如何推理以及关注何处。尽管其参数量仅为紧凑的25亿,iSHIFT在多个基准数据集上达到了最先进的性能水平。

0
下载
关闭预览

相关内容

图形用户界面(Graphical User Interface,简称 GUI,又称图形用户接口)是指采用图形方式显示的计算机操作用户接口。与早期计算机使用的命令行界面相比,图形界面对于用户来说在视觉上更易于接受。
MIMIC-IT:多模态上下文指令调优
专知会员服务
39+阅读 · 2023年6月11日
Python图像处理,366页pdf,Image Operators Image Processing in Python
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员