【WWW2024】多模态查询建议：基于人类反馈的多智能体强化学习

在快速发展的信息检索领域中，搜索引擎努力为用户提供更个性化和相关的结果。查询建议系统在实现这一目标中发挥了至关重要的作用，通过帮助用户制定有效的查询来提升搜索体验。然而，现有的查询建议系统主要依赖于文本输入，这可能限制了用户对图像查询的搜索体验。 在本文中，我们介绍了一项新颖的多模态查询建议（MMQS）任务，旨在基于用户查询图像生成查询建议，以提高搜索结果的针对性和多样性。我们提出了RL4Sugg框架，利用大型语言模型（LLMs）的力量结合人类反馈的多智能体强化学习来优化生成过程。通过全面的实验，我们验证了RL4Sugg的有效性，与现有最佳方法相比显示出了18%的改进。此外，MMQS已经转移到实际的搜索引擎产品中，从而提高了用户参与度。我们的研究推进了查询建议系统，并为多模态信息检索提供了新的视角。