多模态机器学习 - 专知百科

我们对世界的体验是多模态的——我们看到物体，听到声音，感觉到纹理，闻到气味，尝到味道。模态是指某件事情发生或经历的方式，一个研究问题如果包含多个模态，就被称为多模态。为了让人工智能在理解我们周围的世界方面取得进展，它需要能够一起解释这种多模态信号。多模态机器学习旨在建立能够处理和关联来自多种模式的信息的模型。这是一个日益重要和具有非凡潜力的充满活力的多学科领域。