【MIT博士论文】多模态：模型、算法与应用，196页pdf

随着全球可持续性挑战的加剧，对创新的、跨学科的解决方案的需求正在激增，这些解决方案能够利用多种数据来源和分析方法。我们研究了如何结合运筹学和人工智能，通过开发可适应的、普遍适用的框架来解决紧迫的可持续性和医疗保健问题。本论文深入研究了通过同时使用不同的数据类型（如表格、图像、时间序列和自由文本）来实现的多模态性。我们制定了可以应用于各种任务的多功能方法，从热带气旋预测和生物多样性跟踪到医疗保健运营，只需进行最小的适应。

我们模仿人类理解和连接不同数据类型的能力，将人工智能和优化结合到数据驱动的策略中。我们的贡献包括开发了可泛化的数据预处理、特征提取和数据融合管道，以便在复杂的实际场景中进行大规模的多模态数据处理。值得注意的是，我们的热带气旋预测模型的性能与美国国家飓风中心的顶级模型在24小时强度和轨迹预测上相当。此外，我们构建了连接运筹学和人工智能的预测到规定的数据驱动框架。为了支持多模态性，我们引入了确保在关键情况下模型的可靠性和性能的创新工具。我们探索了自适应的健壮集成建模，以增强在不确定性下的计划和决策制定。

我们的预测和规定模型已在工厂、博物馆和医院中有效地实施，以解决可持续性和公共卫生问题，包括空气污染管理、生态系统保护和罕见肿瘤分割。我们的污染管理模型在摩洛哥最大的化学工业厂OCP Safi Site显著地减少了有害排放，同时减少了不必要的成本。此外，我们的肿瘤分割模型与医学医生的专业知识相匹配，同时提供了大量的时间节省。