基于多模态概率主题模型的实体相关文本可视化

项目名称： 基于多模态概率主题模型的实体相关文本可视化

项目编号： No.61172143

项目类型： 面上项目

立项/批准年度： 2012

项目学科： 电子学与信息系统

项目作者： 袁媛

作者单位： 中国科学院西安光学精密机械研究所

项目金额： 60万元

中文摘要： 自动关联和整合互联网上存在的海量多媒体信息，是帮助人们直观、高效地理解信息和获取知识的重要途径之一。其中，将实体（如人、地点、产品）的相关文本（如新闻、游记、产品评论）可视化，即自动根据文本语义补充图像信息，是亟待解决的核心问题。现有方法难以准确提取实体及对实体的描述；且缺乏对实体、文本和图像的联合建模和关联挖掘，难以优选出充分关联语义的图像。本项目着眼于多元异构信息的关联表征，通过建立多模态概率主题模型，挖掘实体、文本和图像信息之间的关联信息，实现高质量的实体相关文本可视化：1) 基于概率主题模型和自扩展实体词典，准确识别文本中的实体；2) 基于实体主题模型，从海量文本中挖掘多重实体知识，据此提取对实体的描述；3) 基于多模态概率主题模型，从多种来源的图像中优选与实体及描述语义一致的图像。本项目所研究理论与技术可应用于各种领域的实体相关文本可视化中，具有很高的学术价值和可观的经济价值。

中文关键词： 图像语义分析；图像理解；关联表征；概率分析；

英文摘要：

英文关键词： image semantic analysis；image understanding；associated characterization；probability analysis；