【EMNLP2020-京东】电子商务产品的多模态联合属性预测与属性值提取

产品属性值在许多电子商务场景中非常重要，例如客户服务机器人、产品推荐和产品检索。而在现实世界中，产品的属性值往往不完整，且随时间变化，这极大地阻碍了实际应用。在本文中，我们提出了一种多模态方法来联合预测产品属性，并利用产品图像从文本的产品描述中提取值。我们认为，产品属性和属性值是高度相关的，例如，它将更容易提取属性值的条件下，产品属性是已知的。因此，我们针对属性与值之间的交互作用，从多个方面共同对属性预测和值提取任务建模。此外，对于不同的产品属性和值，产品图像对我们的任务有不同的影响。因此，我们有选择地从产品图像中提取有用的视觉信息来增强我们的模型。我们注解了一个包含87,194个实例的多模态产品属性值数据集，在该数据集上的实验结果表明，明确地建模属性和值之间的关系有助于我们建立它们之间的对应关系，选择性地利用可视化的产品信息是完成这项任务所必需的。我们的代码和数据集将向公众发布。