VALSE 论文速览 第31期：面向弱监督实例级别商品检索的多模态预训练

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自中山大学面向弱监督实例级别商品检索的多模态预训练的工作。该工作由梁小丹副教授指导，詹巽霖同学录制。

论文题目：Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-Modal Pretraining

作者列表：詹巽霖 (中山大学)，吴洋鑫 (中山大学)，董晓 (中山大学)，魏云超 (北京交通大学)，卢旻龙 (阿里巴巴)，张亦驰 (阿里巴巴)，徐航 (华为诺亚方舟)，梁小丹 (中山大学)

B站观看网址：

https://www.bilibili.com/video/BV19M4y1P76Y/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

当前大部分商品检索方法只针对单模态数据进行有监督的商品检索，但对于大量弱标注的多模态商品数据，这些方法难以适应当前的应用场景。该文探索此类问题并提出了一种新型的商品检索任务，即在大规模弱标注的细粒度商品中如何有效进行实例级的多模态商品检索。为促进该问题的进一步的探索，本文提出了一个大规模的多模态实例数据集Product1M，该数据集包含100多万对图文信息，并将商品样本分为两种类型—单品及组合品，同时具有细粒度、复杂组合及混淆关系等诸多现实场景中的典型特点。此外，本文提出了一个基于多模态对比学习的有效模型CAPTURE，通过一个混合的Transformer自监督地学习多模态数据间的潜在关系。该模型通过遮掩任务及跨模态对比学习产生一个具有区分度的实例特征用于商品检索任务，与其他多模态预训练方法相比，其效果都有较大提升。该论文已被ICCV 2021收录。

论文信息：

[1]Xunlin Zhan, Yangxin Wu, Xiao Dong, Yunchao Wei, Minlong Lu, Yichi Zhang, Hang Xu,  and Xiaodan Liang. "Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-Modal Pretraining" In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 11782-11791. virtual, October 2021.

论文链接：

[https://arxiv.org/abs/2107.14572]

代码链接：

[https://github.com/zhanxlin/Product1M]

视频讲者简介：

詹巽霖，中山大学硕士生，导师是梁小丹副教授，研究方向为多模态预训练，商品检索等。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：张正 (哈尔滨工业大学(深圳))、李爽 (北京理工大学)

季度责任AC：许永超 (武汉大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3. VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～