三维视觉定位是一个具有挑战性的任务,通常需要直接而密集的监督,尤其是场景中每个对象的语义标签。在本文中,我们相反地研究了自然监督的情景,该情景仅从三维场景和问答对中学习,而在先前的研究中表现不佳。我们提出了语言规范化的概念学习器(LARC),它利用语言的约束作为正则化项,显著提高了在自然监督情景中神经符号概念学习器的准确性。我们的方法基于两个核心见解:第一个是语言约束(例如,一个词与另一个词的关系)可以作为神经符号模型中结构化表示的有效正则化;第二个是我们可以查询大型语言模型,以从语言属性中提取这种约束。我们展示了LARC在自然监督的三维视觉定位中改善了先前工作的性能,并展示了广泛的三维视觉推理能力,从零样本组合到数据效率和可传递性。我们的方法代表了朝着使用基于语言的先验知识对结构化视觉推理框架进行正则化的有希望的一步,以在没有密集监督的情况下进行学习。

https://www.zhuanzhi.ai/paper/17e1e32fe0b25f626b63e275f0ae3772

成为VIP会员查看完整内容
15

相关内容

【NeurIPS2022】分布式自适应元强化学习
专知会员服务
22+阅读 · 2022年10月8日
【ICML2022】基于元语义正则化的介入性对比学习
专知会员服务
20+阅读 · 2022年7月1日
【ICML2022】利用虚拟节点促进图结构学习
专知会员服务
19+阅读 · 2022年6月22日
【南洋理工-CVPR2022】视觉语言模型的条件提示学习
专知会员服务
32+阅读 · 2022年3月13日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
【NAACL2021】信息解缠正则化持续学习的文本分类
专知会员服务
21+阅读 · 2021年4月11日
【ACL2020-密歇根州立大学】语言和视觉推理的跨模态关联
【CVPR2020-旷视】DPGN:分布传播图网络的小样本学习
专知会员服务
26+阅读 · 2020年4月1日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
37+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
407+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
146+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【NeurIPS2022】分布式自适应元强化学习
专知会员服务
22+阅读 · 2022年10月8日
【ICML2022】基于元语义正则化的介入性对比学习
专知会员服务
20+阅读 · 2022年7月1日
【ICML2022】利用虚拟节点促进图结构学习
专知会员服务
19+阅读 · 2022年6月22日
【南洋理工-CVPR2022】视觉语言模型的条件提示学习
专知会员服务
32+阅读 · 2022年3月13日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
【NAACL2021】信息解缠正则化持续学习的文本分类
专知会员服务
21+阅读 · 2021年4月11日
【ACL2020-密歇根州立大学】语言和视觉推理的跨模态关联
【CVPR2020-旷视】DPGN:分布传播图网络的小样本学习
专知会员服务
26+阅读 · 2020年4月1日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
37+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员