将物体属性和关系在3D场景中进行Grounding是许多人工智能任务的前提条件，例如基于视觉的对话和具身化操作。然而，3D领域的可变性会导致两个基本挑战：1）标记的成本和 2）3D基础语言的复杂性。因此，模型的基本要求是具备数据效率，能够适应不同的数据分布和任务，具备对未见过语义形式的语义进行基础建设（例如，视点锚定和多对象引用）。为了解决这些挑战，我们提出了NS3D，一种用于3D Grounding的神经符号框架。NS3D通过利用大型语言转代码模型，将语言转化为具有层次结构的程序。程序中的不同功能模块是以神经网络的形式实现的。值得注意的是，NS3D通过引入有效推理高度元关系（即，多个对象之间的关系），扩展了先前的神经符号视觉推理方法，这在消除复杂3D场景中的对象歧义中非常关键。模块化和组合式的架构使NS3D能够在ReferIt3D视角依赖任务中取得最先进的结果，这是一个3D指称表达理解基准测试。重要的是，NS3D在数据效率和泛化性设置上显示出显着的改进性能，并展示了对一个未见过的3D问答任务的零样本转移能力。
https://www.zhuanzhi.ai/paper/4277142b07654c7d538a29dceb8c2088
成为VIP会员查看完整内容
NS3D: Neuro-Symbolic Grounding of 3D Objects and Relations
相关内容
CVPR 2023大会将于 6 月 18 日至 22 日在温哥华会议中心举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议，会议的主要内容是计算机视觉与模式识别技术。
CVPR 2023 共收到 9155 份提交，比去年增加了 12%，创下新纪录，今年接收了 2360 篇论文，接收率为 25.78%。作为对比，去年有 8100 多篇有效投稿，大会接收了 2067 篇，接收率为 25%。
Arxiv
0+阅读 · 2023年5月12日
Arxiv
30+阅读 · 2023年4月19日
相关VIP内容
相关资讯
相关论文
Arxiv
0+阅读 · 2023年5月12日
Arxiv
30+阅读 · 2023年4月19日
微信扫码咨询专知VIP会员