儿童和机器的语言习得是了不起的。然而,虽然儿童通过听相对少量的语言以及与人和周围环境的互动来学习,但神经语言模型需要更多的数据和监督,难以泛化到新领域,绝大多数情况下只能从文本中学习。本文探讨了关于儿童语言习得的知识——特别是儿童接受语言信息的规模和类型,他们如何使用反馈,以及他们如何以超出他们接触到的语言输入的系统方式进行概括——如何应用于多模态语言模型。本文的重点是:(1)基于视觉,用较少的数据训练弱监督语言模型;(2)探索模型在多模态域的泛化能力。第一种方法使用字幕视频训练语义解析器,将自然语言映射到逻辑形式,在没有解析树或任何其他注释的情况下进行学习。第二种方法从简单的观察视频转向使用机器人模拟器和世界状态来验证生成的逻辑形式的更动态的设置。这些方法专注于评估弱监督,训练和推理数据相对相似;探索了评估,其中推理数据与训练数据有很大不同,需要系统的泛化。一种方法测试了预训练和一种新的解码策略在网格世界中导航的作用;推理命令和动作序列在系统方面与训练不同。最后一种方法测试了当输入图像或文本中的人口统计特征与其学习到的社会偏见不同时,预训练的多模态transformer模型的泛化程度。

成为VIP会员查看完整内容
55

相关内容

麻省理工学院(Massachusetts Institute of Technology,MIT)是美国一所研究型私立大学,位于马萨诸塞州(麻省)的剑桥市。麻省理工学院的自然及工程科学在世界上享有极佳的盛誉,该校的工程系曾连续七届获得美国工科研究生课程冠军,其中以电子工程专业名气最响,紧跟其后的是机械工程。其管理学、经济学、哲学、政治学、语言学也同样优秀。
【CMU博士论文】多语言视觉-语言模型研究,190页pdf
专知会员服务
33+阅读 · 2023年2月15日
【MIT博士论文】自监督学习语音处理,148页pdf
专知会员服务
50+阅读 · 2022年8月31日
专知会员服务
71+阅读 · 2021年7月29日
【CMU博士论文】机器人深度强化学习,128页pdf
专知会员服务
123+阅读 · 2020年8月27日
首个视觉-语言预训练综述来了!
夕小瑶的卖萌屋
6+阅读 · 2022年3月29日
国家自然科学基金
21+阅读 · 2016年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
22+阅读 · 2022年2月4日
Arxiv
27+阅读 · 2021年11月11日
Arxiv
13+阅读 · 2020年4月12日
已删除
Arxiv
31+阅读 · 2020年3月23日
VIP会员
相关基金
国家自然科学基金
21+阅读 · 2016年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
相关论文
Arxiv
22+阅读 · 2022年2月4日
Arxiv
27+阅读 · 2021年11月11日
Arxiv
13+阅读 · 2020年4月12日
已删除
Arxiv
31+阅读 · 2020年3月23日
微信扫码咨询专知VIP会员