早期的符号NLP模型旨在利用对语言和认知的有价值的见解。这些见解直接表达在手工设计的结构中,这确保了模型行为是系统的和可解释的。不幸的是,这些模型也趋向于脆弱和专门化。相比之下,目前的模型是数据驱动的,可以灵活地获取复杂的行为,这开辟了许多新的途径。然而,现在的权衡是显而易见的:这些模型常常找到不透明的、非系统的解决方案。在这次演讲中,我将报告我们正在进行的努力,利用因果抽象分析中的技术来结合新旧方法的最佳方面。在这种方法中,我们定义高级因果模型,通常是用符号术语,然后训练神经网络,使其符合那些模型的结构,同时学习特定的任务。核心技术部分是互换干预训练(IIT),在这个训练中,我们以一种受因果模型的输入-输出行为引导的方式,交换目标神经模型的内部表示。当IIT的目标被最小化时,高级模型是一个可解释的,忠实的潜在神经模型的代理。我的演讲将集中于IIT如何以及为什么工作,因为我希望这将帮助人们确定它的新应用领域,我也将简要回顾将IIT应用于自然语言推理、基础语言理解和语言模型提炼的案例研究。

https://web.stanford.edu/~cgpotts/talks/potts-mcgill2022-slides.pdf

成为VIP会员查看完整内容
34

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
20+阅读 · 2021年9月23日
【NAACL2021】长序列自然语言处理, 250页ppt
专知会员服务
61+阅读 · 2021年6月7日
专知会员服务
55+阅读 · 2021年4月7日
「因果发现和因果推理」简明介绍,37页ppt
专知会员服务
111+阅读 · 2021年4月5日
【斯坦福CS224N硬核课】 问答系统,陈丹琦讲解,79页ppt
专知会员服务
72+阅读 · 2021年2月23日
专知会员服务
36+阅读 · 2021年2月22日
【斯坦福CS329S】机器学习系统设计导论,92页ppt
专知会员服务
36+阅读 · 2021年1月19日
【NeurIPS2020】因果推断学习教程,70页ppt
专知会员服务
185+阅读 · 2020年12月12日
少即是多?非参数语言模型,68页ppt
专知会员服务
20+阅读 · 2020年11月22日
DeepMind出品,图神经网络与因果推理的联合
图与推荐
4+阅读 · 2021年9月11日
【斯坦福经典书】机器学习导论,188页pdf
专知
0+阅读 · 2021年3月31日
一文读懂神经网络(附PPT、视频)
数据派THU
17+阅读 · 2018年3月25日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
5+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
1+阅读 · 2022年4月19日
VIP会员
相关VIP内容
专知会员服务
20+阅读 · 2021年9月23日
【NAACL2021】长序列自然语言处理, 250页ppt
专知会员服务
61+阅读 · 2021年6月7日
专知会员服务
55+阅读 · 2021年4月7日
「因果发现和因果推理」简明介绍,37页ppt
专知会员服务
111+阅读 · 2021年4月5日
【斯坦福CS224N硬核课】 问答系统,陈丹琦讲解,79页ppt
专知会员服务
72+阅读 · 2021年2月23日
专知会员服务
36+阅读 · 2021年2月22日
【斯坦福CS329S】机器学习系统设计导论,92页ppt
专知会员服务
36+阅读 · 2021年1月19日
【NeurIPS2020】因果推断学习教程,70页ppt
专知会员服务
185+阅读 · 2020年12月12日
少即是多?非参数语言模型,68页ppt
专知会员服务
20+阅读 · 2020年11月22日
相关基金
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
5+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员