【伯克利博士论文】从自然语言中学习（附106页pdf全文下载）

【导读】作者Jacob Andreas是自然语言处理的研究者，研究兴趣为用语言作为更有效学习的支架和理解模型行为的探针，以及结合深度表示和离散组合性优点的结构化神经方法。近期公开发布了他的博士论文，该论文

作者主页：

https://people.eecs.berkeley.edu/~jda/

【论文下载】

 请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知）

• 后台回复“UCBLFL” 就可以获取本文的下载链接~ 

• 专知2019年1月将开设一门《深度学习：算法到实战》会重点讲解深度学习自然语言处理中典型应用，欢迎关注报名！

       专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授！

博士论文介绍：

本文探讨了语言结构在结构和参数化中用于语言处理和其他应用的机器学习模型的方法。作者将该模型应用于问答系统，指令跟踪，图像分类等多种任务。

作者首先介绍一类称为神经模块网络（NMN）的模型，并介绍它们在自然语言问答中的应用。NMN旨在实现同时利用深层网络的表征能力和构成问题的语言结构。我们的方法将问题分解为语言子结构，并使用这些子结构动态地从可重复使用的模块库构建网络。由此产生的复合网络是共同训练的。作者并在含有图像和结构化知识库的问答数据集上的方法评估模型。随后，作者将这种思想转移到策略学习中，研究在面对不同但相似的问题时，怎么组合策略。

https://www2.eecs.berkeley.edu/Pubs/TechRpts/2018/EECS-2018-141.pdf

内容介绍

模块网络：

作者共设计了六种子模块 Lookup、Find、Relate、And、Describe、Exists。

在解决实际问题时，首先对问题进行分解，然后再动态选择子模块解决问题。如左侧问题： 图片中的鸟是什么颜色？ 首先调用Find模块，通过注意力机制，找到图中的鸟的位置，然后然后调用describe模块，对鸟的颜色进行描述。右侧问题：知识库中是否存在任何州？同样也是先调用Find模块，高亮出Georgia州，然后调用存在模块，判断是否是州。

策略分解与组合

如下图所示，两个任务虽然不同，但是第一步都是获取木头。

隐含描述

模型解释

-END-

专 · 知

   专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授！

请加专知小助手微信（扫一扫如下二维码添加），咨询《深度学习:算法到实战》参团限时优惠报名~

欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程