【EMNLP 2019 最佳论文】用控制任务设计和解释探针（Designing and Interpreting Probes with Control Tasks）

论文题目： Designing and Interpreting Probes with Control Tasks

论文摘要： 训练有素的监督模型可以根据表达形式（如 ELMo）预测属性（如词性），探测器在一系列语言任务上均具有很高的准确性。但这是否意味着这些表达形式对语言结构进行了编码，或者只是探测器已经学习了语言任务？在本文中，研究者提出了控制任务，将词的类型与随机输出联系起来，以辅助语言任务。按照设定，这些任务只能由探测器来学习。因此选择一个合适的探测器（能反映该表达形式的探测器）很重要，以实现较高的语言任务准确性和较低的控制任务准确性。探测器的选择性将语言任务的准确性与自身记忆词类型的能力相关联。研究者提出了用于英语词汇标注和依赖边缘预测的控制任务，并且展示了基于表达形式上的探测器是不可选择的。 同时他们还发现，通常用于控制探测器复杂性的滤除对提高 MLP 的选择性是无效的，但是其他形式的正则化是有效的。最后，他们发现，尽管 ELMo 的第一层探测器比第二层探测器的词性标注精度高一些，但是第二层上的探测器更具选择性。引出了以下问题：究竟哪一层可以更好地代表词性。

作者简介：

John Hewitt，斯坦福大学计算机科学系二年级博士生，主要从事进行自然语言处理的研究，对（口译）表征学习、潜在层次结构的归纳、小数据环境和多语种感兴趣；本科生期间，在宾夕法尼亚大学克里斯·卡利森·伯奇的实验室工作。

Percy Liang，斯坦福大学计算机科学与统计学副教授，他感兴趣的是构建系统，学会将自然语言描述（例如，英语或汉语）翻译成程序（例如，在Python或C++中）。他的目标是开发可信赖的系统，可以有效地与人沟通，并随着时间的推移通过互动来改进。