【华盛顿大学】预训练语言模型中的潜在名称构件

题目： “You are grounded!”: Latent Name Artifacts in Pre-trained Language Models

简介：

预训练语言模型（LM）可能会使训练语料库的偏见持续下降到下游模型。 我们将重点放在与给定名称（例如Donald）的表示相关的构件上，这些构件取决于语料库，可能与特定实体相关联，如下一个标记预测（例如Trump）所示。 虽然在某些情况下很有帮助，但在未指定或不适当的情况下也会发生接地。 例如，“唐纳德是一个”而产生的结尾与其他名字的结尾大不相同，并且通常具有比平均水平更高的负面情绪。 我们通过阅读理解证明了对下游任务的潜在影响。 我们的实验表明，对不同语料库进行额外的预训练可能会减轻这种影响。