XLNet（广义自回归预训练方法）

XLNet，是一个广义自回归预训练方法，（1）通过在分解次序的所有排列上最大化期望的可能性，使得学习双向上下文，并且（2）由于其自回归公式克服了伯特的限制。从经验来看，XLNet在20项任务上的表现都优于BERT，而且往往有很大的差距。

专知会员服务

67+阅读 · 2020年1月2日

专知会员服务

13+阅读 · 2019年12月4日

参考链接

父主题

微信扫码咨询专知VIP会员