RoBERTa中文预训练模型，你离中文任务的「SOTA」只差个它

会员服务 ·

RoBERTa中文预训练模型，你离中文任务的「SOTA」只差个它

2019 年 9 月 5 日 机器之心

机器之心报道

参与：思源、一鸣

有了中文文本和实现模型后，我们还差个什么？还差了中文预训练语言模型提升效果呀。

对于中文领域的预训练语言模型，我们最常用的就是 BERT 了，这并不是说它的效果最好，而是最为方便。昨天，国内开发者 brightmart 开源了最新的 RoBERTa 中文预训练语言模型，开发社区又有新的中文模型可以用了。

项目地址：https://github.com/brightmart/roberta_zh

项目表示，该中文预训练模型为 24 层的 base 版，它使用了 10G 文本进行数据训练，包含新闻、社区问答、百科数据等。

模型下载地址：https://storage.googleapis.com/roberta_zh/roberta_model/roeberta_zh_L-24_H-768_A-12.zip

作者同时计划进行下一步的预训练工作，并逐渐开源更大的 RoBERTa 中文预训练模型。

GitHub 项目介绍开源计划如下：

24 层 RoBERTa 模型 (roberta_l24_zh)，使用 30G 文件训练，9 月 8 日
12 层 RoBERTa 模型 (roberta_l12_zh)，使用 30G 文件训练，9 月 8 日
6 层 RoBERTa 模型 (roberta_l6_zh)，使用 30G 文件训练，9 月 8 日
PyTorch 版本的模型 (roberta_l6_zh_pytorch)，9 月 8 日
30G 中文语料，预训练格式，可直接训练（bert、xlent、gpt2），9 月 8 日
测试集测试和效果对比，9 月 14 日

看来该项目还要过几天才会完善，但它已经非常值得期待了。那么一般我们常用的中文预训练语言模型又有什么呢？

中文预训练语言模型都有什么

目前调用预训练语言模型最主流的项目就是 huggingface 的 pytorch-transformers 了，它几乎包含所有主流的预训练语言模型，并且使用起来非常便捷。机器之心也曾使用过这个库，它从 Tokenize、转化为字符的 ID 到最终计算出隐藏向量表征，提供了整套 API，我们可以快速地将其嵌入到各种 NLP 系统中。

但是在使用过程中，我们会发现中文的预训练模型非常少，只有 BERT-Base 提供的那种。虽然它的性能也不差，但既然 XLNet 等用英文训练的模型效果更好，那么我们还是更希望有这些资源的。

值得注意的是，pytorch-transformers 同时支持导入 TensorFlow 预训练的模型与 PyTorch 预训练的模型，它们俩都可以导入到库中。

清华的预训练 BERT

早两个月，清华大学开源了一个名为 OpenCLaP 的项目，即多领域开源中文预训练语言模型库。它提供了几种中文预训练 BERT，并表示它们可以直接通过 huggingface 的 pytorch-transformers 项目调用。

OpenCLaP 项目地址： https://github.com/thunlp/OpenCLaP

图注： OpenCLaP 目前发布的预训练语言模型。

机器之心也尝试过在 pytorch-transformers 项目中导入清华预训练的百度百科 BERT，我们发现这也是没问题的，它能正常工作。

除此之外，百度也开源了预训练语言模型 ERNIE，不过目前只有 ERNIE 1.0 Base 提供了中文预训练模型，ERNIE 2.0 目前还只提供英文预训练模型。当然，如果要使用 ERNIE，我们需要了解 PaddlePaddle 框架，并通过 ernie_encoder.py 抽取句子与 Token 的隐藏向量表示。

现在，也许常用的中文预训练语言模型又要再新增一项，中文 RoBERTa。

中文 RoBERTa

作者按照 RoBERTa 论文主要精神训练了这一模型，并进行了多项改进和调整：

数据生成方式和任务改进：取消下一个句子预测，并且数据连续从一个文档中获得 (见：Model Input Format and Next Sentence Prediction，DOC-SENTENCES)；
更大更多样性的数据：使用 30G 中文训练，包含 3 亿个句子，100 亿个字 (即 token）。由于新闻、社区讨论、多个百科，保罗万象，覆盖数十万个主题；
训练更久：总共训练了近 20 万，总共见过近 16 亿个训练数据 (instance)；在 Cloud TPU v3-256 上训练了 24 小时，相当于在 TPU v3-8(128G 显存) 上需要训练一个月；
更大批次：使用了超大（8k）的批次 batch size；
调整优化器参数；
使用全词 mask（whole word mask）。

图注： 全词 Mask 和其他文本处理方法对比。

作者表示，在本项目中，没有实现 dynamic mask。

RoBERTa： 站在 BERT 的肩膀上

说起 RoBERTa 模型，一些读者可能还会感到有些陌生。但是实际来看，RoBERTa 模型更多的是基于 BERT 的一种改进版本。是 BERT 在多个层面上的重大改进。

RoBERTa 在模型规模、算力和数据上，主要比 BERT 提升了以下几点：

更大的模型参数量（从 RoBERTa 论文提供的训练时间来看，模型使用 1024 块 V 100 GPU 训练了 1 天的时间）
更多的训练数据（包括：CC-NEWS 等在内的 160GB 纯文本）

此外如下所示，RoBERTa 还有很多训练方法上的改进。

1. 动态掩码

BERT 依赖随机掩码和预测 token。原版的 BERT 实现在数据预处理期间执行一次掩码，得到一个静态掩码。而 RoBERTa 使用了动态掩码：每次向模型输入一个序列时都会生成新的掩码模式。这样，在大量数据不断输入的过程中，模型会逐渐适应不同的掩码策略，学习不同的语言表征。

2. 更大批次

RoBERTa 在训练过程中使用了更大的批数量。研究人员尝试过从 256 到 8000 不等的批数量。

3. 文本编码

Byte-Pair Encoding（BPE）是字符级和词级别表征的混合，支持处理自然语言语料库中的众多常见词汇。

原版的 BERT 实现使用字符级别的 BPE 词汇，大小为 30K，是在利用启发式分词规则对输入进行预处理之后学得的。 Facebook 研究者没有采用这种方式，而是考虑用更大的 byte 级别 BPE 词汇表来训练 BERT，这一词汇表包含 50K 的 subword 单元，且没有对输入作任何额外的预处理或分词。

RoBERTa 的实际效果

虽然没有中文预训练模型的效果比较，但 RoBERTTa 的作者对比了 RoBERTA（large）、BERT（large）和 XLNET 在不同任务上的表现结果。