【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps

文章名字

NLP Transfer Learning In 3 Steps

文章简介

BERT（Devlin等人，2018）可能是最流行的NLP迁移学习方法。Huggingface的实现提供了许多不错的特性，并在漂亮的API背后抽象出了细节。PyTorch Lightning是一个轻量级框架（实际上更像是重构PyTorch代码），它允许使用PyTorch的任何人（如学生、研究人员和生产团队）轻松扩展深度学习代码，同时使其可重复。它还通过教练旗提供42+项高级研究功能。闪电没有添加抽象的PyTorch，这意味着它与其他伟大的包，如拥抱脸玩得很好！在本教程中，我们将使用它们的BERT实现在Lightning中执行微调任务。在本教程中，我们将通过3个步骤为NLP进行迁移学习： 我们将从huggingface图书馆导入BERT。 我们将创建一个LightningModule，它使用BERT提取的特征进行微调 我们将使用灯光教练机训练BertMNLIFinetuner。

文章作者

William Falcon，博士生，人工智能（纽约大学，Facebook人工智能研究）。最近一直致力于自然语言预训练模型研究，并取得了最大突破。主张机器学习要面向实践，面向实际，立志解决当前问题，AI必须要有商业驱动，方能足够长远的发展。