Github项目推荐 | awesome-bert:BERT相关资源大列表

2019 年 2 月 26 日 AI研习社
Github项目推荐 | awesome-bert:BERT相关资源大列表

awesome-bert:BERT相关资源大列表

by Jiakui

本项目包含BERT 相关论文和 github 项目。

项目地址:

https://github.com/Jiakui/awesome-bert 

【注】本文的相关链接复制下方网址到浏览器访问。

https://ai.yanxishe.com/page/blogDetail/10050?from=wx


论文:

  1. arXiv:1810.04805, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding , Authors: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova

  2. arXiv:1812.06705, Conditional BERT Contextual Augmentation, Authors: Xing Wu, Shangwen Lv, Liangjun Zang, Jizhong Han, Songlin Hu

  3. arXiv:1812.03593, SDNet: Contextualized Attention-based Deep Network for Conversational Question Answering, Authors: Chenguang Zhu, Michael Zeng, Xuedong Huang

  4. arXiv:1901.02860, Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context, Authors: Zihang Dai, Zhilin Yang, Yiming Yang, William W. Cohen, Jaime Carbonell, Quoc V. Le and Ruslan Salakhutdinov.

  5. arXiv:1901.04085, Passage Re-ranking with BERT, Authors: Rodrigo Nogueira, Kyunghyun Cho


Github仓库:

官方项目:

  1. google-research/bert, officical TensorFlow code and pre-trained models for BERT , [10053 stars]

除了tensorflow之外的BERT的实现:

  1. codertimo/BERT-pytorch, Google AI 2018 BERT pytorch implementation

  2. huggingface/pytorch-pretrained-BERT, A PyTorch implementation of Google AI's BERT model with script to load Google's pre-trained models , [2422 stars]

  3. Separius/BERT-keras, Keras implementation of BERT with pre-trained weights, [325 stars]

  4. soskek/bert-chainer, Chainer implementation of "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"

  5. innodatalabs/tbert, PyTorch port of BERT ML model

  6. guotong1988/BERT-tensorflow, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

  7. dreamgonfly/BERT-pytorch, PyTorch implementation of BERT in "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"

  8. CyberZHG/keras-bert, Implementation of BERT that could load official pre-trained models for feature extraction and prediction

  9. soskek/bert-chainer, Chainer implementation of "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"

  10. MaZhiyuanBUAA/bert-tf1.4.0, bert-tf1.4.0

  11. dhlee347/pytorchic-bert, Pytorch Implementation of Google BERT, [106 stars]

  12. kpot/keras-transformer, Keras library for building (Universal) Transformers, facilitating BERT and GPT models, [17 stars]

  13. miroozyx/BERT_with_keras, A Keras version of Google's BERT model, [5 stars]

  14. conda-forge/pytorch-pretrained-bert-feedstock, A conda-smithy repository for pytorch-pretrained-bert. , [0 stars]

BERT的其他资源:

  1. brightmart/bert_language_understanding, Pre-training of Deep Bidirectional Transformers for Language Understanding: pre-train TextCNN, [503 stars]

  2. Y1ran/NLP-BERT--ChineseVersion, 谷歌自然语言处理模型BERT:论文解析与python代码 , [83 stars]

  3. yangbisheng2009/cn-bert, BERT在中文NLP的应用, [7 stars]

  4. JayYip/bert-multiple-gpu, A multiple GPU support version of BERT, [16 stars]

  5. HighCWu/keras-bert-tpu, Implementation of BERT that could load official pre-trained models for feature extraction and prediction on TPU, [6 stars]

  6. Willyoung2017/Bert_Attempt, PyTorch Pretrained Bert, [0 stars]

  7. Pydataman/bert_examples, some examples of bert, run_classifier.py 是基于谷歌bert实现了Quora Insincere Questions Classification二分类比赛。run_ner.py是基于瑞金医院AI大赛 第一赛季数据和bert写的一个命名实体识别。

  8. guotong1988/BERT-chinese, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 中文 汉语

  9. zhongyunuestc/bert_multitask, 多任务task

  10. Microsoft/AzureML-BERT, End-to-end walk through for fine-tuning BERT using Azure Machine Learning , [14 stars]

  11. bigboNed3/bert_serving, export bert model for serving, [10 stars]

  12. yoheikikuta/bert-japanese, BERT with SentencePiece for Japanese text. [92 stars]

  13. whqwill/seq2seq-keyphrase-bert, add BERT to encoder part for https://github.com/memray/seq2seq-keyphrase-pytorch, [19 stars]

  14. algteam/bert-examples, bert-demo, [9 stars]

  15. cedrickchee/awesome-bert-nlp, A curated list of NLP resources focused on BERT, attention mechanism, Transformer networks, and transfer learning. [9 stars]

  16. cnfive/cnbert, 中文注释一下bert代码功能, [5 stars]

  17. brightmart/bert_customized, bert with customized features, [20 stars]

  18. yuanxiaosc/BERT_Paper_Chinese_Translation, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文的中文翻译。Chinese Translation! , [5 stars]

  19. JayYip/bert-multitask-learning, BERT for Multitask Learning, [29 stars]

BERT QA任务:

  1. benywon/ChineseBert, This is a chinese Bert model specific for question answering, [6 stars]

  2. vliu15/BERT, Tensorflow implementation of BERT for QA

  3. matthew-z/R-net, R-net in PyTorch, with BERT and ELMo, [77 stars]

  4. nyu-dl/dl4marco-bert, Passage Re-ranking with BERT, [92 stars]

  5. xzp27/BERT-for-Chinese-Question-Answering, [7 stars]

  6. chiayewken/bert-qa, BERT for question answering starting with HotpotQA, [2 stars]

BERT分类任务:

  1. zhpmatrix/Kaggle-Quora-Insincere-Questions-Classification, Kaggle新赛(baseline)-基于BERT的fine-tuning方案+基于tensor2tensor的Transformer Encoder方案

  2. maksna/bert-fine-tuning-for-chinese-multiclass-classification, use google pre-training model bert to fine-tuning for the chinese multiclass classification

  3. NLPScott/bert-Chinese-classification-task, bert中文分类实践, [51 stars]

  4. Socialbird-AILab/BERT-Classification-Tutorial, [151 stars]

  5. fooSynaptic/BERT_classifer_trial, BERT trial for chinese corpus classfication

  6. xiaopingzhong/bert-finetune-for-classfier, 微调BERT模型,同时构建自己的数据集实现分类

  7. brightmart/sentiment_analysis_fine_grain, Multi-label Classification with BERT; Fine Grained Sentiment Analysis from AI challenger, [170 stars]

  8. pengming617/bert_classification, 利用bert预训练的中文模型进行文本分类, [6 stars]

  9. xieyufei1993/Bert-Pytorch-Chinese-TextClassification, Pytorch Bert Finetune in Chinese Text Classification, [7 stars]

  10. liyibo/text-classification-demos, Neural models for Text Classification in Tensorflow, such as cnn, dpcnn, fasttext, bert ..., [6 stars]

  11. circlePi/BERT_Chinese_Text_Class_By_pytorch, A Pytorch implements of Chinese text class based on BERT_Pretrained_Model, [3 stars]

BERT NER 任务:

  1. JamesGu14/BERT-NER-CLI, Bert NER command line tester with step by step setup guide, [20 stars]

  2. zhpmatrix/bert-sequence-tagging, 基于BERT的中文序列标注

  3. kyzhouhzau/BERT-NER, Use google BERT to do CoNLL-2003 NER ! , [160 stars]

  4. king-menin/ner-bert, NER task solution (bert-Bi-LSTM-CRF) with google bert https://github.com/google-research.

  5. macanv/BERT-BiLSMT-CRF-NER, Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning , [349 stars]

  6. FuYanzhe2/Name-Entity-Recognition, Lstm-crf,Lattice-CRF,bert-ner及近年ner相关论文follow, [11 stars]

  7. mhcao916/NER_Based_on_BERT, this project is based on google bert model, which is a Chinese NER

  8. ProHiryu/bert-chinese-ner, 使用预训练语言模型BERT做中文NER, [88 stars]

  9. sberbank-ai/ner-bert, BERT-NER (nert-bert) with google bert, [22 stars]

  10. kyzhouhzau/Bert-BiLSTM-CRF, This model base on bert-as-service. Model structure : bert-embedding bilstm crf. , [3 stars]

  11. Hoiy/berserker, Berserker - BERt chineSE woRd toKenizER, Berserker (BERt chineSE woRd toKenizER) is a Chinese tokenizer built on top of Google's BERT model. , [2 stars]

BERT文本生成任务:

  1. asyml/texar, Toolkit for Text Generation and Beyond https://texar.io, Texar is a general-purpose text generation toolkit, has also implemented BERT here for classification, and text generation applications by combining with Texar's other modules. [892 stars]

BERT知识图谱任务:

  1. lvjianxin/Knowledge-extraction, 基于中文的知识抽取,BaseLine:Bi-LSTM+CRF 升级版:Bert预训练

  2. sakuranew/BERT-AttributeExtraction, USING BERT FOR Attribute Extraction in KnowledgeGraph. fine-tuning and feature extraction. 使用基于bert的微调和特征提取方法来进行知识图谱百度百科人物词条属性抽取。 [10 stars]

BERT visualization toolkit:

  1. jessevig/bertviz, Tool for visualizing BERT's attention, [147 stars]

BERT可视化工具包:

  1. GaoQ1/rasa_nlu_gq, turn natural language into structured data(支持中文,自定义了N种模型,支持不同的场景和任务), [33 stars]

  2. GaoQ1/rasa_chatbot_cn, 基于rasa-nlu和rasa-core 搭建的对话系统demo, [60 stars]

  3. GaoQ1/rasa-bert-finetune, 支持rasa-nlu 的bert finetune, [5 stars]

BERT语言模型和嵌入:

  1. hanxiao/bert-as-service, Mapping a variable-length sentence to a fixed-length vector using pretrained BERT model, [1941 stars]

  2. YC-wind/embedding_study, 中文预训练模型生成字向量学习,测试BERT,ELMO的中文效果, [17 stars]

  3. Kyubyong/bert-token-embeddings, Bert Pretrained Token Embeddings, [24 stars]

  4. xu-song/bert_as_language_model, bert as language model, fork from https://github.com/google-research/bert, [22 stars]

  5. yuanxiaosc/Deep_dynamic_word_representation, TensorFlow code and pre-trained models for deep dynamic word representation (DDWR). It combines the BERT model and ELMo's deep context word representation., [7 stars]


AI求职百题斩 · 每日一题


每天进步一点点,扫码参与每日一题!




点击下方阅读原文,参与 强化学习论文讨论小组 互动

登录查看更多
27

相关内容

BERT全称Bidirectional Encoder Representations from Transformers,是预训练语言表示的方法,可以在大型文本语料库(如维基百科)上训练通用的“语言理解”模型,然后将该模型用于下游NLP任务,比如机器翻译、问答。

1、BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(BERT论文)

谷歌BERT斩获最佳长论文!自然语言顶会NAACL2019最佳论文5篇出炉

Google NAACL2019 最佳论文

作者:Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova

摘要:本文介绍一种称为BERT的新语言表征模型,意为来自变换器的双向编码器表征量(BidirectionalEncoder Representations from Transformers)。不同于最近的语言表征模型(Peters等,2018; Radford等,2018),BERT旨在基于所有层的左、右语境来预训练深度双向表征。因此,预训练的BERT表征可以仅用一个额外的输出层进行微调,进而为很多任务(如问答和语言推理)创建当前最优模型,无需对任务特定架构做出大量修改。BERT的概念很简单,但实验效果很强大。它刷新了11个NLP任务的当前最优结果,包括将GLUE基准提升至80.4%(7.6%的绝对改进)、将MultiNLI的准确率提高到86.7%(5.6%的绝对改进),以及将SQuADv1.1问答测试F1的得分提高至93.2分(1.5分绝对提高)——比人类性能还高出2.0分。

网址:

https://www.zhuanzhi.ai/paper/7acdc843627c496a2ad7fb2785357dec

BERT的slides: BERT一作Jacob Devlin斯坦福演讲PPT:BERT介绍与答疑

2、Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

Google CMU

作者:Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov

摘要:Transformer 网络具有学习更长期依赖性的潜力,但这种潜力往往会受到语言建模中上下文长度固定的限制。因此,我们提出了一种叫做 Transformer-XL 的新神经架构来解决这一问题,它可以在不破坏时间一致性的情况下,让 Transformer 超越固定长度学习依赖性。具体来说,它是由片段级的循环机制和全新的位置编码策略组成的。我们的方法不仅可以捕获更长的依赖关系,还可以解决上下文碎片化的问题。Transformer-XL 学习到的依赖性比 RNN 学习到的长 80%,比标准 Transformer 学到的长 450%,无论在长序列还是短序列中都得到了更好的结果,而且在评估时比标准 Transformer 快 1800+ 倍。此外,我们还提升了 bpc 和困惑度的当前最佳结果,在 enwiki8 上 bpc 从 1.06 提升至 0.99,在 text8 上从 1.13 提升至 1.08,在 WikiText-103 上困惑度从 20.5 提升到 18.3,在 One Billion Word 上从 23.7 提升到 21.8,在宾州树库(不经过微调的情况下)上从 55.3 提升到 54.5。我们的代码、预训练模型以及超参数在 TensorFlow 和 PyTorch 中都可以使用。。

网址:

https://www.zhuanzhi.ai/paper/5c1ec941e06a20e4966a3db298b45211

3、XLNet: Generalized Autoregressive Pretraining for Language Understanding

Google CMU

作者:Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le

摘要:由于上下文双向建模的表达能力更强,降噪自编码类型中的典型代表BERT能够比自回归语言模型取得更好的结果。即,上下文建模获得双向的信息在Language Understanding中是很重要的。但是BERT存在以下不足:(1)在输入端依赖mask的掩模的方式,遮蔽部分的输入信息。(2)忽略了被mask位置之间的依赖性。这两点在预训练-微调两个阶段存在不符。即,上述2个方面在预训练和微调这2个阶段之间都是有差异的。在正视了上述优缺点之后,本文提出一种通用(或者广义,英语原文是generalized)的自回归预训练方法:XLNet。XLNet的贡献在于(1)新的双向上下文学习方法:分解输入的顺序,对其进行排列组合,并遍历所有的排列组合,获得最大似然期望。(2)克服BERT自回归中的缺陷。XLNet在预训练中融合Transformer-XL和state-of-the-art自回归模型的优点。实验结果:XLNet在20个任务中超出了BERT,且很多是碾压式地超越。XLNet在其中18个任务中取得了目前最优结果,包括问答、自然语言推理、情感分析和文档排序。

网址:

https://www.zhuanzhi.ai/paper/74979afe231290d0c1ad43d4fab17b09

4、ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations

作者:Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut

摘要:通常而言,在预训练自然语言表征时增加模型大小可以提升模型在下游任务中的性能。但在某些情况下,由于 GPU/TPU 内存限制、训练时间延长以及意外的模型退化等原因,进一步增加模型大小的难度也随之增加。所以,为了解决这些问题,来自谷歌的研究者提出通过两种参数削减(parameter-reduction)技术来降低内存消耗,加快 BERT 的训练速度。综合实验表明,ALBERT 的扩展效果要优于原始 BERT。此外,他们还使用了聚焦于句间连贯性建模的自监督损失,并证明这种损失对下游任务中的多语句输入有持续帮助。ALBERT 模型在 GLUE、RACE 和 SQuAD 基准测试上都取得了新的 SOTA 效果,并且参数量少于 BERT-large。

网址:

https://www.zhuanzhi.ai/paper/a0067ac863579c6268b0751e12decd04

​更多预训练语言模型的论文请上:

https://github.com/thunlp/PLMpapers

成为VIP会员查看完整内容
0
55
小贴士
相关VIP内容
专知会员服务
100+阅读 · 2020年3月12日
专知会员服务
26+阅读 · 2020年1月10日
BERT进展2019四篇必读论文
专知会员服务
55+阅读 · 2020年1月2日
【干货】用BRET进行多标签文本分类(附代码)
专知会员服务
67+阅读 · 2019年12月27日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
63+阅读 · 2019年10月16日
TensorFlow 2.0 学习资源汇总
专知会员服务
46+阅读 · 2019年10月9日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
24+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
39+阅读 · 2019年9月29日
相关论文
Rodrigo Nogueira,Wei Yang,Kyunghyun Cho,Jimmy Lin
5+阅读 · 2019年10月31日
Malte Ostendorff,Peter Bourgonje,Maria Berger,Julian Moreno-Schneider,Georg Rehm,Bela Gipp
5+阅读 · 2019年9月18日
Betty van Aken,Benjamin Winter,Alexander Löser,Felix A. Gers
3+阅读 · 2019年9月11日
Ashutosh Adhikari,Achyudh Ram,Raphael Tang,Jimmy Lin
4+阅读 · 2019年8月22日
Yiming Cui,Wanxiang Che,Ting Liu,Bing Qin,Ziqing Yang,Shijin Wang,Guoping Hu
11+阅读 · 2019年6月19日
Kevin Clark,Urvashi Khandelwal,Omer Levy,Christopher D. Manning
4+阅读 · 2019年6月11日
Yang Liu
21+阅读 · 2019年3月25日
Chris Alberti,Kenton Lee,Michael Collins
7+阅读 · 2019年3月21日
Chenguang Zhu,Michael Zeng,Xuedong Huang
7+阅读 · 2019年1月2日
Jacob Devlin,Ming-Wei Chang,Kenton Lee,Kristina Toutanova
12+阅读 · 2018年10月11日
Top
微信扫码咨询专知VIP会员